基于机器视觉的工业机器人定位系统
廖万辉 李琳
（华南理工大学机械与汽车工程学院机器人研究室，广州，510640）
【摘 要】建立了一个主动机器视觉定位系统，用于工业机器人对零件工位的精确定位。
采用基于区域的匹配和形状特征识别相结合的图像处理方法，该方法经过阈值和形状判据，识别出物体特征。经实验验证，该方法能够快速准确地得到物体的边界和质心，进行数据识别和计算，再结合机器人运动学原理控制机器人实时运动以消除此误差，满足工业机器人自定位的要求。
【关键词】工业机器人；机器视觉；图像识别；定位
Stereo Vision for Tracking and Location System Working on Industrial Robot
Liao Wanhui and Li Lin
（Robotics Research Laboratory, School of mechanic and auto engineering,
South China University of Technology, China, 510640）
Abstract: An active stereo vision for tracking and location system is built to work on industrial robot. A method combines area-based matching and the object’s shape to recognize object is proposed. It recognizes based on shape and segmentation. Test result showed that this method can correctly and quickly work out the boundary and centroid of object, the robot then moved to reduce the disparity as soon as possible based on the robot kinematics. It can achieve high rates of tracking and locating.
Key words: Industrial robot；Stereo vision；Imaging recognition；Locating
文献标识码：B 中图分类号：TP24
1.引言
目前工业机器人仅能在严格定义的结构化环境中执行预定指令动作，缺乏对环境的感知与应变能力，这极大地限制了机器人的应用。利用机器人的视觉控制，不需要预先对工业机器人的运动轨迹进行示教或离线编程，可节约大量的编程时间，提高生产效率和加工质量。 Hagger等人提出通过基于机器人末端与目标物体之间的误差进行视觉反馈的方法[1]；Mezouar等人提出通过图像空间的路径规划和基于图像的控制方法 [2]。国内这方面主要应用于焊接机器人对焊缝的跟踪。
本文利用基于位置的视觉伺服思想，以六自由度垂直关节型喷涂机器人为载体，提出一种基于机器视觉的工业机器人自定位控制方法，解决了机器人末端实际位置与期望位置相距较远的问题，改善了喷涂机器人的定位精度。
2.视觉定位系统的组成
机器人视觉定位系统构成如图1所示，在关节型机器人末端安装喷涂工具、单个摄像机，使工件能完全出现在摄像机的图像中。系统包括摄像机系统和控制系统：
（1）摄像机系统：由单个摄像机和计算机（包括图像采集卡）组成，负责视觉图像的采集和机器视觉算法；
（2）控制系统：由计算机和控制箱组成，用来控制机器人末端的实际位置；
经CCD摄像机对工作区进行拍摄，计算机通过本文使用的图像识别方法，提取跟踪特征，进行数据识别和计算，通过逆运动学求解得到机器人各关节位置误差值，最后控制高精度的末端执行机构，调整机器人的位姿。
项目名称：基于机器人化护理床的社区医护远程监护系统研发及产业化
基金颁发部门：广东省科技厅基金号：20054982304 基金申请人：张铁
项目经济效益：50万元
图1 喷涂机器人视觉定位系统组成
3. 视觉定位系统工作原理
3.1 视觉定位系统的工作原理
使用CCD 摄像机和1394系列采集卡，将视频信号输入计算机，并对其快速处理。首先选取被跟踪物体的局部图像，该步骤相当于离线学习的过程，在图像中建立坐标系以及训练系统寻找跟踪物。学习结束后，图像卡不停地采集图像，提取跟踪特征，进行数据识别和计算，通过逆运动学求解得到机器人各关节位置给定值，最后控制高精度的末端执行机构，调整机器人的位姿。工作流程如图2所示。
图2 视觉定位系统软件流程图
3.2 基于区域的匹配[5]
本文采用的就是基于区域的相关匹配方法。它是把一幅图像中的某一点的灰度领域作为模板，在另一幅图像中搜索具有相同（或相似）灰度值分布的对应点领域，从而实现两幅图像的匹配。在基于区域相关的算法中，要匹配的元素是固定尺寸的图像窗口，相似准则是两幅图像中窗口间的相关性度量。当搜索区域中的元素使相似性准则最大化时，则认为元素是匹配的。
定义),(j i P P 是模板图像中一点，取以),(j i P P 为中心的某一邻域作为相关窗口K ，大小为)12(+w ，假设K 在原始图中，水平方向平移u ?，垂直方向平移u ?后，K 所覆盖下的那块搜索区域叫做子图k S ，若K 和k S 相同，则它们的差为零，否则不为零。由此定义K 和k S 的相关函数为：
∑∑?=?=?=w w i w
w j k k
j i K j i S S K D 2)],(),([),( 当),(k S K D 达到最小，K 与k S 达到最佳匹配。
3.3 图像的特征提取
工作台上的工件与工作台背景在颜色方面具有很大的差别，即工件呈现为黑色，将这一
信息作为识别工件的重要特征。
工件的边缘处灰度有急剧的变化，可以以此判断出工件的边界点。采用扫描线的方法，扫描方向上灰度剧变的像素点就是边界点。最后，通过最小二乘法把找到的边界点拟合出圆周，并计算出圆心位置。
3.4 实验与分析
实验目的是通过机器视觉，快速识别出工件的特征（这里是圆孔的圆心）。
（1）首先在原始图像（图3）选取被跟踪工件的局部图像作为模板图像template (图4)。 （2）以局部图像template 为模板，在原始图像中进行基于区域的匹配，并以template 的左下角为原点，建立坐标系。然后定义一个搜索区域ROI(region of interest)，根据要提取的特征选择区域的形状，这里选择环形区域。搜索区域必须包含全部目标特征。在ROI 中提取工件的特征，如图3所示。
该步骤相当于离线学习的过程。每次使用前只需要学习一次即可。通过离线学习，系统得到ROI 与工件的相对位置关系，以便实时识别中工件出现偏移、翻转等，ROI 都可以准确出现在合适位置。
图3 圆心识别 图4 实时识别
（3）离线学习后，视觉系统经过区域匹配、阀值分割和边缘提取等步骤找到需要识别的特征（这里是圆孔的圆点），如图4所示。
3.5 结果分析如下：
（1）识别率分析：第一步通过离线学习，训练提取形状特征。第二步使用离线学习得到的坐标关系，实时跟踪工件，得到需要跟踪的形状特征信息。只要离线学习恰当，目标特征就准确识别并且得到相关信息。
（2）实时处理结果分析：图像采集卡的采集速度是25帧/s ，每幅图采集时间为40ms 。摄像头采集一幅图像需要20ms ，该图像处理的速度为10ms/幅。通过程序优化，在采集的同时进行图像处理，而且图像处理的速度比采集的时间要短，就避免了图像的失真和抖动。在物体运动不超过极限速度时，能够较准确地找到圆心的位置。
4. 空间坐标的获取
由一幅图像得到的信息是二维信息，程序中使用的坐标是以像素为单位的，机器人在空间运动需要将图像的信息换算成三维空间坐标。其计算过程如下：
（1）以工件上圆孔的圆心为机器人定位基准，),,(Z Y X A 圆心的世界坐标。当圆心与视觉图像的中心重合时，机器人定位完成。
（2）标定摄像机，得到投影矩阵ce M ，即图像中两个像素间的距离与世界坐标系的转换关系。
（3）摄像机拍摄图像后，经过特征识别得到圆心在图像中坐标),(y x a ，计算出与图像中心的偏移量y x ??、。
（4）以),,(Z Y X A 为基准，按照下式计算机器人末端的世界坐标)',','(Z Y X B ：
Z Z Y
M M y Y X
M M x X c cw c cw =+???=+???='''
其中，c M 是摄像机与机器人末端的坐标转换参数。
注意，本文使用单目视觉，所以这里假设Z 坐标不变；如果使用双目视觉，就可以通过立体视觉计算出Z ’。
5. 误差分析与补偿
本项目的喷涂机器人是六自由度的旋转关节操作臂，与Unimation PUMA560[3]相似，关节4、5、6的轴线相互垂直，且相交与一点。应用参考文献3的方法计算如下： （1）通过机器视觉可以得到机器人末端的空间位置坐标)',','(Z Y X B 。
（2）确定机器人的连杆参数表，如下表：
表1 喷涂机器人的连杆参数表 i βi a i d i θi
1 0 0 0 θ1
2 –90°
0 0 θ2 3 0 a 3 d 3 θ3 4 –90°
a 4 d 4 θ4 5 90° 0 0 θ5 6 –90°0 0 θ6
（3）运用DH 法计算各关节的转角i θ：
当求出机器人末端的世界坐标，T 06中的数值也已知，代入下面方程[3]逐一解出i θ。 ()()
232231,2tan ,2tan d p p d A p p A y x x y ?+±?=θ ()()
22423433,2tan ,2tan K d a K A d a A ?+±?=θ ()232323,2tan c s A =θ
3232θθθ?=
()444,2tan c s A =θ
()555,2tan c s A =θ
()666,2tan c s A =θ
注意，上面各式右边的相关系数可以参考参考文献3。
6. 结论 本文描述了基于机器视觉的工业机器人定位系统，该系统将基于区域的匹配和形状特征识别结合，进行数据识别和计算，能够快速准确地识别出物体特征的边界与质心，机器人控制系统通过逆运动学求解得到机器人各关节位置的转角误差，最后控制高精度的末端执行机构，调整机器人的位姿以消除此误差。从而解决了机器人末端实际位置与期望位置相距较远的问题，改善了喷涂机器人的定位精度。该方法计算量小，定位准确，具有工程实用性。
本系统是使用C#在Visual Studio 2003环境中编写。
参考文献
[1] Gregory D Hager, Wen-Chung Chang, AS Morse. Robot Hand-Eye Coordination Based on Stereo Vision [J]. IEEE Control Systems Magazine, 1995; 15(1):30~39
[2] Mezouar Y , Chaumette F. Path planning for robust image-based control [J]. IEEE Trans on
Robotics and Automation, 2002, 18(4): 534-539.
[3] John J.Craig. Introduction to Robotics Mechanics and Control [M]. 科学出版社.2003
[4] 马颂德，张正友. 计算机视觉[M]. 科学出版社，1998
[5] 章毓晋. 图像工程（上册）图像处理和分析[M]. 北京：清华大学出版社，2003
[6] 张铁，谢存禧. 机器人技术及其应用. 机械工业出. 2005
[7] 岳亮，李自田，李长乐，段小锋. 空间目标的单目视觉测量技术研究. 微计算机信息. 2007, 2-3,273-275
本文作者创新点：本文所讨论的基于机器视觉的工业机器人定位系统，能够对工业机器人由于制造与装配所致的定位误差进行补偿。
作者简介：廖万辉（1983-），男（汉族），广东佛山人，华南理工大学硕士研究生，主要研究机器人理论与工程应用，机器视觉；
李琳（1962-），女（汉族），天津人，博士，华南理工大学副教授，主要研究机器人检测、智能技术及其应用。
Biography: Liao wanhui(1983-), male, master, research area: engineering application of robotics, stereo vision；Li Lin(1962-), female, doctor, associate professor, research area: robotics detection, intelligent technology and application；
本学校图书馆已订阅贵杂志
基于机器视觉的工业机器人定位系统 基于机器视觉的工业机器人定位系统 类别：传感与控制 摘要：建立了一个主动机器视觉定位系统,用于工业机器人对零件工位的精确定位。采用基于区域的匹配和形状特征识别相结合的图像处理方法,该方法经过阈值和形状判据,识别出物体特征。经实验验证,该方法能够快速准确地得到物体的边界和质心,进行数据识别和计算,再结合机器人运动学原理控制机器人实时运动以消除此误差,满足工业机器人自定位的要求。 1.引言目前工业机器人仅能在严格定义的结构化环境中执行预定指令动作，缺乏对环境的感知与应变能力，这极大地限制了机器人的应用。利用机器人的视觉控制，不需要预先对工业机器人的运动轨迹进行示教或离线编程，可节约大量的编程时间，提高生产效率和加工质量。Hagger 等人提出通过基于机器人末端与目标物体之间的误差进行视觉反馈的方法；Mezouar 等人提出通过图像空间的路径规划和基于图像的控制方法。国内这方面主要应用于焊接机器人对焊缝的跟踪。本文利用基于位置的视觉伺服思想，以六自由度垂直关节型喷涂机器人为载体，提出一种基于机器视觉的工业机器人自定位控制方法，解决了机器人末端实际位置与期望位置相距较远的问题，改善了喷涂机器人的定位精度。 2.视觉定位系统的组成机器人视觉定位系统构成如图 1 所示，在关节型机器人末端安装喷涂工具、单个摄像机，使工件能完全出现在摄像机的图像中。系统包括摄像机系统和控制系统：（1）摄像机系统：由单个摄像机和计算机（包括图像采集卡）组成，负责视觉图像的采集和机器视觉算法；（2）控制系统：由计算机和控制箱组成，用来控制机器人末端的实际位置；经 CCD 摄像机对工作区进行拍摄，计算机通过本文使用的图像识别方法，提取跟踪特征，进行数据识别和计算，通过逆运动学求解得到机器人各关节位置误差值，最后控制高精度的末端执行机构，调整机器人的位姿。 图1 喷涂机器人视觉定位系统组成 3.视觉定位系统工作原理 3.1 视觉定位系统的工作原理使用 CCD 摄像机和1394 系列采集卡，将视频信号输入计算机，并对其快速处理。首先选取被跟踪物体的局部图像，该步骤相当于离线学习的过程，在图像中建立坐标系以及训练系统寻找跟踪物。学习结束后，图像卡不停地采集图像，提取跟踪特征，进行数据识别和计算，通过逆运动学求解得到机器人各关节位置给定值，最后控制高精度的末端执行机构，调整机器人的位姿。工作流程如图2 所示。图 2 视觉定位系统软件流程图 3.2 基于区域的匹配本文采用的就是基于区域的相关匹配方法。它是把一幅图像中的某一点的灰度领域作为模板，在另一幅图像中搜索具有相同（或相似）灰度值分布的对应点领域，从而实现两幅图像的匹配。在基于区域相关的算法中，要匹配的元素是固定尺寸的图像窗口，相似准则是两幅图像中窗口间的相关性度量。当搜索区域中的元素使相似性准则最大化时，则认为元素是匹配的。定义P (i, j) P 是模板图像中一点，取以P (i, j) P 为中心的某一邻域作为相关窗口K ，大小为(2w +1)，假设K 在原始图中，水
机器人室内定位解决方 案 -CAL-FENGHAI-(2020YEAR-YICAI)_JINGBIAN
通过在室内或者室外布设一定数量的UWB定位基站，机器人携带定位标签，最终实现机器人的精准定位导航。 UWB室内定位技术,可以提供最优达2厘米级、一般情况下10厘米以下定位精度，系统定位微基站支持多定位单元扩展，定位微标签支持
刷新率在线调整功能。系统基于先进的基于无线超窄脉冲波的无线定位原理，抗干扰能力强，系统性能稳定可靠，架设简单，维护方便，适合工业应用。 1：无线超窄脉冲定位技术特点 传统的无线定位系统使用WiFi、蓝牙及Zigbee等技术，基于接收信号强度法（RSSI）来对标签位置进行粗略估计，定位精度低，且容易受到干扰，定位稳定性难以适应室内应用的要求。UWB基于超窄脉冲技术的无线定位技术，从根本上解决了这一问题。 无线超窄脉冲电磁波，使用脉冲宽度为ns级的无线脉冲信号作为定位载波，是无线定位领域的定位精度最高，性能最为稳定的技术。在频域上，由于其占用的频带较宽（也被称为超宽带技术，UWB技术），且无线功率密度较低，对于其他的无线设备来说相当于噪声信号，不会对其造成干扰，也加强了自身的抗干扰性。无线定位系统基于超窄脉冲技术，成为国内领先的高精度无线定位产品。
2：定位原理 无线定位系统使用先进的超窄脉冲精确测量飞行时间技术，实现了底层的精确测距/计时；结合位置解算算法，实现了上层的精确定位。其基本原理如下图所示。 基站位置为已知,标签发出无线脉冲,到达每个基站的时间再乘以光速,从而得到标签到每个基站的距离,再通过算法最终就可以得到标签的位置. 3：定位系统构成 无线定位系统的系统架构如下图所示。系统主要包括定位基站、定位标签、定位解算服务器、定位解算引擎及POE交换机、网线等网络设备构成。
移动机器人的关键技术分为以下三种: (1)导航技术 导航技术是移动机器人的一项核心技术之一[3,4]"它是指移动机器人通过传感器感知环境信息和自身状态,实现在有障碍的环境中面向目标的自主运动"目前,移动机器人主要的导航方式包括:磁导航,惯性导航,视觉导航等"其中,视觉导航15一7]通过摄像头对障碍物和路标信息拍摄,获取图像信息,然后对图像信息进行探测和识别实现导航"它具有信号探测范围广,获取信息完整等优点,是移动机器人导航的一个主要发展方向,而基于非结构化环境视觉导航是移动机器人导航的研究重点。 (2)多传感器信息融合技术多传感器信息融合技术是移动机器人的关键技术之一,其研究始于20世纪80年代18,9]"信息融合是指将多个传感器所提供的环境信息进行集成处理,形成对外部环境的统一表示"它融合了信息的互补性,信息的冗余性,信息的实时性和信息的低成本性"因而能比较完整地,精确地反映环境特征,从而做出正确的判断和决策,保证了机器人系统快速性,准确性和稳定性"目前移动机器人的多传感器融合技术的研究方法主要有:加权平均法,卡尔曼滤波,贝叶斯估计,D-S证据理论推理,产生规则,模糊逻辑,人工神经网络等"例如文献[10]介绍了名为Xavier的机器人,在机器人上装有多种传感器,如激光探测器!声纳、车轮编码器和彩色摄像机等,该机器人具有很高的自主导航能力。 (3)机器人控制器作为机器人的核心部分,机器人控制器是影响机器人性能的关键部分之一"目前,国内外机器人小车的控制系统的核心处理器,己经由MCS-51、80C196等8位、16位微控制器为主,逐渐演变为DSP、高性能32位微控制器为核心构成"由于模块化系统具有良好的前景,开发具有开放式结构的模块化、标准化机器人控制器也成为当前机器人控制器的一个研究热点"近几年,日本!美国和欧洲一些国家都在开发具有开放式结构的机器人控制器,如日本安川公司基于PC开发的具有开放式结构!网络功能的机器人控制器"我国863计划智能机器人主题也已对这方面的研究立项 视觉导航技术分类 机器人视觉被认为是机器人重要的感觉能力，机器人视觉系统正如人的眼睛一样,是机器人感知局部环境的重要“器官”,同时依此感知的环境信息实现对机器人的导航。机器人视觉信息主要指二维彩色CCD摄像机信息,在有些系统中还包括三维激光雷达采集的信息。视觉信息能否正确、实时地处理直接关系到机器人行驶速度、路径跟踪以及对障碍物的避碰,对系统的实时性和鲁棒性具有决定性的作用。视觉信息处理技术是移动机器人研究中最为关键的技术之一。
机器视觉检测系统简述及系统构成 1机器视觉检测的一般模式 机器视觉检测的目标千差万别，检测的方式也不尽相同。农产品如苹果、玉米等通常是检测其成熟度，大小，形态等，工业产品如工业零件,印刷电路板通常是检测其几何尺寸，表面缺陷等。不同的应用场合，就需要采用不同的检测设备和检测方法。如有的检测对精度要求高，就需要选择高分辨率的影像采集装置；有的检测需要产品的彩色信息，就需要采用彩色的工业相机装置。正是由于不同检测环境的特殊性，目前世界上还没有一个适用于所有产品的通用机器视觉检测系统。虽然各个检测系统采用的检测设备和检测方法差异很大，但其检测的一般模式却是相同的。机器视觉检测的一般模式是首先通过光学成像和图像采集装置获得产品的数字化图像，再用计算机进行图像处理得到相关检测信息，形成对被测产品的判断决策，最后将该决策信息发送到分拣装置，完成被测产品的分拣。 机器视觉检测的一般模式如图1所示： 图1机器视觉检测的一般模式 1.1图像获取 图像获取是机器视觉检测的第一步，它影响到系统应用的稳定性和可靠性。图像的获取实际上就是将被测物体的可视化图像和内在特征转换成能被计算机处理的图像数据。机器视觉检测系统一般利用光源，光学镜头，相机，图像采集卡等设备获取被测物体的数字化图像。 1.2视觉检测 视觉检测通过图像处理的方法从产品图像中提取需要的信息，做出结果处理并发送相应消息到分拣机构。通常这部分功能由机器视觉软件来完成。优秀的机器视觉软件可对图像中的目标特征进行快速准确地检测，并最大限度地减少对硬件系统的依赖性，而算法设计不够成熟的机器视觉软件则存在检测速度慢，误判率高，对硬件依赖性强等特点。在机器视觉检测系统中视觉信息的处理主要依赖于图像处理方法，它包括图像增强,数据编码和传输，平滑，边缘锐化，分割，特征提取，目标识别与理解等内容。 1.3分拣 对于一个检测系统而言，最终是要实现次品（含不同种类的次品）与合格品的分离即分拣，这部分功能由分拣机构来完成。分拣是机器视觉检测的最后一个也是最为关键的一个环节"对于不同的应用场合，分拣机构可以是机电系统!液压系统!气动系统中的某一种。但无论是哪一种，除了其加工制造和装配精度要严格保证以外,其动态特性,特别是快速性和稳定性也十分重要，必须在设计时予以足够的重视。 2机器视觉检测系统的构成 一个典型的机器视觉检测系统主要包括光源、光学镜头、数字相机、图像采集卡、图像处理模块、分拣机构等部份。其构成如图2所示。 图2典型的机器视觉检测系统 3光源
第一章机器视觉系统构成与关键技术 1、机器视觉系统一般由哪几部分组成？机器视觉系统应用的核心目标是什么？主要的分 成几部分实现？ 用机器来延伸或代替人眼对事物做测量、定位和判断的装置。组成：光源、场景、摄像机、图像卡、计算机。用机器来延伸或代替人眼对事物做测量、定位和判断。三部分：图像的获取、图像的处理和分析、输出或显示。 2、图像是什么？有那些方法可以得到图像？ 图像是人对视觉感知的物质再现。光学设备获取或人为创作。 3、采样和量化是什么含义？ 数字化坐标值称为取样，数字化幅度值称为量化。采样指空间上或时域上连续的图像（模拟图像）变换成离散采样点（像素）集合的操作；量化指把采样后所得的各像素的灰度值从模拟量到离散量的转换。采样和量化实现了图像的数字化。 4、图像的灰度变换是什么含义？请阐述图像反色算法原理？ 灰度变换指根据某种目标条件按照一定变换关系逐点改变原图像中每一个像素灰度值，从而改善画质，使图像的显示效果更加清晰的方法。对于彩色图像的R、G、B各彩色分量取反。 第二章数字图像处理技术基础 1、对人类而言，颜色是什么？一幅彩色图像使用RGB色彩空间是如何定义的？24位真彩 色，有多少种颜色？ 对人类而言，在人类的可见光范围内，人眼对不同波长或频率的光的主观感知称为颜色。 一幅图像的每个像素点由24位编码的RGB 值表示：使用三个8位无符号整数（0 到255）表示红色、绿色和蓝色的强度。256*256*256=16,777,216种颜色。 2、红、绿、蓝三种颜色为互补色，光照在物体上，物体只反射与本身颜色相同的色光而吸 收互补色的光。一束白光照到绿色物体上，人类看到绿色是因为？ 该物体吸收了其他颜色的可见光，而主要反射绿光，所以看到绿色。 3、成像系统的动态范围是什么含义？ 动态范围最早是信号系统的概念，一个信号系统的动态范围被定义成最大不失真电平和噪声电平的差。而在实际用途中，多用对数和比值来表示一个信号系统的动态范围，比如在音频工程中，一个放大器的动态范围可以表示为： D = lg（Power_max / Power_min）×20； 对于一个底片扫描仪，动态范围是扫描仪能记录原稿的灰度调范围。即原稿最暗点的密度（Dmax）和最亮处密度值(Dmin)的差值。 我们已经知道对于一个胶片的密度公式为D = lg（Io/I）。那么假设有一张胶片，扫描仪向其投射了1000单位的光，最后在共有96%的光通过胶片的明亮（银盐较薄）部分，而在胶片的较厚的部分只通过了大约4%的光。那么前者的密度为： Dmin=lg（1000/960）= 0.02； 后者的密度为： Dmax=lg（1000/40）= 1.40 那么我们说动态范围为：D=Dmax-Dmin=1.40-0.02=1.38。
机器人室内定位解决方案 案场各岗位服务流程 销售大厅服务岗： 1、销售大厅服务岗岗位职责： 1)为来访客户提供全程的休息区域及饮品; 2)保持销售区域台面整洁; 3)及时补足销售大厅物资,如糖果或杂志等; 4)收集客户意见、建议及现场问题点； 2、销售大厅服务岗工作及服务流程 阶段工作及服务流程 班前阶段1）自检仪容仪表以饱满的精神面貌进入工作区域 2）检查使用工具及销售大厅物资情况，异常情况及时登记并报告上级。 班中工作程序服务 流程 行为 规范 迎接 指引 递阅 资料 上饮品 （糕点） 添加茶水工作1）眼神关注客人，当客人距3米距离侯客迎询问客户送客户
注意事项 15度鞠躬微笑问候：“您好！欢迎光临！”2）在客人前方1-2米距离领位，指引请客人向休息区，在客人入座后问客人对座位是否满意：“您好！请问坐这儿可以吗？”得到同意后为客人拉椅入座“好的，请入座！” 3）若客人无置业顾问陪同，可询问：请问您有专属的置业顾问吗？，为客人取阅项目资料，并礼貌的告知请客人稍等，置业顾问会很快过来介绍，同时请置业顾问关注该客人； 4）问候的起始语应为“先生-小姐-女士早上好，这里是XX销售中心，这边请”5）问候时间段为8:30-11:30 早上好11:30-14:30 中午好 14:30-18:00下午好 6）关注客人物品，如物品较多，则主动询问是否需要帮助（如拾到物品须两名人员在场方能打开，提示客人注意贵重物品）； 7）在满座位的情况下，须先向客人致
待； 阶段工作及服务流程 班中工作程序工作 要求 注意 事项 饮料（糕点服务） 1）在所有饮料（糕点）服务中必须使用 托盘； 2）所有饮料服务均已“对不起，打扰一 下，请问您需要什么饮品”为起始； 3）服务方向：从客人的右面服务； 4）当客人的饮料杯中只剩三分之一时， 必须询问客人是否需要再添一杯，在二 次服务中特别注意瓶口绝对不可以与 客人使用的杯子接触； 5）在客人再次需要饮料时必须更换杯 子； 下班程 序1）检查使用的工具及销售案场物资情况，异常情况及时记录并报告上级领导； 2）填写物资领用申请表并整理客户意见；3）参加班后总结会； 4）积极配合销售人员的接待工作，如果下班
移动机器人视觉导航。 0504311 19 刘天庆一、引言 智能自主移动机器人系统能够通过传感器感知外界环境和自身状态，实现在有障碍物环境中面向目标的自主运动，从而完成一定作业功能。其本身能够认识工作环境和工作对象，能够根据人给予的指令和“自身”认识外界来独立地工作，能够利用操作机构和移动机构完成复杂的操作任务。因此，要使智能移动机器人具有特定智能，其首先就须具有多种感知功能，进而进行复杂的逻辑推理、规划和决策，在作业环境中自主行动。机器人在行走过程中通常会碰到并且要解决如下三个问题：（1）我（机器人）现在何处？（2）我要往何处走？（3）我要如何到达该处？其中第一个问题是其导航系统中的定位及其跟踪问题，第二、三个是导航系统的路径规划问题。移动机器人导航与定位技术的任务就是解决上面的三个问题。移动机器人通过传感器感知环境和自身状态，进而实现在有障碍物的环境中面向目标自主运动，这就是通常所说的智能自主移动机器人的导航技术。而定位则是确定移动机器人在工作环境中相对于全局坐标的位置及其本身的姿态，是移动机器人导航的基本环节。 目前，应用于自主移动机器人的导航定位技术有很多，归纳起来主要有：安装CCD 摄像头的视觉导航定位、光反射导航定位、全球定位系统GPS(Global Positioning System)、声音导航定位以及电磁导航定位等。下面分别对这几种方法进行简单介绍和分析。 1、视觉导航定位 在视觉导航定位系统中，目前国内外应用较多的是基于局部视觉的在机器人中安装车载摄像机的导航方式。在这种导航方式中，控制设备和传感装置装载在机器人车体上，图像识别、路径规划等高层决策都由车载控制计算机完成。视觉导航定位系统主要包括：摄像机（或CCD 图像传感器）、视频信号数字化设备、基于DSP 的快速信号处理器、计算机及其外设等。现在有很多机器人系统采用CCD 图像传感器，其基本元件是一行硅成像元素，在一个衬底上配置光敏元件和电荷转移器件，通过电荷的依次转移，将多个象素的视频信号分时、顺序地取出来，如面阵CCD传感器采集的图像的分辨率可以从32×32 到1024×1024 像素等。视觉导航定位系统的工作原理简单说来就是对机器人周边的环境进行光学处理，先用摄像头进行图像信息采集，将采集的信息进行压缩，然后将它反馈到一个由神经网络和统计学方法构成的学习子系统，再由学习子系统将采集到的图像信息和机器人的实际位置联系起来，完成机器人的自主导航定位功能。 视觉导航定位中，图像处理计算量大，计算机实时处理的速度要达到576MOPS~5.76BOPS，这样的运算速度在一般计算机上难以实现，因此实时性差这一瓶颈问题有待解决； 另外，对于要求在黑暗环境中作业的机器人来说，这种导航定位方式因为受光线条件限制也不太适应。 当今国内外广泛研制的竞赛足球机器人通常都采用上面所说的视觉导航定位方式，在机器人小车子系统中安装摄像头，配置图像采集板等硬件设备和图像处理软件等组成机器人视觉系统。通过这个视觉系统，足球机器人就可以实现对球的监测，机器人自身的定位，作出相应动作和预测球的走向等功能
机器人视觉系统 ——人脸识别技术 优势 1 不被察觉，不会引起人的反感。 2 非接触性，不需要和设备接触即可识别 3 自然性 4 准确，可靠，灵活。 原理 在检测到人脸并定位面部关键特征点之后，主要的人脸区域就可以被裁剪出来，经过预处理之后，馈入后端的识别算法。识别算法要完成人脸特征的提取，并与库存的已知人脸进行比对，完成最终的分类。 主要过程 一般分三步： (1)首先建立人脸的面像档案。即用摄像机采集单位人员的人脸的面像文件或取他们的照片形成面像文件，并将这些面像文件生成面纹(Faceprint)编码贮存起来。 (2)获取当前的人体面像。即用摄像机捕捉的当前出入人员的面像，或取照片输入，并将当前的面像文件生成面纹编码。（智械科技） (3)用当前的面纹编码与档案库存的比对。即将当前的面像的面纹编码与档案库存中的面纹编码进行检索比对。上述的“面纹编码”方式是根据人脸脸部的本质特征和开头来工作的。这种面纹编码可以抵抗光线、皮肤色调、面部毛发、发型、眼镜、表情和姿态的变化，具有强大的可靠性，从而使它可以从百万人中精确地辩认出某个人。人脸的识别过程，利用普通的图像处理设备就能自动、连续、实时地完成。 实现方法 基于OpenCv人脸识别设计方案 1 系统组成 以OpenCV 图像处理库为基础，利用库中提供的相关功能函数进行各种处理：通过相机对图像数据进行采集，人脸检测主要是调用已训练好的Haar 分类器来对采集的图像进行模
式匹配，检测结果利用PCA 算法可进行人脸图像训练与身份识别，而人脸表情识别则利用了Camshift 跟踪算法和Lucas–Kanade 光流算法。
机器视觉在自动化生产中的应用 如今，自动化技术在我国发展迅猛，人们对于机器视觉的认识更加深刻，对于它的看法也发生了很大的转变。机器视觉系统提高了生产的自动化程度，让不适合人工作业的危险工作环境变成了可能，让大批量、持续生产变成了现实，大大提高了生产效率和产品精度。快速获取信息并自动处理的性能，也同时为工业生产的信息集成提供了方便。随着机器视觉技术成熟与发展，我们不难发现其应用范围越加的广泛，根据这些领域，我们大致可以概括出机器视觉的五大典型应用，这五大典型应用也基本可以概括出机器视觉技术在工业生产中能够起到的作用。 一、图像识别应用 图像识别，是利用机器视觉对图像进行处理、分析和理解，以识别各种不同模式的目标和对象。图像识别在机器视觉工业领域中最典型的应用就是二维码的识别了，二维码就是我们平时常见的条形码中最为普遍的一种。将大量的数据信息存储在这小小的二维码中，通过条码对产品进行跟踪管理。通过机器视觉系统，可以方便的对各种材质表面的条码进行识别读取，大大提高了现代化生产的效率。 二、图像检测应用 检测是机器视觉工业领域最主要的应用之一，几乎所有产品都需要检测，而人工检测存在着较多的弊端，人工检测准确性低，长时间工作的话，准确性更是无法保证，而且检测速度慢，容易影响整个生产过程的效率。因此，机器视觉在图像检测的应用方面也非常的广泛，例如：硬币边缘字符的检测。2000年10月新发行的第五套人民币中，壹圆硬币的侧边增强了防伪功能，鉴于生产过程的严格控制要求，在造币的最后一道工序上安装了视觉检测系统。另外，其还可应用于印刷过程中的套色定位以及较色检查、包装过程中的饮料瓶盖的印刷质量检查，产品包装上的条码和字符识别，玻璃瓶的缺陷检测等。其中，机器视觉系统对玻璃瓶的缺陷检测，也包括了药用玻璃瓶范畴，也就是说机器视觉也涉及到了医药领域，其主要检测包括尺寸检测、瓶身外观缺陷检测、瓶肩部缺陷检测、瓶口检测等。 三、视觉定位应用 视觉定位要求机器视觉系统能够快速准确的找到被测零件并确认其位置。在半导体封装领域，设备需要根据机器视觉取得的芯片位置信息调整拾取头，准确拾取芯片并进行绑定，这就是视觉定位在机器视觉工业领域最基本的应用。 四、物体测量应用 机器视觉工业应用最大的特点就是其非接触测量技术，同样具有高精度和高速度的性能，但非接触无磨损，消除了接触测量可能造成的二次损伤隐患。常见的测量应用包括，齿轮，接插件，汽车零部件，IC元件管脚，麻花钻，罗定螺纹检测等。 五、物体分拣应用 实际上，物体分拣应用是建立在识别、检测之后一个环节，通过机器视觉系统将图像进行处理，实现分拣。在机器视觉工业应用中常用于食品分拣、零件表面瑕疵自动分拣、棉花纤维分拣等。
机器视觉技术应用--视觉定位系统 （编辑：李军单位：无锡创视新科技有限公司） 当前，工业产品种类繁多，在工业产品的生产过程中，都可能涉及到自动定位。如自动化生产线中要求对各零件快速、准确的安装到位。但目前还有部分加工厂还都采用传统的人工定位方法，此方法存在以下缺点： （1）长时间定位单一产品，检测工人眼睛容易疲劳，并且容易受情绪的影响，定位结果难以保证； （2）每个工人对同种被定位准确性的判断标准有轻微的浮动，定位标准不一致，因此很难保证高质量的产品； （3）人工定位的速度相对很慢，定位准确一个产品就需要很长时间，人工定位无法满足高速生产线的在线定位需求。 随着科技的发展，市场及用户对产品的精密程度和质量的要求越来越高，传统的定位方法已经不能满足用户的需求，因此，行业便相继引进机器视觉技术。 机器视觉就是用机器代替人眼来做测量和判断，通过机器视觉产品（即图像摄取装置，分 CMOS 和CCD 两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 机器视觉技术具备定位功能，能够自动判断物体的位置，并将位置信息通过一定的通讯协议输出。此功能多用于全自动装配和生产，譬如自动组装、自动焊接、自动包装、自动灌装、自动喷涂，多配合自动执行机构（机械手、焊枪、喷嘴等）。 基于机器视觉的视觉定位技术得到了广大加工厂商的普遍关注，全自动视觉定位方法不但克服了传统人工定位方法的缺点，同时也发挥了自己快速准确的优点：（1）定位精度高，定位结果可靠、稳定； （2）定位速度快，并且可以长时间工作，可以达到24小时全天运行。 在视觉定位检测系统中，能够准确识别产品的方向和位置是系统的核心。定位检测可分为两个步骤，一是制作标准模板，二是搜索。视觉定位系统采用先进的图像视觉检测技术，实现对高速运动的工业产品进行实时全面的视觉定位分析。当系统配备一台高性能彩
通过在室内或者室外布设一定数量的UWB定位基站，机器人携带定位标签，最终实现机器人的精准定位导航。 UWB室内定位技术,可以提供最优达2厘米级、一般情况下10厘米以下定位精度，系统定位微基站支持多定位单元扩展，定位微标签支持刷
新率在线调整功能。系统基于先进的基于无线超窄脉冲波的无线定位原理，抗干扰能力强，系统性能稳定可靠，架设简单，维护方便，适合工业应用。 1：无线超窄脉冲定位技术特点 传统的无线定位系统使用WiFi、蓝牙及Zigbee等技术，基于接收信号强度法（RSSI）来对标签位置进行粗略估计，定位精度低，且容易受到干扰，定位稳定性难以适应室内应用的要求。UWB基于超窄脉冲技术的无线定位技术，从根本上解决了这一问题。 无线超窄脉冲电磁波，使用脉冲宽度为ns级的无线脉冲信号作为定位载波，是无线定位领域的定位精度最高，性能最为稳定的技术。在频域上，由于其占用的频带较宽（也被称为超宽带技术，UWB技术），且无线功率密度较低，对于其他的无线设备来说相当于噪声信号，不会对其造成干扰，也加强了自身的抗干扰性。无线定位系统基于超窄脉冲技术，成为国内领先的高精度无线定位产品。
2：定位原理 无线定位系统使用先进的超窄脉冲精确测量飞行时间技术，实现了底层的精确测距/计时；结合位置解算算法，实现了上层的精确定位。其基本原理如下图所示。 基站位置为已知,标签发出无线脉冲,到达每个基站的时间再乘以光速,从而得到标签到每个基站的距离,再通过算法最终就可以得到标签的位置. 3：定位系统构成 无线定位系统的系统架构如下图所示。系统主要包括定位基站、定位标签、定位解算服务器、定位解算引擎及POE交换机、网线等网络设备构成。
机器人视觉物体定位方法 本次设计的题目是机器人视觉物体定位。伴随社会发展，机器人的利用越来越普及，出现了多种多样的智能机器人，由此也引发了对机器视觉的研究热潮。文章首先介绍了机器视觉的发展历程，并详细说明了各阶段的特点。接着概述了机器视觉技术的原理，深入剖析了主流视觉物体定位方法。然后介绍了机器人视觉物体定位方法常用的几种应用。最后介绍了几种新颖的视觉物体定位方法，并猜想机器人视觉物体定位技术未来发展方向。 关键词：机器视觉 SLAM技术单目视觉双目视觉多目视觉 第一章：绪论 1.1选题的背景及意义 在我国持续爆发的2019新型冠状病毒（即2019-nCoV）事件中,自动化食品仓储配送系统服务包括机器人、无人驾驶、无人机等再次成为讨论的焦点。配送机器人如何实现自动取货送货？无人驾驶汽车是怎么躲避行人？无人机巡航中怎么确定物体之间的距离？当我们谈到相关的话题时，机器视觉定位是无论如何也绕不开的问题。 自被誉为“机器人之父”的恩格尔伯格先生1959年发明第一台机器人以来，科学家一直把对机器人的研究作为研究的重点方向。传统的机器人缺乏环境感知能力和自动应变能力，仅仅只能在严格的预定义的环境中完成一些预定义和指令下的动作,应用非常有限局限。随着机器人逐渐走进人们的生产和生活中，人们也对机器人提出了更高的要求，希望实现在生产加工中对物体的自动加工、对自身运动轨迹实时的随动检测，节省对其运动轨迹的预先编程，提高生产效率。要达到这些要求，必须同时满足图像信息的获取、采集、处理和输出，这就是本文的研究重点：机器人视觉物体定位方法。
机器人视觉物体定位系统的设计和研发是为了更好地为工业机器人服务，它的本质是发挥摄像机定位以及跟踪性功能，很多企业在自身生产环节依赖于机器人，生产效率明显得到改善。然而很多的机器人是半自动的工作模式，只有在人工操控的指引下才能完成工作任务，这样的机器人实用性很差，无法彻底解放人工，实现自动化操作。为了提高机器人接收外界信息、感知外界信息的能力，进一步提高机器人的工作效率，保障工业生产的精度和质量，在以往的机器人系统中新增全新的计算机图像视觉获取系统,通过视觉图像获取系统中所捕捉的图像和外界信息,对捕捉的图像信息进行处理和分析识别，继而让机器人能够识别外界信息，然后再全面分析图像的基础上完成后续的重建和精准化计算，通过一系列的重建以及精准化的计算全面应用机器人控制柜通讯等等设备，掌控全面的工作，实现机器人对外界信息的跟踪和定位。 1.2国内外研究现状 国外研究现状 国外最先开始视觉物体定位技术的研究，应用领域也相对广泛，并且占据绝对的技术优势，其主要涉及机器人移动导航、三维立体测量、虚拟现实VR技术等。 20世纪60年代,美国mit的robert研究人员提出三维景物分析,标志着立体视觉和影像技术的结合点而诞生。立体视觉在此后20年的时间迅速地发展成为一门新的影像技术学科。到70年代时,以marr为主要代表的一批视觉物体定位方法研究学者已经整理和发展出了一整套关于视觉计算的理论基础。到80 年代后，大量利用空间几何研究双目立体视觉的学者提出了一系列理论与实际成果。 卡内基梅隆大学的Tomasi 和Kanade 等人对立体视觉的研究建立在摄像机为正交投影模型的假设下，分解出了三维结构和相机运行，成功研究出了基于图像的三维重建技术。但是，这项技术存在明显的缺点，由于假设相机为正交投影模型，而这个假设仅仅在物体深度远远大于物体尺寸时才是合理假设。美国
机器视觉测量技术杨永跃合肥工业大学 2007.3 目录 第一章绪论 1.1 概述 1.2 机器视觉的研究内容 1.3 机器视觉的应用 1.4 人类视觉简介 1.5 颜色和知觉 1.6 光度学 1.7 视觉的空间知觉 1.8 几何基础 第二章图像的采集和量化 2.1 采集装置的性能指标 2.2 电荷藕合摄像器件 2.3 CCD 相机类 2.4 彩色数码相机 2.5 常用的图像文件格式
2.6 照明系统设计 第三章光学图样的测量 3.1 全息技术 3.2 散斑测量技术 3.3 莫尔条纹测量技术 3.4 微图像测量技术 第四章标定方法的研究 4.1 干涉条纹图数学形成与特征4.2 图像预处理方法 4.3 条纹倍增法 4.4 条纹图的旋滤波算法 第五章立体视觉 5.1 立体成像 2 5.2 基本约束 5.3 边缘匹配 5.4 匹域相关性 5.5 从 x 恢复形状的方法 5.6 测距成像
第六章标定 6.1 传统标定 6.2 Tsais 万能摄像机标定法 6.3 Weng ’ s 标定法 6.4 几何映射变换 6.5 重采样算法 第七章目标图像亚像素定位技术第八章图像测量软件 (多媒体介绍 第九章典型测量系统设计分析9.1 光源设计 9.2 图像传感器设计 9.3 图像处理分析 9.4 图像识别分析 附:教学实验 1、视觉坐标测量标定实验 2、视觉坐标测量的标定方法。 3、视觉坐标测量应用实验 4、典型零件测量方法等。
3 第一章绪论 1.1 概述 人类在征服自然、改造自然和推动社会进步的过程中,面临着自身能力、能量的局限性, 因而发明和创造了许多机器来辅助或代替人类完成任务。智能机器或智能机器人是这种机器最理想的模式。 智能机器能模拟人类的功能、能感知外部世界,有效解决问题。 人类感知外部世界:视觉、听觉、嗅觉、味觉、触觉 眼耳鼻舌身 所以对于智能机器,赋予人类视觉功能极其重要。 机器视觉:用计算机来模拟生物(外显或宏观视觉功能的科学和技术。 机器视觉目标:用图像创建或恢复现实世界模型,然后认知现实世界。 1.2 机器视觉的研究内容 1 输入设备成像设备:摄像机、红外线、激光、超声波、 X 射线、 CCD 、数字扫描仪、超声成像、 CT 等 数字化设备 2 低层视觉(预处理 :对输入的原始图像进行处理(滤波、增强、边缘检测 ,提取角点、边缘、线条色彩等特征。 3 中层视觉:恢复场景的深度、表面法线,通过立体视觉、运动估计、明暗特征、纹理分析。系统标定
河北工业大学 院系：河北工业大学机械工程学院 班级：机研155班 姓名：翟云飞 学号： 201531204037 题目：机器视觉技术及其应用
目录 1.机器视觉的发展现状 2.机器视觉系统组成 2.1机器视觉系统的工作原理 3.机器视觉的应用 3.1基于机器视觉的FPC嵌入式检测系统检测系统 3.2基于机器视觉的柔性制造岛在线零件识别系统 3.3基于机器视觉的PCB光板缺陷检测技术 3.4新兴行业 4.机器视觉发展趋势 5.中国机器视觉产业的发展现状 5.1、随着产业化的发展对机器视觉的需求将呈上升趋势 5.2、统一开放的标准是机器视觉发展的原动力 5.3、基于嵌入式的产品将取代板卡式产品 5.4、标准化、一体化解决方案也将是机器视觉的必经之路 6.参考文献
1.中国机器视觉的发展趋势 近年来，机器视觉已经发展成为光电子的一个应用分支，广泛应用于微电子、PCB生产、自动驾驶、印刷、科学研究和军事等领域。机器视觉在中国的蓬勃发展，使从事机器视觉的公司和人员大量涌现。首先概述了机器视觉技术的基本原理并分析了机器视觉系统的构建；接着论述了机器视觉技术的当前主要应用领域与情况；最后分析了现阶段机器视觉技术存在的问题。 2.机器视觉系统组成及其工作原理 简言之，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品（即图像摄取装置，分CMOS和CCD两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 从原理上机器视觉系统主要由三部分组成：图像的采集、图像的处理和分析、输出或显示。—个典型的机器视觉系统应该包括光源、光学系统、图像捕捉系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块，如图1所示。
基于机器视觉的工件识别和定位文献综述 1.前言 1.1工业机器人的现状与发展趋势 机器人作为一种最典型的应用范围广、技术附加值高的数字控制装备，在现代先进生产制造业中发挥的作用越来越重要，机器人技术的发展将会对未来生产和社会发展起到强有力的推动作用。《2l 世纪日本创建机器人社会技术发展战略报告》指出，“机器人技术与信息技术一样，在强化产业竞争力方面是极为重要的战略高技术领域。培育未来机器人产业是支撑2l 世纪日本产业竞争力的产业战略之一，具有非常重要的意义。” 研发工业机器人的初衷是为了使工人能够从单调重复作业、危险恶劣环境作业中解脱出来，但近些年来，工厂和企业引进工业机器人的主要目的则更多地是为了提高生产效率和保证产品质量。因为机器人的使用寿命很长，大都在10 年以上，并且可以全天后不间断的保持连续、高效地工作状态，因此被广泛应用于各行各业，主要进行焊接、装配、搬运、加工、喷涂、码垛等复杂作业。伴随着工业机器人研究技术的成熟和现代制造业对自动生产的需要，工业机器人越来越被广泛的应用到现代化的生产中。 现在机器人的价格相比过去已经下降很多，并且以后还会继续下降，但目前全世界范围的劳动力成本都有所上涨，个别国家和地区劳动力成本又很高，这就给工业机器人的需求提供了广阔的市场空间，工业机器人销量的保持着较快速度的增长。工业机器人在生产中主要有机器人工作单元和机器人工作生产线这两种应用方式，并且在国外，机器人工作生产线已经成为工业机器人主要的应用方式。以机器人为核心的自动化生产线适应了现代制造业多品种、少批量的柔性生产发展方向，具有广阔的市场发展前景和强劲生命力，已开发出多种面向汽车、电气机械等行业的自动化成套装备和生产线产品。在发达国家，机器人自动化生产线已经应用到了各行各业，并且已经形成一个庞大的产业链。像日本的FANUC、MOTOMAN，瑞典的ABB、德国的KUKA、意大利的COMAU 等都是国际上知名的被广泛用于自动化生产线的工业机器人。这些产品代表着当今世界工业机器人的最高水平。 我国的工业机器人前期发展比较缓慢。当将被研发列入国家有关计划后，发展速度就明显加快。特别是在每次国家的五年规划和“863”计划的重点支持下，我国机器人技术的研究取得了重大发展。在机器人基础技术和关键技术方面都取得了巨大进展，科技成果已经在实际工作中得到转化。以沈阳新松机器人为代表的国内机器人自主品牌已迅速崛起并逐步缩小与国际品牌的技术差距。 机器人涉及到多学科的交叉融合，涉及到机械、电子、计算机、通讯、控制等多个方面。在现代制造业中，伴随着工业机器人应用范围的扩大和机器人技术的发展，机器人的自动化、智能化和网络化的程度也越来越高，所能实现的功能也越来越多，性能越来越好。机器人技术的内涵已变为“灵活应用机器人技术的、具有实在动作功能的智能化系统。”目前，工业机器人技术正在向智能机器和智能系统的方向发展，其发展趋势主要为：结构的模块化和可重构化；控制技术的开放化、PC 化和网络化；伺服驱动技术的数字化和分散化；多传感器融合技术的实用化；工作环境设计的优化和作业的柔性化以及系统的网络化和智能化等方面。 1.2机器视觉在工业机器人中的应用 工业机器人是FMS（柔性加工）加工单元的主要组成部分，它的灵活性和柔性使其成为自动化物流系统中必不可少的设备，主要用于物料、工件的装卸、分捡和贮运。目前在全世界有数以百万的各种类型的工业机器人应用在机械制造、零件加工和装配及运输等领域，
机器视觉测量技术 杨永跃 合肥工业大学 2007.3
目录第一章绪论 1.1 概述 1.2 机器视觉的研究内容 1.3 机器视觉的应用 1.4 人类视觉简介 1.5 颜色和知觉 1.6 光度学 1.7 视觉的空间知觉 1.8 几何基础 第二章图像的采集和量化 2.1 采集装置的性能指标 2.2 电荷藕合摄像器件 2.3 CCD相机类 2.4 彩色数码相机 2.5 常用的图像文件格式 2.6 照明系统设计 第三章光学图样的测量 3.1 全息技术 3.2 散斑测量技术 3.3 莫尔条纹测量技术 3.4 微图像测量技术 第四章标定方法的研究 4.1 干涉条纹图数学形成与特征 4.2 图像预处理方法 4.3 条纹倍增法 4.4 条纹图的旋滤波算法 第五章立体视觉 5.1 立体成像
5.2 基本约束 5.3 边缘匹配 5.4 匹域相关性 5.5 从x恢复形状的方法 5.6 测距成像 第六章标定 6.1 传统标定 6.2 Tsais万能摄像机标定法 6.3 Weng’s标定法 6.4 几何映射变换 6.5 重采样算法 第七章目标图像亚像素定位技术 第八章图像测量软件 （多媒体介绍） 第九章典型测量系统设计分析9.1 光源设计 9.2 图像传感器设计 9.3 图像处理分析 9.4 图像识别分析 附：教学实验 1、视觉坐标测量标定实验 2、视觉坐标测量的标定方法。 3、视觉坐标测量应用实验 4、典型零件测量方法等。
第一章绪论 1.1 概述 人类在征服自然、改造自然和推动社会进步的过程中，面临着自身能力、能量的局限性，因而发明和创造了许多机器来辅助或代替人类完成任务。智能机器或智能机器人是这种机器最理想的模式。 智能机器能模拟人类的功能、能感知外部世界，有效解决问题。 人类感知外部世界：视觉、听觉、嗅觉、味觉、触觉 眼耳鼻舌身 所以对于智能机器，赋予人类视觉功能极其重要。 机器视觉：用计算机来模拟生物（外显或宏观）视觉功能的科学和技术。 机器视觉目标：用图像创建或恢复现实世界模型，然后认知现实世界。 1.2 机器视觉的研究内容 1 输入设备成像设备：摄像机、红外线、激光、超声波、X射线、CCD、数字扫描仪、 超声成像、CT等 数字化设备 2 低层视觉（预处理）：对输入的原始图像进行处理（滤波、增强、边缘检测），提取角 点、边缘、线条色彩等特征。 3 中层视觉：恢复场景的深度、表面法线，通过立体视觉、运动估计、明暗特征、纹理 分析。系统标定 4 高层视觉：在以物体为中心的坐标系中，恢复物体的完整三维图，识别三维物体，并 确定物体的位置和方向。 5 体系结构：根据系统模型（非具体的事例）来研究系统的结构。（某时期的建筑风格— 据此风格设计的具体建筑） 1.3 机器视觉的应用 工业检测—文件处理，毫微米技术—多媒体数据库。 许多人类视觉无法感知的场合，精确定量感知，危险场景，不可见物感知等机器视觉更显其优越十足。 1 零件识别与定位
机器视觉在医疗器械行业的应用 摘要一次性注射针的外观缺陷是影响产品质量的主要因素。为了实现对注射针的外观缺陷检测自动化，本文研究了用西门子机器视觉[1]技术结合西门子自动化[2]设备在线检测注射针的外观缺陷并自动剔除不合格产品的方法。在实际生产过程的运用中，注射针检测系统得到了多家医疗器械厂商的好评。 关键词一次性注射针缺陷检测西门子机器视觉自动化 Abstract The defect on the appearance of the one-off injector pin is the main influencing factor to it’s quality. To realize defect inspection automatically for the defect on the appearance of the one-off injector pin, some defect inspecting methods for the one-off injector pin by SIMATIC machine vision combine with SIMATIC automatic equipment are studied in this article. In actual project, the equipment of Hang zhou Huafeng automatic company that inspects the appearance of the one-off injector pin obtained good effect from many medical instrument manufacturers. Key Words one-off injector pin, defect inspection, SIMATIC machine vision, automation 1 引言 随着医疗水平和医疗器械的不断提高和更新，一次性注射针以其方便、卫生的特点深受用户的喜爱，其需求量也迅速增大，而针头外观的好坏直接影响到一次性注射针的质量。所以为了减少不合格品的数量，需要增加检测工序。手工外观检验和产品标记昂贵和不可靠。同时又意味着不近人情的单调工作。这里，自动化机器视觉系统提供了解决这些问题的方案。 2 一次性注射针的缺陷 一次性注射针可以分为针座和针头两个部分。针座的缺陷对产品的质量影响可以不计。而针头就存在着两种缺陷情况：首先针头在制作过程中针尖部位可能会产生毛刺；其次针头在自动装配过程中可能会产生倒插现象（针尖部位被插入针座）。影响针头的几个缺陷为：针尖毛刺、倒插。其中倒插不仅会对产品的质量产生直接的影响，而且严重的会危害到人的