基于机器视觉的工件识别和定位文献综述
1.前言
1.1工业机器人的现状与发展趋势
机器人作为一种最典型的应用范围广、技术附加值高的数字控制装备，在现代先进生产制造业中发挥的作用越来越重要，机器人技术的发展将会对未来生产和社会发展起到强有力的推动作用。《2l 世纪日本创建机器人社会技术发展战略报告》指出，“机器人技术与信息技术一样，在强化产业竞争力方面是极为重要的战略高技术领域。培育未来机器人产业是支撑2l 世纪日本产业竞争力的产业战略之一，具有非常重要的意义。”
研发工业机器人的初衷是为了使工人能够从单调重复作业、危险恶劣环境作业中解脱出来，但近些年来，工厂和企业引进工业机器人的主要目的则更多地是为了提高生产效率和保证产品质量。因为机器人的使用寿命很长，大都在10 年以上，并且可以全天后不间断的保持连续、高效地工作状态，因此被广泛应用于各行各业，主要进行焊接、装配、搬运、加工、喷涂、码垛等复杂作业。伴随着工业机器人研究技术的成熟和现代制造业对自动生产的需要，工业机器人越来越被广泛的应用到现代化的生产中。
现在机器人的价格相比过去已经下降很多，并且以后还会继续下降，但目前全世界范围的劳动力成本都有所上涨，个别国家和地区劳动力成本又很高，这就给工业机器人的需求提供了广阔的市场空间，工业机器人销量的保持着较快速度的增长。工业机器人在生产中主要有机器人工作单元和机器人工作生产线这两种应用方式，并且在国外，机器人工作生产线已经成为工业机器人主要的应用方式。以机器人为核心的自动化生产线适应了现代制造业多品种、少批量的柔性生产发展方向，具有广阔的市场发展前景和强劲生命力，已开发出多种面向汽车、电气机械等行业的自动化成套装备和生产线产品。在发达国家，机器人自动化生产线已经应用到了各行各业，并且已经形成一个庞大的产业链。像日本的FANUC、MOTOMAN，瑞典的ABB、德国的KUKA、意大利的COMAU 等都是国际上知名的被广泛用于自动化生产线的工业机器人。这些产品代表着当今世界工业机器人的最高水平。
我国的工业机器人前期发展比较缓慢。当将被研发列入国家有关计划后，发展速度就明显加快。特别是在每次国家的五年规划和“863”计划的重点支持下，我国机器人技术的研究取得了重大发展。在机器人基础技术和关键技术方面都取得了巨大进展，科技成果已经在实际工作中得到转化。以沈阳新松机器人为代表的国内机器人自主品牌已迅速崛起并逐步缩小与国际品牌的技术差距。
机器人涉及到多学科的交叉融合，涉及到机械、电子、计算机、通讯、控制等多个方面。在现代制造业中，伴随着工业机器人应用范围的扩大和机器人技术的发展，机器人的自动化、智能化和网络化的程度也越来越高，所能实现的功能也越来越多，性能越来越好。机器人技术的内涵已变为“灵活应用机器人技术的、具有实在动作功能的智能化系统。”目前，工业机器人技术正在向智能机器和智能系统的方向发展，其发展趋势主要为：结构的模块化和可重构化；控制技术的开放化、PC 化和网络化；伺服驱动技术的数字化和分散化；多传感器融合技术的实用化；工作环境设计的优化和作业的柔性化以及系统的网络化和智能化等方面。
1.2机器视觉在工业机器人中的应用
工业机器人是FMS（柔性加工）加工单元的主要组成部分，它的灵活性和柔性使其成为自动化物流系统中必不可少的设备，主要用于物料、工件的装卸、分捡和贮运。目前在全世界有数以百万的各种类型的工业机器人应用在机械制造、零件加工和装配及运输等领域，
不过这些应用都是基于先精确的示教后运行，而且工作环境都是预先安排好的，所以机器人能成功地抓取物体。但是我们知道很多情况下特别是流水线的场合工件的位姿常常是不固定的，实际目标物体的位姿与理想目标物体位姿总是有偏差的，这种偏差哪怕很小就会导致机器人操作任务的失败。这种由于环境的变化而导致机器人不能很好地完成任务的情况极大地限制了机器人的实际应用范围。随着现代生产制造技术的进步，进一步提高生产线的柔性的要求也日益迫切，对工业机器人系统应用领域、灵活性和自主性要求也越来越高，而机器人具备一定自主性的前提是对自身环境有一定的了解，这迫使人们增加传感器来提高机器人对环境的感知能力，在这方面，视觉、接近觉、触觉和力觉具有重大的作用。其中机器人视觉被认为是机器人最重要的感觉能力，从智能机器人的研究实例中，也能清除地看到这一点。视觉是人类观察世界和认知世界的重要手段。据统计表明，人类从外部世界获得的信息约有80％的信息是通过视觉或视觉传感器而获取的，这既说明了视觉信息量大，也表明了人类对视觉信息有较高的利用率，同时也体现了人类视觉功能的重要性。机器人视觉是模拟人类视觉在机器人上的体现。采用视觉传感器比采用其他传感器来获取工作环境及工件信息还有以下几方面的优势：首先，机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成，在提高生产的柔性和自动化程度方面有着重要的作用；其次，即使在丢失了绝大部分的信息后，其所提供的关于周围环境的信息仍然比激光雷达与超声波更多更准确；最后，视觉的采样周期比超声波和激光雷达短，这也意味着视觉系统的实时性要好，所以更适合工件的在线检测、识别、定位等。由于具有以上这些优点，基于视觉的智能机器人具有广阔的发展空间。因而使用视觉来提高机器人的智能水平，具有重要的现实意义和研究价值。
1.3国外基于视觉的工业机器人发展历史
机器人视觉技术是20 世纪80 年代发展起来的新兴技术，它的产生和发展是与机器视觉和机器人技术的发展密不可分的。近年来，机器人视觉技术已成为高技术领域一个重要的研究课题，它为可行走机器人、装配机器人、抓取机器人以及其他种类机器人解决视觉问题提供了技术基础。它将使传统的工业生产面貌发生巨大变化，对人类社会的生活和生产产生深远的影响。目前国内外都在竞相开展有关机器人视觉的基础理论、基本技术以及应用方面的研究工作。机器视觉是一个相当新且发展十分迅速的研究领域，并成为计算机科学的重要研究领域之一。机器视觉是在50 年代从统计模式识别开始的，当时的工作主要集中在二维图像的分析和识别上，如光学字符识别、工件表面、纤维图片和航空图片的分析和解释。60 年代，Roberts 通过计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构，并对物体形状及物体的空间关系进行描述。Roberts的研究工作开创了以理解三维场景为目的的三维机器视觉的研究。Roberts 的创造性研究给人们以极大的启发，到了70 年代，已经出现了一些视觉应用系统。
1954年，美国的George C.Devol设计并制作了世界上第一台机器人实验装置。60年代机器人产品正式问世，机器人技术开始形成。1961年MIT的Lincoln实验室开始把一个配有接触传感器的遥控操纵器的从动部分与一台计算机连接起来，这样形成的机器人可以凭触觉感知物体的状态。随后，用电视摄像头作为输入，把计算机图像处理和物体识别技术也引入到机器人系统。至此，视觉技术正式引入机器人系统。
70年代中期，麻省理工学院（MIT）人工智能（AI）实验室正式开设“机器视觉”课，同时，MIT的AI实验室吸引了国际上许多知名学者参与机器视觉的理论、算法、系统设计的研究。David Marr教授应邀于1973年到该实验室领导一个以博士生为主体的研究小组。1977年提出了不同于“积木世界”分析方法的计算视觉理论，该理论在80年代成为机器视觉研究领域中的一个十分重要的理论框架，可以说对机器视觉的全球性研究热潮是从20世
纪80年代开始的，到了80年代中期，机器视觉获得了蓬勃发展，新概念、新方法、新理论不断涌现，比如，基于感知特征群的物体识别理论框架、主动视觉理论框架、视觉集成理论框架等。
由于国外对视觉技术的研究以及将其和机器人相结合都起步比较早，因此发展的较好，并且已经出现了一些商品化的计算机视觉系统。美国在这方面开展的较早，在20世纪70
年代，美国GM公司试制了能识别传送带上机械零件的视觉检查系统。到了80年代，由于微处理器的普及，各行业对视觉系统都表现出了极大的兴趣。80年代初在国际市场上作为商品出售的一个通用机器人系统PUMA/VC-100，具有识别物体，确定物体位置坐标的能力，其所使用的视觉算法允许在材料加工或装配系统中对工件进行检测。视觉系统是通过示教训练得到的。以美国国家科学基金委员会为中心的实用视觉系统的研究飞速发展。在日本的国家产业政策中，也把大力发展实用视觉系统放在了首要地位，进入90年代以后，在电子、汽车、制药、食品等高效、劳动密集的生产线上，工业视觉系统已是不可缺少的一部分，起到了人眼所不能起的作用，有力地保证了产品质量。
斯坦福研究所早期研制的机器人（Shkey）是一种典型的“眼－车”系统，它的主要功能是在视野范围内识别对象，依靠积累的经验求解行动规划，以及运用逻辑推理的问答能力。它可以穿行房间，搜索、识别指定的对象，并进行“智能”的操作。通用汽车公司开发出可以在噪声环境下工作的机器人视觉系统。Adept 公司是全球知名的工业机器人制造公司，它在研制第一代机器人的时候就考虑了加入视觉系统，因此在二十几年的发展过程中，获得了丰富的经验和比较成熟的技术，使得其成为美国最大的工业机器人制造公司。经过多年的发展，美国的智能机器人研究已经走在了世界的前列。日本在借鉴其他国家研究智能机器人方面的经验之后，现在在这方面的研究已经走在了世界的前列。日立中央研究所研制的具有自主控制功能的智能机器人，可以用来完成按图装配产品的作业。德国Siemens 公司在工业图像处理方面拥有超过20 年的经验积累，SIMATIC VIDEOMAT 是第一个高性能的单色和彩色图像处理系统，并成为SIMATIC自动化系统中极重要的产品。而1999 年推出的SIMATIC VS710 是业内第一个智能化的、一体化的、带PROFIBUS 接口的、分布式的灰度级工业视觉系统，它将图像处理器、CCD、1/O 集成在一个小型机箱内，提供PROFIBUS 的联网方式（通讯速率达12Mbps）或集成的UO 和RS232 接口。OMS 视觉系统，是由原联邦德国制造生产的商业通用系统，它能够完成物体的识别及特征的检测等任务，操作模式可以是交互式的、主动的以及被动的三种，典型的应用是机械零件的分类、装配以及质量控制等。此外，加拿大、比利时等国，在图像采集、图像处理等方面都具有丰富的经验。
1.4国外机器人制造商生产的视觉工业机器人产品
伴随着科技的进步和生产技术的发展，基于机器视觉技术的工业机器人的研究越来越得到广泛的关注，并且已经出现一大批科技成果，并在实际生产中得到了很好的应用。
国外在对基于机器视觉的工业机器人的研究上已经做了很多工作，并且已经有很多突破性成果。日本学者S.Murakami 等研究的弧焊机器人焊缝跟踪控制系统，采用了视觉传感器并用神经网络进行图像处理以获得焊缝的形状数据，能有效地进行焊缝跟踪。
澳大利亚Western 大学研制的Australia’s Telerobot，它是一个带有摄像机的具有六个自由度的工业机器人，用户可以控制拍摄静态图像并对图像进行处理，生成空间位置，通过不断拍摄和更新图像得到空间位置后，通过对位置信息的处理实现了基于空间坐标系的积木块的摆设。欧宝、保时捷等知名品牌汽车的生产线，使用了12 台摄像机进行模式识别和3D 定位，可以对车身进行高精度的密封生产。瑞士SIG 公司研发的一种结合视觉系统，适用在高速输送机上取件的并联机器人XR22，可以通过2D 定位，迅速将输送机上随机的货物抓取，并在包装盒中按顺序序摆放整齐。图1.1 为2007 年日本机器人顶级荣誉获得者—
—Fanuc 公司的超快双臂工业机器人系统。该系统装配有两个M-430iA 机器人手臂和可视跟踪功能的食品、药品操作系统，它的每只手臂每分钟可以精确的捡起120 件物品且可以每天24 小时不间断的工作。瑞典ABB 公司最新推出的“第二代”拾取机器人FlexPicker IRB360（图1.2 所示），拥有有效载荷更大、操作速度更快、占地面积更小等优势，在简单有效的2D 视觉的帮助下，可以以高达2 次/秒的速度快速捡取传送带上的物品。而芬兰RTS 公司研制的机器人视觉系统则成功地用于舰船螺旋桨推进器的生产过程中，通过机器视觉的监控，可按照CAD 模型对螺旋桨叶片进行精密的磨制。图1.3 所示的是工作在生产线上的码垛机器人和卸垛机器人，对环境的适应性很好，能够自主识别工作目标，进行任务操作。
图1.1 Fanuc 公司的超快双臂工业机器人系统
图 1.2 ABB 公司展示的FlexPicker 工业机器人
图 1.3 生产线上的码垛和卸垛工业机器人
1.5我国在基于机器视觉的工业机器人方面的研究状况
我国对计算机视觉的研究真正开始是在改革开放之后，并且在学术上迅速追赶国际水平，但作为工业视觉系统，必须有它的应用市场，才能得以发展。改革开放后，视觉系统检查往往被忽略，这是造成产品不稳定的因素之一。随着企业的深化改革，产品质量的竞争已关系到企业的生命，这就为工业视觉的应用创造了条件。在这种形势下，视觉的研究才逐渐得到人们的重视。
我国的很多高校也相继开展了基于视觉的智能机器人的研究，华中科技大学的彭刚等人提出一种基于视觉引导和超声测距的手眼机器人系统对运动目标的跟踪和抓取方法。北京航空航天大学孟偲等人提出一种基于手眼视觉的测量与定位方法，可以判断未知目标物体是否可抓持以及为进行抓持规划提供有效依据。在重复定位任务中，该方法可以利用目标物体的先验信息快速定位，从而避免频繁移动手臂。东南大学席文明等人介绍了一种通过视觉引导的机器人跟踪复杂焊接的应用。利用双摄像机拍摄的图像求得焊缝上的空间点，然后根据焊接要求的速度对空间点进行直线插补。华中理工大学刘延林研究了在零件设计信息指导下，利用CCD 摄像机获取的工件毛坯图像识别工件毛坯及其安装状态，但其实验系统识别精度不够高，实验方案在实际自动加工中也欠实用。华中科技大学王敏采用视觉与超声测量相结合的方法，将二维图像信息与超声波传感器获取的深度信息进行融合推断，对待装配工件进行自动识别与空间定位，但采用梯度算子直接提取工件边缘。汕头大学的彭惠青等人利用分块二值化处理对图像进行边缘检测时，可获得较高质量图像，但需进行遍历式搜索，因此在线实时性不好。清华大学毛德柱等人利用遗传算法进行匹配获取工件位姿，但未给出该匹配算法的实际效果。这些新的理论和算法都为视觉系统在柔性制造系统中的应用打下了很好的基础。
尽管对三维计算机视觉技术的研究己有几十年的历史，人们确实已获得很大的进步。也尽管机器视觉具有种种的优点，但迄今为止，能真正应用于实际的视觉系统还不多，过去几年来，计算机视觉系统是通过专门硬件、超级计算机及庞大的定制软件库来实现的，虽然成功实现了许多这样的计算机视觉系统，但它们无一例外都高度专门化并且成本昂贵。尤其在国内这种现象更为明显，究其原因，一方面由于其产品价格很昂贵；另一方面由于实际问题的复杂性以及相关学科的滞后，工件的定位、识别算法，视觉控制算法都有待进一步研究，
具体实现过程中仍存在视觉信息处理瓶颈、适用范围窄等实际问题。因此，研究机器视觉和机器人相结合的技术，无论从理论上看，还是从实际出发，都有其深入系统地研究的必要性。
2.工件图像预处理和边缘特征提取
视觉系统强调精度和速度，所以需要图像采集部分及时、准确地提供清晰的图像，只有这样，图像处理部分才能在比较短的时间内得出正确的结果。由此可知图像采集部分的性能会直接影响整个机器视觉系统的性能。
图像采集部分一般由光源、镜头、数字摄像机、图像采集卡和计算机构成。采集过程可简单描述为在光源提供照明的条件下，数字摄像机拍摄目标物体并将其转化为图像信号，最后通过图像采集卡传输给图像处理部分，如图2-1 所示。由于获取的图像是彩色图像，而后续的算法只需要灰度图像就能完成，因此要灰度化。通常的图像都会受到各种噪声的影响，因此还要去除噪声，经过前面的预处理之后，得到更好质量的图像。预处理之后就是对工件图像的边缘检测，提取工件的边缘特征。整个处理过程如图2.2所示。
图2-1 图像采集过程框图
图2-2 图像预处理和边缘特征提取过程框图
2.1图像获取
图像获取也就是图像的数字化过程，即将图像采集到计算机中的过程。主要涉及成像及模数转换（A/D Converter）技术。随着计算机与微电子特别是固体成像设备（光电耦合器件CCD）的快速发展，图像获取设备的成本已显著降低。
在自然的形式下，图像并不能直接由计算机分析。因为计算机只能处理数字而不是图片，所以一幅图像在用计算机进行处理前必须先转化为数字形式。图像转化为数字形式的方法是将物理图像经过采样划分为称作图像像素的小区域。最常见的划分方案是方形采样网格，图像被分割成由相邻像素组成的许多水平线。经过采样后的图像还不是数字图像，因为这些像素上的灰度值仍是一个连续量，必须进行量化。所谓量化就是将每个像素的亮暗程度用一个整数值来表示，即像素的灰度离散化。完成上述转化后，图像被表示为一个整数矩阵。每个像素具有两个属性：位置和灰度，此数字矩阵就作为计算机处理的对象。在采样和量化处理后，才能产生一张数字化的图像。
2.2图像的灰度化