河北工业大学
硕士学位论文
基于双目视觉的移动机器人目标跟踪技术
姓名：刘会民
申请学位级别：硕士
专业：机械电子工程
指导教师：张明路
20081101
河北工业大学硕士学位论文
基于双目视觉的移动机器人目标跟踪技术
摘要
计算机视觉是移动机器人最重要的感知手段之一。做为最丰富的信息来源，它为机器人完成特定的任务提供了便利。如何从视觉传感器中感知环境的三维信息，并为机器人实现相应的功能提供精确的控制信息是计算机视觉以及移动机器人研究领域的一个重要内容。其中，双目立体视觉技术是计算机视觉中一个重要的研究方向，它由人的双目产生的立体感中获得启示，研究如何从两个摄像机所得的图像中获取场景中物体的深度(距离)信息。在国家863项目“极限环境下面向危险品检测的多感官机器人系统”（项目编号：2006AA04Z221）的支持下，本文对移动机器人目标跟踪技术进性了较为深入的研究，取得的主要成果和结论如下：
1、通过对三维模型表达方法的分析研究，确定了特征模型的描述方法。特征模型采用ARG模型,该模型由节点以及节点之间的连线组成。节点代表模型的特征，连线代表这些特征之间的关系属性。以此为基础，本文提出了基于双目立体视觉技术的特征提取方法，并通过人机交互的方式建立了ARG特征模型库。
2、本文对目标的跟踪技术进行了深入的研究。经过对多种颜色模型的比较，采用受光照影响较小的HIS颜色模型来实现目标搜寻任务。完成目标搜寻任务后可得到RIO区域，利用已建立好的特征模型与该区域内的物体进行匹配，确定被跟踪的对像。实验表明该方法是行之有效的。
3、对移动机器人目标的定位精度进行了分析与补偿。本文通过立体视觉处理技术获取了目标质心的三维坐标，即实现了对目标的精确定位。经过对多次实验结果的分析，总结了定位误差的来源。并建立了三层BP神经网络来实现对测量数据进行补偿。通过补偿之后，定位精度得到了提高，满足精确定位的要求。
关键词：移动机器人，双目视觉，目标跟踪，三维模型，目标定位
I
基于双目视觉的移动机器人目标跟踪技术
II RESEARCH ON MOBILE ROBOT TARGET TRACKING
BASED ON BINOCULAR VISION
ABSTRACT
For mobile robot, acquiring information by computer vision is one of the most important
sensing methods. As the most sufficient source of information, it makes very convenience for mobile robot to complete specific task.It has became an important research field that how to get the 3D informations of environment and using them to provide accurate information for mobile robot control. The stereo vision is one of the very important part of the computer vision which studys how to acquire the depth information of the object in the world from two images.
This paper makes embeded systemic research about the mobile robot target tarcking, supported by Hi-tech Research and Development Program of China named the system of multi-sensory mobile robot for hazardous articles detection in extreme environments.What followed are the main contents:
1.The method of configurating features model is analysed. Through research on 3D objects representation method, how to describing the features models in the model database is decided. features model is represented by modelARG(attribute relational graph). modelARG is consist of nods and edges. The nod of model is representation of features of traget and the edge is representation of relation of between two features. On this basis, the method of features extraction using binocular vision is put forward and establish the model database through human-computer interaction approach.
2. This paper makes research about traget tracking.color model is analysed.and HIS model is selected.Through traget searching baded on color, mobile robot can get the RIO and follow this is that the traget in the RIO is represented as a attribute relational graph and is matched optimizely with ARG models of model database.If any model is certified, Mobile Robot begain to track the traget. Among these technology, model matched is introduced. Experiments show that the method is effective.
3. The moblie robot location accuracy of the target is analyzed. Through the technology of stereo processing to get the 3D information of the target’s centroid,that is to say that get accurate location of traget by this way. Then this paper puts forward a method than using BP neural network to compensate error. Through that, the location accuracy has been improved and meet the precise request.
KEY WORDS: mobile robot, binocular vision, target tracking, 3D model, target location
原创性声明
本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。
学位论文作者签名：日期：
关于学位论文版权使用授权的说明
本人完全了解河北工业大学关于收集、保存、使用学位论文的规定。同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前提下，学校可以适当复制论文的部分或全部内容用于学术活动。
（保密的学位论文在解密后适用本授权说明）
学位论文作者签名：日期：
导师签名：日期：
河北工业大学硕士学位论文
第一章绪论
§1-1选题的背景与意义
计算机视觉是一门内容丰富的综合性学科，它在现代工业、国防、医学、空间技术等领域有着广泛的应用前景。计算机视觉在实际应用中很大程度上要依赖现代图像处理与模式识别技术，它们是各自性质不同，但又自成体系的研究领域。经过多年的发展计算机视觉已成为智能机器人研究领域最热门的竞争课题之一。它和专家系统、自然语言理解一起成为人工智能最活跃的三大领域，是实现工业生产高度自动化、机器人智能化、自主车导航、目标跟踪以及各种其它工业检测、医疗和军事应用的核心内容之一，也是实现机器人智能化的关键因素。其中，双目立体视觉技术是当前计算机视觉研究领域的重点和热点问题。双目立体视觉对物体的立体感知过程与人类视觉的感知过程非常相似，它直接模拟人类双眼处理景物的方式，简便可靠，具有极大的应用前景，一直以来该技术受到各领域学者的重视。由于双目立体视觉技术可以模拟人眼，对三维世界有立体感知的功能，并且随着微处理器件和集成电子技术飞速发展，使双目立体视觉基本可以满足实时性要求，它越来越广泛的应用于各个领域，特别是在许多人类视觉无法感知的场合，如精确定量感知、危险场景感知以及不可见物体感知等。在这些方面计算机立体视觉都显示出其无可比拟的优越性。因此，在精确跟踪、三维信息恢复、目标测量等领域对双目立体视觉技术进行研究具有十分重要的意义[1-2]。本文旨在研究移动机器人自主寻找目标并跟踪的多种方法协调技术，从而使机器人顺利完成特定的任务。本课题来源于国家“863”计划—“极限环境下面向危险品检测的多感官机器人系统”(项目编号：2006AA04Z221)。
§1-2立体视觉研究现状
1-2-1 国内外研究现状
视觉是人类获取信息的主要来源，在人类获取的信息中视觉信息约占百分之七十。可见视觉对人类来说是十分重要的。对机器人来说，视觉是它获取外部信息的重要方法，是信息的主要来源。外部的世界是三维的，所以机器人视觉的研究就是使机器人通过获得的一幅或多幅二维图像具有认知周围环境信息的能力。这种感知能力不仅是机器人能感知环境中物体的几何信息，而且能对它们进行描述、识别、与理解。
立体视觉的开创性工作是在六十年代中期开始的。美国麻省理工学院的Roberts完成了三景物分析研究。他的工作把过去的二维图像分析推广到了三维景物分析，这标志着立体视觉技术的诞生，在随后的二十年中它迅速发展并形成一门新的学科。进入80年代中后期，随着移动机器人立体视觉研究的发展，研究人员开始大量运用空间几何方法以及物理知识来研究立体视觉，其主要是完成对道路和障碍物的识别处理。这一时期出现了主动视觉的研究方法，并采用了距离传感器以及视觉融合技术来进行研究。由于这种研究方法可直接获得深度图或通过机器人的移动获得深度图，因而使很多病态问题变成良态。此外，在视觉的研究中还重视对定性视觉，有目的的视觉等的研究。上述这些理论和方法有力地促进了
1
基于双目视觉的移动机器人目标跟踪技术
相关应用领域的发展[3-5]。
在双目视觉跟踪研究方面，国外的研究起步较早，研究成果也较多。Haritaoglu 等人的系统4w [6]运
用立体视觉技术和外形分析来跟踪户外运动的行人，并建立人体模型。Beymer 和Konilige 采用了人体模板和立体视觉技术实现了在拥挤环境中的行人的检测与跟踪[7]。日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统[8]，利用双目视觉的原理，实时计算目标图像的雅可比矩阵，实现了对运动方式未知的目标的自适应跟踪。麻省理工学院计算机系提出了一种新的用于智能交通工具的传感器融合方法[9]，由雷达系统提供目标深度的大致范围，利用双目立体视觉提供粗略的目标深度信息，并结合改进的图像分割算法，能够在高速环境下对视频图像中的目标位置进行分割。华盛顿大学与微软公司合作为火星“探测者”号研制了宽基线立体视觉系统，使“探测者”能在火星上对其即将跨越的几千米内的地形进行精确的定位和导航。系统使用同一个摄像机在“探测者”的不同位置拍摄图像对，系统采用非线性优化得到两次拍摄图像时摄像机相对准确的位置，利用鲁棒性强的最大似然概率法结合高效的立体搜索进行图像匹配，得到亚像素精度的视差，并根据此视差计算图像对中各点的三维坐标[10]。Alberto Broggi 等人提出了一种在未知环境中机器人进行实时障碍物检测的立体视觉算法。立体摄像机从环境中获得图像，用此算法来计算左右摄像机中的对应图像对的V 视差图。通过立体匹配和图像坐标系与摄像机坐标映射的关系确定障碍物的位置[11]。
国内这方面的研究起步较晚，但发展较快。我国的研究人员无论是对摄像机的标定技术还是对立体图像匹配算法都进行了大量的研究，提出了很多比较完善的理论。而在算法的实现方面，中科院自动化研究所机器人视觉研究组己经取得了很大的成就。机器人视觉研究组实现了CVSuite 软件，该软件主完成了特征点的提取、特征点的匹配、像机的自标定、模型的三维显示等功能。机器人视觉研究组利用一种称为半稠密匹配的方法进行立体图像对的匹配，更好的实现了模型的三维显示[12]。哈工大采用异构双目视觉系统实现了全自主足球机器人导航，将一个固定摄像机和一个可以水平旋转的摄像机分别安装在机器人的中下部和顶部，可以同时监视不同方位的视点。双目协调技术可使机器人同时捕捉多个有效目标，观测相同目标时通过数据融合提高测量精度。实际比赛中在其他传感器失效的情况下，仅仅依靠双目协调仍然可以实现全自主足球机器人导航[l3-14]。除此之外，国内其他科研单位在这方面也投入了巨大的人力物力在双目视觉领域。比如：清华大学智能技术与系统国家重点实验室、安徽大学人工智能研究所、武汉汽车工业大学数字图像处理研究所等在机器人立体视觉研究领域处于领先地位的科研院所。虽然现阶段我国的研究进展稍落后于国外，但随着我们国家科技和经济水平的迅猛发展，通过科研人员的努力在此方面必定赶上和超过国外的研究水平。
1-2-2 立体视觉的主要研究内容
双目立体视觉仿照人类的眼睛，融合两只眼睛获得的图像并观察它们之间的差别，使人类可以获得明显的深度感。其主要的研究内容有：图像获取、摄像机标定、特征提取、立体匹配、深度恢复及三维重建等六个方面。
图像获取。立体图像的采集是双目立体视觉的物质基础。图像采集的方式很多，主要取决与应用场合和目的。为了采集双目视觉需要的图像对，可以用两台性能相同、位置固定的摄像机从不同角度对同一景物进行拍摄，或者可以用一台摄像机从不同的角度两次拍摄同一景物。在获取立体图像时不但要满足应用要求，而且要考虑视点差异、光照条件、摄像机性能以及景物特点等因素的影响，以便于立体视觉计算。
2
河北工业大学硕士学位论文
摄像机标定。摄像机标定是为了确定摄像机的内部参数(如焦距、镜头失真系数、不确定性图像因了)和外部参数(如旋转矩阵和平移矢量)，以便确定成像模型。标定方法有许多种，传统的方法是利用三角测量原理求解一组非线性方程组。另外一类利用三层前向型BP神经网络来模拟物、像对应关系，把畸变、环境变化因素所带来的非线性误差通过网络的学习被分散到各神经元之问的连接权值上，当网络的输出值与学习样本值的均方误差满足系统精度时，即可以认为学习成功。此类方法输入为二维像平面坐标，输出为物体的空间三维坐标。常用于实时工业测量，但对于复杂景物，此种方法所需训练的节点数目非常多，训练过程亦相当缓慢。
特征提取。特征提取是为了得到匹配赖以进行的图像特征。迄今为止，还没有一种普遍使用的理论可用于图像特征的提取。从而导致了立体匹配特征的多样性。目前，常用的匹配特征主要有点状特征，线状特征和区域特征。一般来讲，区域特征含有较多的信息易于进行快速匹配，并且能够得到致密的视差图像，但定位精度差、特征提取和描述困难。而点状特征和线状特征所含特征信息较少，在匹配时需较强的约束条件和匹配策略并且只能得到稀疏视差图，在进行三维重建时需要复杂的插值策略。所以，良好的匹配特征应具有可区分性，稳定性和唯一性以及有效解决歧议匹配的能力。
立体匹配。立体匹配是立体视觉中最困难的一步。客观景物被投影为二维图像时，景物的丰富信息(如光照背景、几何形状、环境特征、畸变等)最终以像素的灰度值反映，立体匹配是典型的视觉计算“病态”问题，因此对图像无歧义的匹配是相当困难的。立体匹配方法必须解决三个问题:
(1)正确选择图像的匹配特征。
(2)寻找特征间的本质属性。
(3)建立正确的匹配策略。
深度恢复。从二维灰度图像中获得三维深度信息是立体视觉的目的之一，也是机器人视觉中发展最迅速的领域。对于目标图像，将特征提取得到的角点作为对应点，结合对应点的外极线约束条件进行对应点匹配。利用对应点的视差，就可以计算出基于双CCD成像的目标的深度信息。
三维重建。立体视觉的最终目的是为了恢复景物可视表面的完整信息。目前，无论是哪种匹配方法都不可能恢复出所有图像点的视差。对于一个完整的立体系统来讲，都必须进行最终的表面内插重建。在内插过程中，最重要的问题就是如何有效地保护景物面的不连续信息[15]。
§1-3本论文主要研究内容和目标
在本文中讨论了双目立体视觉在目标搜寻与跟踪领域中的应用问题，以及在实现相关功能方面的一些关键技术。其中，主要的内容包括：图像的实现获取、图像的预处理、特征检测、特征匹配、特征识别、三维重建、深度获取。在这些关键技术中，难度较大的是立体匹配环节。立体匹配效果的好坏直接影响到物体的识别以及深度信息的获取。通过对这些关键技术本文在移动机器人试验平台上进行了目标的搜寻与跟踪试验，得到了很好的效果。
本论文的主要研究内容为：
(1)研究建立多种可疑目标的特征模型库。利用双目视觉摄像机获取的的可疑目标的三维信息特征，研究建立可疑目标的三维ARG特征模型。
（2）在此基础上，研究基于可疑目标的颜色以及预先建立的特征模型等多种方法协调进行的目标搜寻与跟踪技术。
3
基于双目视觉的移动机器人目标跟踪技术
4 （3）利用三维重建技术获得可疑目标的深度信息，并对这些深度信息进行精度分析并对获得的深度
数据进行误差补偿方法的研究。
目标跟踪问题无论在军事还是民用方面都有着十分广泛的应用,本论文旨在通过对双目立体视觉处理技术的研究，建立多种可疑目标的特征模型库。并在此基础上，实现移动机器人对可疑目标的跟踪。
河北工业大学硕士学位论文
第二章双目立体视觉处理技术
§2-1双目摄像机成像模型
2-1-1 一般摄像机模型
摄像机模型的建立是人们从二维图像中得到三维图像立体信息的基础，是必不可少的一步。常用的摄像机模型有三种：透视投影模型(小孔摄像机模型)、正交投影模型和拟透视投影模型。其中，正交投影模型和拟透视投影模型在实际应用中较少。
理想的投影成像模型是光学中的小孔成像模型。图2.1是小孔成像的原理图，图中平面S为二维成像平面（视平面），C为小孔的位置(光学中心)。S上的点P(x, y)是三维空间中点P(X,Y,Z)在视平面上的投影(成像)。f =d(S,C)称为该光学系统的焦距。一般为方便起见，取C为空间三维坐标的原点，光轴方向为Z方向，视平面与光轴垂直且其x、y轴分别平行于三维空间的X和Y轴。
图 2.1 小孔成像模型
Fig .2.1 Pin-hole model
虽然小孔成像模型有很好的物理性质，但实际的成像系统通常却是透镜成像，图2.2是透镜成像原理图，其中f为透镜的焦距，v为像距，u为物距。三者满足下列关系:
111
=+（2.1）
f u v
图 2.2 透镜成像模型
Fig. 2.2 The model of lens imaging
5
基于双目视觉的移动机器人目标跟踪技术
在一般的情况下有u>>f ,所以由上式得v ≈ f ,实际应用中可以用小孔成像模型代替透镜成像模型。在小孔成像模型中，为了方便起见，将视平面的位置与光心(空间坐标系的原点)的位置对调，以此作为视觉坐标系，如图2.3所示。其中原点O 为视点，视平面距视点
O 的距离为f 。
图 2.3 图像坐标系
Fig. 2.3 Vision coordinates
设摄像机坐标系oxyz 原点位于摄像机的光心，Z 轴与光轴重合，在假定摄像机坐标系与世界坐标系重合的条件一下，空间中的一点p(x, y, z)与投影点P(X,Y)之间存在下面关系:
001001001X
f x Y f z z ????????????=??????????????????
y （2.2） 由式(2.2)可见，如果己知空间某点的三维坐标信息，可以通过透视投影变换求出它在像平面上的位置。然而知道某点的像坐标，不能唯一确定空间点的位置。也就是说，当一个空间点成像到像平面时损失了一维深度信息。所以对于像平面上的点P(X,Y)对应于共线的点集，这个点集位于经过(0,0,0)和(x,y,z)的直线上。由式2.2可得
X x z f Y y z f ?=????=??
（2.3） 可见，若已知空间某点的深度信息z,通过像点坐标(X,Y)可以求得物体的x、y坐标,从这个意义上讲，深度信息的获取在机器人视觉中具有重要的意义。当然摄像机的透视关系不会像上面所述的那样简单，它要考虑多种因素的影响，如摄像机的位置和姿态等
[16]。
2-1-2 一般立体视觉模型
图2.4给出了一个一般立体视觉系统模型和相应的各种坐标系，设摄像机1坐标系与世界坐标系重合为，原点位于光心处，图像坐标系为，位于图像平面，有效焦距为1111o x y z 111O X Y 1f ，像面中心为
；摄像机2坐标系为，图像坐标系为，有效焦距为0101(,)u v 2222o x y z 222O X Y 2f ，像平面中心为，
摄像机模型均为小孔摄像机。
0202(,)u v
6
河北工业大学硕士学位论文
图 2.4 一般立体视觉模型 Fig. 2.4 The universal model of stereo vision
由针孔摄像机透视投影变换关系式(2.2)得: 111111101100100,0011X x f Y f y z ρρ????????????=≠????????????????
?? 7
1011x u u X N ，1011y v v Y N ?= （2.4） ?= 222222201200100,0011X x f Y f y z ρρ????????????=≠??????????????????
2022x u u X N ，2022y v v Y N ?= （2.5） ?=上面两式中、、分别为摄像机1, 2图像面上的像素点所对应的计算坐标系的坐标,,为摄像机CCD 面阵对应的内部参数。
1u 1v 1z x N y N 设坐标系与坐标系与的空间位置关系为
1111o x y z 2222o x y z 212121x x y R y z z ????????T =?+????????????
（2.6） 式中R ，T 分别表示两坐标关系的旋转矩阵和平移矩阵，这两矩阵可以表示为如下形式:
123456789r r r R r r r r r r ????=??????，x y z t T t t ????=??????
（2.7） 所以，双目立体视觉一般模型的完整解析表达式为:
111112227181912415161//()()(x z x zX f y zY f f f t X t z Y r X r Y r f f r X r Y r f ??=??=????=++?++??
) （2.8）
基于双目视觉的移动机器人目标跟踪技术
其中f 是摄像机的焦距，各项r 、t 是(2.7)式中矩阵R 和平移向量T 的各分量，11,X Y 是图像l 中P 点的图像坐标[17]。
2-1-3 本文的双目立体视觉模型
本文采用的双目摄像机采用横向配置，其与人眼睛的构造方式是相似的，这种配置方式已经被广泛的应用到各种场合。它是一般立体视觉模型中的一个特例，从而减少了开发人员的工作量。在此，设定世界坐标系与有图像坐标重合。配置关系如公式2.9所示。
（2.9） 00cr cl cr cl cr cl x x x y I y z z Δ????????????=+??????????????????i
其中I 是比例因子，(,,)cr cr cr x y z 为空间点P 在右摄像机坐标系下的三维坐标，(,,)cl cl cl x y z 为空间点P 在左摄像机坐标系下的三维坐标。将2.9式带入2.8式可得双目立体视觉模型的解析表达式:
cr r cr cr r cr cr l r z x x f z x y f f x z x x ?=???=???Δ=???
（2.10）
其中(,cl cl x y )和(,cr cr x y )分别为场景点P 在左、右摄像机中的对应像点在各自图像平面内的坐标，x Δ是两摄像机之间沿cr x 方向上的基线长度。摄像机模型如图2.5所示。
8
图 2.5 摄像机横向配置的立体视觉模型
Fig. 2.5 The stereo vision model of lateral camera
河北工业大学硕士学位论文
图中W 和H 为视窗的宽度和高度，w 和h 双目摄像机共同可视区的地面的宽度和高度，d 为景深。
§2-2 双目立体视觉原理
双目立体视觉的基本原理是用两台CCD 摄像机对同一个三维空间点从不同角度获取物体图像，通过空间物体点在两幅图像中对应像点之间的几何位置关系来重构该物点的空间三维坐标。
本文所用的的双目立体视觉系统由两台光轴平行且都垂直于基线的摄像机L 和R 组成，焦距为f ，它们的光学中心L O 和的连线平行于扫描线并且两个像平面处在同一平面上。两个摄像机的坐标轴相互平行且x 轴重合，摄像机在x 方向上的间距为基线距离b 。双目立体视觉视差原理如图2.6所示，2.6(a)为双目立体几何关系，2.6(b)为双目立体的数学模型。场景中同一个特征点在两个摄像机图像平面上的成像位置是不同的。在此将场景中同一点在两个不同图像中的投影点称为共轭对，其中的一个投影点是另一个投影点的对应，求共辆对问题就是求解对应性问题。两幅图像重叠时的共辘对点之间的距离称为视差(
disparity
)，通过两个摄像机中心且通过场景特征点的平面称为外极平面，外极平面与图像。 R O （a）双目立体视觉几何 （b）双目立体视觉数学模型
图 2.6双目立体视觉视差原理
Fig.2.6 The disparity theory of binocular vision
平面的交线称为外极线，这也是立体视觉的极线几何
在图2.6(b)中，场景点P 在左、右图像平面中的投影点分别为和，因为两摄像机的图像在同一个平面上，所以场景点P 的图像坐标的y 坐标相同，即。不失一般性，假设世界坐标系原点与右透镜中心重合，比较相似三角形和，可得到下式:
(,)l l l P x y (,)r r r P x y 'r l y y y ==r PNC r r r p O C r x x z f
= （2.11） 同理，从相似三角形和l PMC l l l p O C ，可得到下式：
l x x b z f ?= （2.12） 9
基于双目视觉的移动机器人目标跟踪技术
联立式2.11和式2.12可得P 点的z 坐标
r l
bf z x x =? （2.13） 其中，b 为基线距离，f 为焦距，场景的视差为r l d x x =?
由图2.6的几何关系可得
l r x x f z x b
x f z ?=?????=??
（2.14） 将式2.13代入式2.14可得空间点P 的x,y 坐标值
'r b x x d b y
y d ?=????=??
i i （2.15） 景点的三维点深度信息可以通过视差计算来恢复，其深度与视差成反比。视差越大说并景点距离透镜的距离越近，否则距离越远。当P 点趋于无穷远时，与趋于平行，视差趋于零。右图像的任意一点只要能在左图像中找到对应的匹配点，就可以确定该点的三维坐标。所以，图像上的点只要存在相应的匹配点就可以参与上述运算，从而获得对应的三维坐标
l C P r C P [18-20]。
§2-3 立体匹配
立体匹配技术是双目立体视觉中最重要和最困难的一步，立体匹配算法在近几十年一直是人们研究的热点和难点。通过在变换空间中寻找一种或多种变换，使来自不同时间、不同传感器或者不同角度的两幅或多幅图像在空间上一致来获取景物的三维信息。由于拍摄时间、拍摄角度、自然环境的变化，多种传感器的使用以及传感器自身的缺陷，使拍摄的图像不仅受噪声的影响，而且存在着严重的灰度失真和几何畸变。在这种情况下匹配算法如何达到精度高、匹配正确率高、速度快、鲁棒性和抗干扰性强，成为人们追求的目标。在过去的几十年里，各种图像匹配算法相继出现，而且结合数学理论和方法，人们又不断提出了新的匹配方法[21]。
对于任何一种立体匹配方法的设计，都必须解决以下三个方面的问题。
(1)基元选择：选择适当的图像特征作为匹配基元，如点、直线、相位等；
(2)匹配准则：将关于物理世界的某些固有特征表示为匹配所必须遵循的若干规则，使匹配结果能真实反映反映景物的本来面日；
(3)算法结构：利用适当的数学方法设计能正确匹配所选择基元的稳定算法；
10
河北工业大学硕士学位论文
2-3-1 配 元的选取
配 元就是指用以进行 配的图像特征，由于立体成像的视点差异以及噪声干扰等因素的影响，要对图像中所有的像素都进行无歧义的 配是很困难的。为此，应该选择能表征景物属性的特征作为 配 元。目前，常用的 配 元从小到大主要有：点状特征、线状特征和区 特征等。其中，点状特征是最 本、最简单的特征 元，区 元具有最好的全局属性，线状 元(包括直线和曲线)介于二者之间。一般来讲，点状特征具有定位准确、检测和描述容易以及重建精度高的优点，但它所含图像信息较少，在图像中的数目较多，因而在 配时需要较强的约束准则和 配策略，以克服歧义 配和提高运算效率。线状 元和区 元则含有更丰富的图像信息，在图像中的数目较少，易于实现快速 配。但它们在特征提取和描述时比较困难，需要进行复杂的预处理，而且定位精度较差。
配 元类 的选择取决于 配图像对本身的属性特点和应用要求。一般 ，对于包含有大量非规则形状和高度突变的 景，如形状不规则、高度起伏变化大的山区、材料端口等，应选用点状特征作为 配 元，因为在这样的 景中，要精确提取和描述诸如线段、区 等特征是非常困难的。由于景物结构的不规则性，其特征点的分布十分离散，此时若提取线状特征，用离散分布的特征点去近似连续线段，会引入大量的形状误差，而且不正确的连接还会造成重建表面的结构错误。对于具有规则结构的 景，如果直线或区 的特征提取和描述比较容易，且误差较小时，应该选用直线或区 特征，以便实现快速 配。因此，在选择 配特征时，应综合考虑各种因素， 据不同的景物特点和应用要求选择最合理的 配特征[22]。
立体视觉 配问题的解决很大程度上都取决于合理 选择 配 元。良好的 配 元应具有性能稳定、抗噪声能力强、易于检测和描述的能力。
2-3-2 配准则
配准则是 据所选 配 元将现实物理世界的某些固有属性表示成 配所必须遵循的若干规则，用以提高系统的去歧义 配能力和计算效率。唯一性约束、相容性约束和连续性约束被认为是 配中最一般最 本的物理约束。在这三个 本约束的 础上，利用一些景物的特点和应用要求，通过附加某些先验知识从而引申出一些特定的 配准则。下面简单介绍一些常用的 配准则：
（1）唯一性约束：一般情况下，一幅图像上的每一个特征点最多只能与另一幅图像上的一个特征点对应。如图2.7所示，对于给定的左图像上的一点，它所对应的空间点P 必然在点l P l p 与左摄像机的光心的连线L 上。这条连线和右摄像机的光心；确定了外极平面，外极平面与右图像平面相交于一条直线，它就称为左图像上点的外极线，左图像上点在右图像上的对应点必然在这条外极线上，反之亦然。
l O r O l P l P
2.7 极线约束
Fig. 2.7 Epipolar constraint
11
基于双目视觉的移动机器人目标跟踪技术
12 (2)连续性约束：物体表面一般都是光滑的，因此物体表面上各点在图像上的投影是连续的，其视
差也是连续的。但是，在物体边界处，比如边界两侧的两个点，连续性约束并不成立。
(3)相容性约束：物体表面上一点在两幅或多幅图像上的投影在某些物体度量上(如灰度、灰度梯度变化等)或几何形状上具有相似性。比如空间某一个多面体的顶点，它在图像中的投影应该是某一多边形的顶点。
(4)极线约束：一幅图像上的任一点，在另一幅图像的对应点只可能位于一条特定的被称为极线的直线上。这个约束极大地降低了待验证地可能匹配点对的数量，把一个点在另一幅图像上可能匹配点的分布从二维降到了一维。
(5)顺序一致性约束：一幅图像的一条极线对应着另一幅图像中的一条极线，而且它们上面的对应点的排列顺序是不变的。但是，如果视点的方位变化很大，这个约束条件可能不被满足。
2-3-3 算法结构
实现匹配的算法结构是和匹配基元的选择以及匹配准则紧密相连的，一般应兼顾有效性和计算量这两个方面。匹配算法的优劣体现在算法的复杂性、失配数量和误配数量等几个方面[23]。匹配算法结构的研究主要是围绕上述几个问题展开的，并己提出了大量各具特色的匹配方法。立体匹配实质上是在匹配准则下的最佳搜索问题，许多数学中的最优化技术都可应用于立体匹配，如动态规划方法、松弛法以及遗传算法等。
2-3-4 匹配算法
从各种双目立体匹配算法框架来看，算法的有效性主要依赖3个因素,即选择准确的匹配基元、寻找相应的匹配准则和构建能够准确匹配所选基元的稳定算法。但由于立体匹配涉及诸多因素，至今仍未得到很好的解决。 一般情况下,可通过算法所使用的匹配特征类型、约束假设、匹配准则以及优化或搜索方法将其分类。立体匹配算法分为两类：基于局部约束的匹配算法和基于全局约束的匹配算法。
1. 基于局部约束的算法
基于局部约束算法利用兴趣点周围的局部信息进行计算，涉及信息量较少，相应的计算复杂度较低,大多实时性平台借鉴了此算法的思想。 但其对噪声较敏感，对无纹理区域、视差不连续区域和遮挡区域匹配效果不理想。本文将局部算法分为3 类：区域匹配算法、特征匹配算法和相位匹配算法。
(1)基于区域相关的匹配
区域匹配以一幅图像的待匹配点为中心创建一个窗口，用该点邻域像素的灰度值分布来表征该像素，然后在另一幅图像中寻找这样一个点，以其为中心创建同样的一个窗口，并用其邻域像素的灰度值分布来表征它，如果两者的灰度值分布相同或相似，两个区域就实现了匹配。由于区域匹配法是直接对图像像素进行匹配，匹配结果不受特征检测精度和密度的影响，因而可得到很高的定位精度和密集的视差表面。
总的来说,基于光度测量学不变性原理的区域匹配算法,常以邻域窗的灰度为匹配基元,以相关程度作为判别依据,可以得到较稠密的视差图。由于区域匹配法是直接对图像像素进行匹配，匹配结果不受特征检测精度和密度的影响，因而可得到很高的定位精度和密集的视差表面。在以基于区域相关算法中，要匹配的元素是固定尺寸的图像窗口，相似准则是两幅图像中窗口间的相关性度量。当搜速区域中的元素使相似性准则最大化时，则认为元素是匹配的[24]。具体描述如下:
河北工业大学硕士学位论文
输入两幅立体图像对l I 和r I ,设和是这两幅图像中的像素点，（2W+1）是相关窗口的宽度，l P r P ()l R P 是l I 中与相关的搜索区域，l P (,)u v ?是两个像素值u,v 的相关函数。对于l I 中的每一个像素：
[,]l P i j =①对于每个区域，计算
12[,]()T l d d d R P =∈ （2.16） 13
②的视差就是在l P ()l R P 中使C(d)为最大值的矢量d ：
arg max{()}d C =d （2.17）
上式输出的结果就是对应l I 中每一个像素点的视差数组，即视差图。其中，常用的相关函数有(,)u v ??=有两种形式：，其中前者为交叉相关，后者为块匹配。后者比前者的匹配效果要好，因为它不像交义相关那样受区域内含有很大或者很小的灰度的灰度值的影响。在基于区域相关的匹配算法中，将相关函数的值做成LUT ( Look up table )，可大大加快算法的速度。
2(,),(,)()u v uv u v u v ??==?(,),(,))
w w l r k w l w
I i k j l I i k d j l d ?=?=?=∑+++?+?12()(C d ∑（2）基于特征的匹配
按匹配基元的特征可分为全局特征和局部特征两大类。全局特征包括多边形和图像结构等，多与下文中的全局算法混合使用；局部特征算法常用点、边缘、线段、小区域或局部能量等图像信息作为匹配基元,对噪声不敏感,可以得到较精确的匹配。
分级特征匹配算法的思想是根据图像结构特点提取边缘特征，由低层次到高层次特征构建特征分组。首先用高层次的特征进行粗糙匹配,并指导后续匹配；然后对没有匹配的区域用低层次的特征进行再匹配；最终算法将所有信息融合，产生的视差图将满足全局一致性约束条件。这样逐层分级、由粗到精的策略显著减少了搜索空间,从而减少了计算复杂度
[25-27]。 基于分段的特征匹配算法[28]的思想是,首先采用多路分割思想把图像分割成不同的段,对同一区域像素加以相同标号，然后迭代计算两幅图像对应段的仿射转换参数,合并每次迭代后具有相同参数的段。因这类算法基于在同一段中视差连续的假设,故减少了整体深度不连续的敏感性,保证了每段视差光滑,但如何解决提高分段质量与减少计算代价之间的矛盾,是提高其性能应首要考虑的问题。
关于特征的选取，首先应使选取的特征对应可视景物的一定特征，并且这种景物特征能够在两幅图像中产生相似的结果；其次，所选取的特征不能太稀疏，否则，会给三维内插重建造成困难；另外，对所处理的图像来说，所选取的特征的分布还应该能够尽可能地避免误匹配的产生。常用的匹配特征有图像的边缘点、角点等灰度不连续点和边缘直线等。
（3）相位匹配法
基于相位的立体匹配(简称相位匹配)是近些年来发展起来的一种比较先进有效的方法。基于傅立叶平移定理的相位匹配算法的本质是对带通滤波后的时/空频域定位性的基元信号相位信息进行处理而得到像对间的视差。与上述两类方法相比,作为匹配基元的相位信息本身反映了信号的结构信息,能有效抑制图像的高频噪声和畸变,且适于并行处理,可获得亚像素级精度的致密视差。究其本质，相位匹配就是寻找局部相位相等的对应点，因此出现了窗内相位差异积分最小法和以加权相位差绝对值作为代价函数的动态规划法。而相位匹配法中常用的两类算法: 相位差频率法和相位相关法。
2. 基于全局约束算法
基于双目视觉的移动机器人目标跟踪技术
14 基于全局约束算法利用对应扫描线或整个图像数据信息进行计算,着重解决图像中不确定区域的匹
配问题,能到达全局最优解。全局最优算法的本质是将对应点的匹配问题转化为寻找某一能量函数的全局最优问题,通常跳过代价聚合步骤,直接计算视差值。全局算法分为4 类：动态规划算法、图割算法、人工智能算法和其他全局算法。
无论哪一类方法，由于空间景物的复杂性和投影成像畸变等影响，都需要全局最优化处理技术，以获得满足平滑限制的视差图。在实际应用中，完成两幅立体图像对的匹配计算是相当耗时的。与人类能够瞬时完成双眼看到的两幅图像的对应匹配相比，计算机立体视觉仍显得相当笨拙，不仅速度太慢，而且匹配精度也不太高，这些都需要进一步研究。
§2-4三维重建
机器人双目视觉系统的最终目的是为了恢复三维场景中目标物可视表面的完整信息，并能从中提取有用的关于环境结构的信息。摄像机通过透视投影变换获取空间三维物体的二维图像，该图像中的点与实际物体上的点存在着一定的对应关系，同人类的双眼一样，当得到从不同方向拍摄的同一空间点的两幅图像后，即可以依据该对应关系反推出实际空间点的立体位置。一般来讲，距离的测量精度与匹配的定位精度成正比，与摄像机基线长度成反比。本课题所用的摄像机基线长度已固定，提高距离测量精度的方法之一就要提高匹配的定位精度。
三维重建就是用立体视觉的方法获取空间三维点的坐标，并将图像中的信息综合起来，在三维空间建立物体模型，这与深度确定的内容是部分重合的。如果能够得到物体表面上所有点的三维坐标，则三维物体的形状与位置就能唯一确定。一些简单形状的物体，比如一个多面体，只需要知道它各个顶点的三维坐标和相邻关系，则该多面体的形状和位置也就唯一确定。通过得到的这些三维数据就可以在空间环境下建立这些物体的模型。
§2-5 本章小结
本章主要对立体视觉处理技术中的一些关键问题进行了阐述。首先介绍了摄像机的一般模型和双目立体视觉成像的原理，并给出了本文所采用的摄像机模型。然后在此基础上进一步介绍了视差的原理和计算方法。其中，本章重点介绍了立体匹配方法，立体匹配是双目视觉应用中最重要，也是最关键的环节，匹配效果的好坏直接关系到其他方面的好坏。
河北工业大学硕士学位论文
第三章特征模型库
§3-1特征模型的表达方法概述
物体的几何特征是计算机视觉实现对物体识别的重要依据，同时也是也决定如何描述和表达物体的关键所在。通过对目标体的几何特征的匹配可以唯一的确定一个物体。目前对于二维目标的识别来说已经有大量的、成熟的方法。然而对于三维物体的识别来说依然没有一个既简单又有效的方法。对三维目标的识别也是当前机器人视觉研究领域的难点问题。当前根据描述三维物体所使用的几何特征粒度大小的不同对三维物体的描述方法大概可分为六种：①基于三维点的表达方法, 主要使用物体的深度数据、表面点的法向方向和曲率大小等信息；②基于凸点的表达方法, 主要利用物体的顶点、拐角点和曲率极大、极小值点等信息；③基于轮廓的表达方法, 主要使用物体的边缘信息；④基于表面的表达方法, 主要使用物体的表面信息, 例如平面、球面、二次曲面以及面与面之间的连接关系等；⑤基于体的表达方法, 主要使用体素、椭球体、超级椭球体等体描述符；⑥基于零件的表达方法, 主要分析物体的基本组成部分, 例如体元(geon) 方法。
（1）基于物体坐标系的三维图形数据表示
将三维图形的表面分割成许多小多边形,然后把这些多边形的顶点和边及由边围成的面, 按一定法则存储起来，就行成了三维物体的三维图像的数据表示。改变各顶点的位置, 便可实现平移、旋转、缩放、错切、反射等一切变化。世界坐标系的坐标值是实型数, 它所表示的范围往往远大于被描绘物体的几何尺寸, 随之而来的问题是数据冗余过大, 分辨率低, 甚至把相距甚近的点合并为一点。当三维图形体进行任何一种变换时, 每个点的数据都必须进行相应的运算, 增大了运算量。在实现层次结构时, 需重复拷贝, 进一步增大数据冗余。传统的三维图形数据表示法是建立三张表格, 分别为顶点表, 边表, 多边形面表。其中顶点表记录三维图形各个顶点的坐标。边表记录每一条边。面表记录三维图形的每一个多边形面[29]。如图3.1所示
图 3.1 三维图像数据描述
Fig. 3.1 The describing of 3D image data
（2）八叉树法
八叉树法以分层的方式来描述物体,它是一种每个节点有8个分支的树型结构,且它的根节点是一个能够完全包住物体的立方体,分层描述时它将物体所占的空间逐层迭代地划分为8个分量,迭代的停止条件是每个最终的子立方体在某种特征上是同质的,如Chien 等提出了使用3对相互垂直的深度图像生
15
基于双目视觉的移动机器人目标跟踪技术
成物体模型的方案；而Li则提出了一种利用任意视角深度图像来构造的方法,它能够描述物体的凹面。虽然octree表达能描述物体全局性的体特征,但它不是一种精确的表示法,其描述物体的近似程度取决于分割的精度。
图 3.2 八叉树节点对应的三维立体模型
Fig. 3.2 The correspondence of 3D model and Octree nod
图3.2为对每次分解的相邻的八个节点的排序。八叉树的根节点表示整个空间，其余的节点都反映对空间递归分割的结果。叶节点是对整个空间最细分割的单元，立方体树的每个节点包括一个或更多的关于物体体积的特征值。例如：最简单的节点只有一个特征--占空性，它有三个可能的值是E，P和F。其中E表示物体不占据这个空间与此空间不相交。P表示物体部分占据这个空间与此空间部分相交。F表示物体占据全部空间与此空间全部相交E和F节点定义的物体与空间相互关系不能再进行进一步的割，它们都是叶节点而P节点称为非终结的树枝节点，对于P 节点的空间对应关系是由其后代进一步定义的。例如图3.2左图中物体与整个空间的位置用八叉树表示这一位置关系如图3.3的右图所示[30-31]。
图 3.3 八叉树与物体的对应关系
Fig. 3.3 The correspondence of Octree and object
(3) 拟合表面参数表达法
在三维物体表达的典型方法中, 拟合表面参数表达法是新近的一种全局物体表达方法, 该方法在保证不丢失表面特征的前提下, 具有很高的存储效率, 它是将物体表面用参数方程来描述的, 其中参数拟合的收敛性和识别范围约束都是需要深入研究的领域。如Umasuthan分析了高阶代数方程某些参数具备的不变特性，并用它们来表达三维物体的表面片；李松涛提出了一种双二次变量正交多项式的曲面拟合方法,该方法可根据拟合得到的代数方程参数来计算物体表面特征另外使用B样条表面也可拟合三维表面,但表面拟合与识别的范围约束和收敛性都是需要彻底研究的领域。另外,超二次曲面特征最早由16
移动机器人的关键技术分为以下三种: (1)导航技术 导航技术是移动机器人的一项核心技术之一[3,4]"它是指移动机器人通过传感器感知环境信息和自身状态,实现在有障碍的环境中面向目标的自主运动"目前,移动机器人主要的导航方式包括:磁导航,惯性导航,视觉导航等"其中,视觉导航15一7]通过摄像头对障碍物和路标信息拍摄,获取图像信息,然后对图像信息进行探测和识别实现导航"它具有信号探测范围广,获取信息完整等优点,是移动机器人导航的一个主要发展方向,而基于非结构化环境视觉导航是移动机器人导航的研究重点。 (2)多传感器信息融合技术多传感器信息融合技术是移动机器人的关键技术之一,其研究始于20世纪80年代18,9]"信息融合是指将多个传感器所提供的环境信息进行集成处理,形成对外部环境的统一表示"它融合了信息的互补性,信息的冗余性,信息的实时性和信息的低成本性"因而能比较完整地,精确地反映环境特征,从而做出正确的判断和决策,保证了机器人系统快速性,准确性和稳定性"目前移动机器人的多传感器融合技术的研究方法主要有:加权平均法,卡尔曼滤波,贝叶斯估计,D-S证据理论推理,产生规则,模糊逻辑,人工神经网络等"例如文献[10]介绍了名为Xavier的机器人,在机器人上装有多种传感器,如激光探测器!声纳、车轮编码器和彩色摄像机等,该机器人具有很高的自主导航能力。 (3)机器人控制器作为机器人的核心部分,机器人控制器是影响机器人性能的关键部分之一"目前,国内外机器人小车的控制系统的核心处理器,己经由MCS-51、80C196等8位、16位微控制器为主,逐渐演变为DSP、高性能32位微控制器为核心构成"由于模块化系统具有良好的前景,开发具有开放式结构的模块化、标准化机器人控制器也成为当前机器人控制器的一个研究热点"近几年,日本!美国和欧洲一些国家都在开发具有开放式结构的机器人控制器,如日本安川公司基于PC开发的具有开放式结构!网络功能的机器人控制器"我国863计划智能机器人主题也已对这方面的研究立项 视觉导航技术分类 机器人视觉被认为是机器人重要的感觉能力，机器人视觉系统正如人的眼睛一样,是机器人感知局部环境的重要“器官”,同时依此感知的环境信息实现对机器人的导航。机器人视觉信息主要指二维彩色CCD摄像机信息,在有些系统中还包括三维激光雷达采集的信息。视觉信息能否正确、实时地处理直接关系到机器人行驶速度、路径跟踪以及对障碍物的避碰,对系统的实时性和鲁棒性具有决定性的作用。视觉信息处理技术是移动机器人研究中最为关键的技术之一。
《机器人技术及应用》综合 习题 -标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
《机器人技术及应用》综合习题 一、判断 1.机器人是在科研或工业生产中用来代替人工作的机械装置。（对） 2. 19世纪60年代和20世纪70年代是机器人发展最快、最好的时期，这期间的各项研究发明有效地推动了机器人技术的发展和推广。（错） 3. 对于机器人如何分类，国际上没有制定统一的标准，有的按负载量分，有的按控制方式分，有的按自由度分，有的按结构分，有的按应用领域分。（对） 4. 所谓特种机器人就是面向工业领域的多关节机械手或多自由度机器人。（错） 5. 机器人机械本体结构的动作是依靠关节机器人的关节驱动，而大多数机器人是基于开环控制原理进行的。（错） 6. 机器人各关节伺服驱动的指令值由主计算机计算后，在各采样周期给出，由主计算机根据示教点参考坐标的空间位置、方位及速度，通过运动学逆运算把数据转变为关节的指令值。（对） 7. 为了与周边系统及相应操作进行联系与应答，机器人还应有各种通信接口和人机通信装置。（对） 8. 轮式机器人对于沟壑、台阶等障碍的通过能力较高。（错） 9. 为提高轮式移动机器人的移动能力，研究者设计出了可实现原地转的全向轮。（对） 10. 履带式机器人是在轮式机器人的基础上发展起来的，是一类具有良好越障能力的移动机构，对于野外环境中的复杂地形具有很强的适应能力。（对） 11. 腿式（也称步行或者足式）机构的研究最早可以追溯到中国春秋时期鲁班设计的木车马。（对） 12. 机器人定义的标准是统一的，不同国家、不同领域的学者给出的机器人定义都是相同的。（错） 13. 球形机器人是一种具有球形或近似球形的外壳，通过其内部的驱动装置实现整体滚动的特殊移动机器人。（对） 14. 可编程机器人可以根据操作员所编的程序，完成一些简单的重复性操作，目前在工业界已不再应用。（错） 15. 感知机器人，即自适应机器人，它是在第一代机器人的基础上发展起来的，具有不同程度的“感知”能力。（对） 16. 第三阶段机器人将具有识别、推理、规划和学习等智能机制，它可以把感知和行动智能化结合起来，称之为智能机器人。（对） 17. 工业机器人的最早研究可追溯到第一次大战后不久。（错） 18. 20世纪50年代中期，机械手中的液压装置被机械耦合所取代，如通用电气公司的“巧手人”机器人。（错）
基于深度视觉的室内移动机器人即时定位与建图研究 在无法获取GPS信号的室内场合,如何有效地解决移动机器人的室内定位与导航问题,已经成为机器人技术研究领域的难点与热点,而即时定位与地图构建(SLAM)方法为此提供了一个较为合适的解决方法。近些年,由于以Kinect为代表的深度相机具有同时获取场景的彩色信息与深度信息的特点,基于深度相机的视觉SLAM方法逐渐成为视觉SLAM研究的一个重要方向。 本文主要针对基于深度相机的室内移动机器人SLAM技术展开研究,先是利用TUM数据集完成视觉SLAM算法的测试,再在移动机器人平台上进行算法实验,结果能够较好地建立出室内环境的地图模型。本文的主要研究内容共分为以下几个部分:首先,对本课题研究中使用的深度相机的模型展开介绍,包括其中涉及的坐标系与坐标变换,以及深度相机的标定方法。 接着,分析机器人的视觉SLAM过程中涉及的相关系统变量,并对其运动方程和观测方程作出描述。同时,结合图模型,以位姿图的形式,表示移动机器人的即时定位与地图构建过程,为后续研究打下基础。 其次,详细研究基于深度相机的视觉SLAM算法的各个模块。考虑整体SLAM 算法的实时性能,在视觉SLAM的前端,采用计算速度极快的ORB特征,并利用汉明距离进行匹配,同时引入误匹配优化机制,提高特征匹配的准确率。 在估计相机运动时,利用深度相机的深度信息,使用3D-2D的方法估计两帧图像之间相机的运动。在后端处理部分,介绍回环检测方法,利用视觉词袋算法对机器人运动过程中的位姿进行回环,约束其位姿的估计误差。 然后,介绍基于位姿图的非线性优化方法,并利用g2o库求解相机运动轨迹,同时根据深度相机的数据,构建点云地图,展开算法的评价。再次,针对点云地图
移动机器人视觉导航。 0504311 19 刘天庆一、引言 智能自主移动机器人系统能够通过传感器感知外界环境和自身状态，实现在有障碍物环境中面向目标的自主运动，从而完成一定作业功能。其本身能够认识工作环境和工作对象，能够根据人给予的指令和“自身”认识外界来独立地工作，能够利用操作机构和移动机构完成复杂的操作任务。因此，要使智能移动机器人具有特定智能，其首先就须具有多种感知功能，进而进行复杂的逻辑推理、规划和决策，在作业环境中自主行动。机器人在行走过程中通常会碰到并且要解决如下三个问题：（1）我（机器人）现在何处？（2）我要往何处走？（3）我要如何到达该处？其中第一个问题是其导航系统中的定位及其跟踪问题，第二、三个是导航系统的路径规划问题。移动机器人导航与定位技术的任务就是解决上面的三个问题。移动机器人通过传感器感知环境和自身状态，进而实现在有障碍物的环境中面向目标自主运动，这就是通常所说的智能自主移动机器人的导航技术。而定位则是确定移动机器人在工作环境中相对于全局坐标的位置及其本身的姿态，是移动机器人导航的基本环节。 目前，应用于自主移动机器人的导航定位技术有很多，归纳起来主要有：安装CCD 摄像头的视觉导航定位、光反射导航定位、全球定位系统GPS(Global Positioning System)、声音导航定位以及电磁导航定位等。下面分别对这几种方法进行简单介绍和分析。 1、视觉导航定位 在视觉导航定位系统中，目前国内外应用较多的是基于局部视觉的在机器人中安装车载摄像机的导航方式。在这种导航方式中，控制设备和传感装置装载在机器人车体上，图像识别、路径规划等高层决策都由车载控制计算机完成。视觉导航定位系统主要包括：摄像机（或CCD 图像传感器）、视频信号数字化设备、基于DSP 的快速信号处理器、计算机及其外设等。现在有很多机器人系统采用CCD 图像传感器，其基本元件是一行硅成像元素，在一个衬底上配置光敏元件和电荷转移器件，通过电荷的依次转移，将多个象素的视频信号分时、顺序地取出来，如面阵CCD传感器采集的图像的分辨率可以从32×32 到1024×1024 像素等。视觉导航定位系统的工作原理简单说来就是对机器人周边的环境进行光学处理，先用摄像头进行图像信息采集，将采集的信息进行压缩，然后将它反馈到一个由神经网络和统计学方法构成的学习子系统，再由学习子系统将采集到的图像信息和机器人的实际位置联系起来，完成机器人的自主导航定位功能。 视觉导航定位中，图像处理计算量大，计算机实时处理的速度要达到576MOPS~5.76BOPS，这样的运算速度在一般计算机上难以实现，因此实时性差这一瓶颈问题有待解决； 另外，对于要求在黑暗环境中作业的机器人来说，这种导航定位方式因为受光线条件限制也不太适应。 当今国内外广泛研制的竞赛足球机器人通常都采用上面所说的视觉导航定位方式，在机器人小车子系统中安装摄像头，配置图像采集板等硬件设备和图像处理软件等组成机器人视觉系统。通过这个视觉系统，足球机器人就可以实现对球的监测，机器人自身的定位，作出相应动作和预测球的走向等功能
机器人视觉（Robot Vision）简介 机器视觉系统的组成 机器视觉系统是指用计算机来实现人的视觉功能，也就是用计算机来实现对客观的三维世界的识别。按现在的理解，人类视觉系统的感受部分是视网膜，它是一个三维采样系统。三维物体的可见部分投影到网膜上，人们按照投影到视网膜上的二维的像来对该物体进行三维理解。所谓三维理解是指对被观察对象的形状、尺寸、离开观察点的距离、质地和运动特征（方向和速度）等的理解。 机器视觉系统的输入装置可以是摄像机、转鼓等，它们都把三维的影像作为输入源，即输入计算机的就是三维管观世界的二维投影。如果把三维客观世界到二维投影像看作是一种正变换的话，则机器视觉系统所要做的是从这种二维投影图像到三维客观世界的逆变换，也就是根据这种二维投影图像去重建三维的客观世界。 机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或显示。 将近80%的工业视觉系统主要用在检测方面，包括用于提高生产效率、控制生产过程中的产品质量、采集产品数据等。产品的分类和选择也集成于检测功能中。下面通过一个用于生产线上的单摄像机视觉系统，说明系统的组成及功能。 视觉系统检测生产线上的产品，决定产品是否符合质量要求，并根据结果，产生相应的信号输入上位机。图像获取设备包括光源、摄像机等；图像处理设备包括相应的软件和硬件系统；输出设备是与制造过程相连的有关系统，包括过程控制器和报警装置等。数据传输到计算机，进行分析和产品控制，若发现不合格品，则报警器告警，并将其排除出生产线。机器视觉的结果是CAQ系统的质量信息来源，也可以和CIMS其它系统集成。 图像的获取 图像的获取实际上是将被测物体的可视化图像和内在特征转换成能被计算机处理的一系列数据，它主要由三部分组成： ＊照明 ＊图像聚焦形成 ＊图像确定和形成摄像机输出信号
基于视觉导航的轮式移动机器人设计方案第一章移动机器人 §1.1移动机器人的研究历史 机器人是一种自动化的机器，所不同的是这种机器具备一些与人或生物相似的智能，如感知能力、规划能力、动作能力和协同能力，是一种具有高度灵活性的自动化机器)。1962年，美国Unimation公司的第一台机器人Unimate。在美国通用汽车公司(GM)投入使用，标志着第一代机器人的诞生。 智能移动机器人更加强调了机器人具有的移动能力，从而面临比固定式机器人更为复杂的不确定性环境，也增加了智能系统的设计复杂度。1968年到1972年间，美国斯坦福国际研究所(Stanford Research Institute, SRI)研制了移动式机器人Shaky,这是首台采用了人工智能学的移动机器人。Shaky具备一定人工智能，能够自主进行感知、环境建模、行为规划并执行任务(如寻找木箱并将其推到指定目的位置)。它装备了电视摄像机、三角法测距仪、碰撞传感器、驱动电机以及编码器，并通过无线通讯系统由二台计算机控制。当时计算机的体积庞大，但运算速度缓慢，导致Shaky往往需要数小时的时间来分析环境并规划行动路径。 1970年前联月球17号探测器把世界第一个无人驾驶的月球车送七月球，月球车行驶0.5公里，考察了8万平方米的月面。后来的月球车行驶37公里，向地球发回88幅月面全景图。在同一时代，美国喷气推进实验室也研制了月球车(Lunar rover),应用于行星探测的研究。采用了摄像机，激光测距仪以及触觉传感器。机器人能够把环境区分为可通行、不可通行以及未知等类型区域。 1973年到1979年，斯坦福大学人工智能实验室研制了CART移动机器人，CART可以自主地在办公室环境运行。CART每移动1米，就停下来通过摄像机的图片对环境进行分析，规划下一步的运行路径。由于当时计算机性能的限制，CART每一次规划都需要耗时约15分钟。CMU Rover由卡耐基梅隆大学机
第9卷 第7期2004年7月 中国图象图形学报Journal of Image and G raphics V ol.9,N o.7July 2004 基金项目:国家“863”计划资助项目(编号:2001AA422200)收稿日期:2004201213;改回日期:2004204206 基于路径识别的移动机器人视觉导航 张海波 原 魁 周庆瑞 (中国科学院自动化研究所高技术创新中心,北京 100080) 摘 要 跟随路径导引是自主式移动机器人广泛采用的一种导航方式,其中视觉导航具有其他传感器导航方式所无法比拟的优点,是移动机器人智能导航的主要发展方向。为了提高移动机器人视觉导航的实时性和准确性,提出了一个基于路径识别的视觉导航系统,其基本思想是首先用基于变分辨率的采样二值化和形态学去噪方法从原始场景图像中提取出目标支持点集,然后用一种改进的哈夫变化检测出场景中的路径,最后由路径跟踪模块分直行和转弯两种情况进行导航计算。实验结果表明,该视觉导航系统具有较好的实时性和准确性。关键词 自主式移动机器人 视觉导航 路径识别 中图法分类号:TP242.62 文献标识码:A 文章编号:100628961(2004)0720853205 Visual N avigation of a Mobile R obot B ased on P ath R ecognition ZH ANG Hai 2bo ,Y UAN K ui ,ZH OU Qing 2rui (Hi 2tech Innovation Centre ,Institute o f Automation ,Chinese Academy o f Sciences ,Beijing 100080) Abctract G uidance using path following is widely applied in the field of autonom ous m obile robots.C om pared with the navigation system without vision ,visual navigation has obvious advantages as rich in formation ,low cost ,quietness ,innocuity ,etc.This pa 2per describes a navigation system which uses the visual in formation provided by guide lines and color signs.In our approach ,the visual navigation is com posed of three main m odules :image 2preprocessing ,path 2recognition and path 2tracking.First ,image 2pre 2processing m odule formulates color m odels of all kinds of objects ,and establishes each object ’s support through adaptive subsam 2pling 2based binarization and mathematical m orphology.Second ,path 2recognition m odule detects the guide lines through an im 2proved H ough trans form alg orithm ,and the detected results including guide lines and color signs integrate the path in formation.Fi 2nally ,calling different functions according to the m ovement of straight 2g oing or turning ,path 2tracking m odule provides required in 2put parameters to m otor controller and steering controller.The experimental results dem onstrate the effectiveness and the robustness of our approach. K eyw ords com puter perception ,autonom ous m obile robot ,visual navigation ,path recognition 1 引 言 导航技术是移动机器人的一项核心技术,其难 度远远超出人们最初的设想,其主要原因有:一是环境的动态变化和不可预测;二是机器人感知手段的不完备,即很多情况下传感器给出的数据是不完全、不连续、不可靠的[1]。这些原因使得机器人系统在复杂度、成本和可靠性方面很难满足要求。 目前广泛应用的一种导航方式是“跟随路径导 引”,即机器人通过对能敏感到的某些外部的连续路 径参照线作出相应反应来进行导航[2]。这种方法和传统的“硬”自动化相比大大增加了系统的灵活性,其具有代表性的系统有:C ontrol Engineering 公司安装的导线引导系统,它是通过检测埋在地下的引导导线来控制行进方向,其线路分岔则通过在导线上加载不同频率的电流来实现[3];Egemin Automation 公司生产的Mailm obile 机器人则安装有主动式紫外光源,并通过3个光电探头来跟随由受激化学物质构成的发光引导路径[4];Macome 公司为自动驾驶车
《机器人技术及应用》综合习题 一、判断 1.机器人是在科研或工业生产中用来代替人工作的机械装置。（对） 2. 19世纪60年代和20世纪70年代是机器人发展最快、最好的时期，这期间的各项研究发明有效地推动了机器人技术的发展和推广。（错） 3. 对于机器人如何分类，国际上没有制定统一的标准，有的按负载量分，有的按控制方式分，有的按自由度分，有的按结构分，有的按应用领域分。（对） 4. 所谓特种机器人就是面向工业领域的多关节机械手或多自由度机器人。（错） 5. 机器人机械本体结构的动作是依靠关节机器人的关节驱动，而大多数机器人是基于开环控制原理进行的。（错） 6. 机器人各关节伺服驱动的指令值由主计算机计算后，在各采样周期给出，由主计算机根据示教点参考坐标的空间位置、方位及速度，通过运动学逆运算把数据转变为关节的指令值。（对） 7. 为了与周边系统及相应操作进行联系与应答，机器人还应有各种通信接口和人机通信装置。（对） 8. 轮式机器人对于沟壑、台阶等障碍的通过能力较高。（错） 9. 为提高轮式移动机器人的移动能力，研究者设计出了可实现原地转的全向轮。（对） 10. 履带式机器人是在轮式机器人的基础上发展起来的，是一类具有良好越障能力的移动机构，对于野外环境中的复杂地形具有很强的适应能力。（对） 11. 腿式（也称步行或者足式）机构的研究最早可以追溯到中国春秋时期鲁班设计的木车马。（对） 12. 机器人定义的标准是统一的，不同国家、不同领域的学者给出的机器人定义都是相同的。（错） 13. 球形机器人是一种具有球形或近似球形的外壳，通过其内部的驱动装置实现整体滚动的特殊移动机器人。（对） 14. 可编程机器人可以根据操作员所编的程序，完成一些简单的重复性操作，目前在工业界已不再应用。（错） 15. 感知机器人，即自适应机器人，它是在第一代机器人的基础上发展起来的，具有不同程度的“感知”能力。（对） 16. 第三阶段机器人将具有识别、推理、规划和学习等智能机制，它可以把感知和行动智能化结合起来，称之为智能机器人。（对） 17. 工业机器人的最早研究可追溯到第一次大战后不久。（错） 18. 20世纪50年代中期，机械手中的液压装置被机械耦合所取代，如通用电气公司的“巧手人”机器人。（错） 19. 一般认为Unimate和Versatran机器人是世界上最早的工业机器人。（对） 20. 1979年Unimation公司推出了PUMA系列工业机器人，它是全电动驱动、关节式结构、多中央处理器二级微机控制，可配置视觉感受器、具有触觉的力感受器，是技术较为先进的机器人。（对） 1. 刚体的自由度是指刚体具有独立运动的数目。（对） 2. 机构自由度只取决于活动的构件数目。（错） 3. 活动构件的自由度总数减去运动副引入的约束总数就是该机构的自由度。（对） 4. 机器人运动方程的正运动学是给定机器人几何参数和关节变量，求末端执行器相对于参考坐标系的位置和姿态。（对） 5. 机器人运动方程的逆运动学是给定机器人连杆几何参数和末端执行器相对于参考坐标系的位姿，求机器人实现此位姿的关节变量。（对） 6. 机械臂是由一系列通过关节连接起来的连杆构成。（对） 7. 对于机械臂的设计方法主要包括为2点，即机构部分的设计和内部传感器与外部传感器的设计。（错） 8. 球面坐标型机械臂主要由一个旋转关节和一个移动关节构成，旋转关节与基座相连，移动关节与末端执行器连接。（对） 9. 为提高轮式移动机器人的移动能力，研究者设计出了可实现原地转的全向轮。（对） 10. 履带式机器人是在轮式机器人的基础上发展起来的，是一类具有良好越障能力的移动机构，对于野外环境中的复杂地形具有很强的适应能力。（对） 11. 腿式（也称步行或者足式）机构的研究最早可以追溯到中国春秋时期鲁班设计的木车马。（对） 12. 刚体在空间中只有4个独立运动。（错） 13. 球形机器人是一种具有球形或近似球形的外壳，通过其内部的驱动装置实现整体滚动的特殊移动机器人。（对） 14. 在机构中，每一构件都以一定的方式与其他构件相互连接，这种由两个构件直接接触的可动连接称为运动副。（错） 15. 运动副可以根据其引入约束的数目进行分类，引入一个约束的运动副称为二级副。（错） 16.通过面接触而构成的运动副，称为低副；通过点或线接触而构成的运动副称为高副。（对） 17. 两个构件之间只做相对转动的运动副称为移动副。（错） 18. 构成运动副的两个构件之间的相对运动若是平面运动则称为平面运动副，若为空间运动则称为空间运动副。（对） 19. 在平面机构中，每个构件只有3个自由度。每个平面低副（转动副和移动副）提供1个约束，每个平面高副提供2
浅谈机器人视觉技术 摘要 机器人视觉是使机器人具有视觉感知功能的系统，是机器人系统组成的重要部分之一。机器人视觉可以通过视觉传感器获取环境的二维图像，并通过视觉处理器进行分析和解释，进而转换为符号，让机器人能够辨识物体，并确定其位置。机器人视觉广义上称为机器视觉，其基本原理与计算机视觉类似。计算机视觉研究视觉感知的通用理论，研究视觉过程的分层信息表示和视觉处理各功能模块的计算方法。而机器视觉侧重于研究以应用为背景的专用视觉系统，只提供对执行某一特定任务相关的景物描述。机器人视觉硬件主要包括图像获取和视觉处理两部分，而图像获取由照明系统、视觉传感器、模拟－数字转换器和帧存储器等组成。本文介绍了机器人的发展以及视觉计算理论和视觉的关键技术。 关键词：机器人、视觉、计算、关键技术 一、机器人发展概述 科学技术的发展,诞生了机器人。社会的进步也提出要求,希望创造出一种能够代替人进行各种工作的机器,甚至从事人类不能及的事情。自从1959年诞生第一台机器人以来,机器人技术取得了很大的进步和发展,至今已成为一门集机械、电子、计算机、控制、传感器、信号处理等多学科门类为一体的综合性尖端科学。当今机器人技术的发展趋势主要有两个突出的特点:一个是在横向上,机器人的应用领域在不断扩大,机器人的种类日趋增多;另一个是在纵向上,机器人的性能不 断提高,并逐步向智能化方向发展。前者是指应用领域的横向拓宽,后者是在性能及水平上的纵向提高。机器人应用领域的拓宽和性能水平的提高,二者相辅相成、相互促进。 智能机器人是具有感知、思维和行动功能的机器,是机构学、自动控制、计算机、人工智能、微电子学、光学、通讯技术、传感技术、仿生学等多种学科和技术的综合成果阎。智能机器人可获取、处理和识别多种信息,自主地完成较为复杂的操作任务,比一般的工业机器人具有更大的灵活性、机动性和更广泛的应用领域。要使机器人拥有智能,对环境变化做出反应,首先,必须使机器人具有感知
移动机器人视觉定位方法的研究 针对移动机器人的局部视觉定位问题进行了研究。首先通过移动机器人视觉定位与目标跟踪系统求出目标质心特征点的位置时间序列，然后在分析二次成像法获取目标深度信息的缺陷的基础上，提出了一种获取目标的空间位置和运动信息的方法。该方法利用序列图像和推广卡尔曼滤波，目标获取采用了HIS模型。在移动机器人满足一定机动的条件下，较精确地得到了目标的空间位置和运动信息。仿真结果验证了该方法的有效性和可行性。 运动视觉研究的是如何从变化场景的一系列不同时刻的图像中提取出有关场景中的目标的形状、位置和运动信息，将之应用于移动机器人的导航与定位。首先要估计出目标的空间位置和运动信息，从而为移动机器人车体的导航与定位提供关键前提。 视觉信息的获取主要是通过单视觉方式和多视觉方式。单视觉方式结构简单，避免了视觉数据融合，易于实现实时监测。如果利用目标物体的几何形状模型，在目标上取3个以上的特征点也能够获取目标的位置等信息。此方法须保证该组特征点在不同坐标系下的位置关系一致，而对于一般的双目视觉系统，坐标的计算误差往往会破坏这种关系。 采用在机器人上安装车载摄像机这种局部视觉定位方式，本文对移动机器人的运动视觉定位方法进行了研究。该方法的实现分为两部分：首先采用移动机器人视觉系统求出目标质心特征点的位置时间序列，从而将对被跟踪目标的跟踪转化为对其质心的跟踪；然后通过推广卡尔曼滤波方法估计目标的空间位置和运动参数。 1.目标成像的几何模型 移动机器人视觉系统的坐标关系如图1所示。 其中O-XYZ为世界坐标系；Oc-XcYcZc为摄像机坐标系。其中Oc为摄像机的光心，X 轴、Y轴分别与Xc轴、Yc轴和图像的x，y轴平行，Zc为摄像机的光轴，它与图像平面垂直。光轴与图像平面的交点O1为图像坐标系的原点。OcO1为摄像机的焦距f. 图1 移动机器人视觉系统的坐标关系
《工业机器人技术与应用》试卷（A ） 一、填空（每空1分，共30分） 1．按照机器人的技术发展水平，可以将工业机器人分为三代 ___ _ ___ 机器 人、 ____ __ _ 机器人和 ___ ____ 机器人。 2．机器人行业所说的四巨头是__________ 、 __________ 、 __________ 、__________。 3．机器人常用的驱动方式主要有_____ _ ____、 ____ __和______ ____ 三种基本类型。 4．一般来说，机器人运动轴按其功能可划分为 __ ____ 、 _ 和工装轴，________ 和工装轴统称 _______。 5．从结构形式上看，搬运机器人可分为 __________ 、 __________ 、 __________ 、 __________ 和关节式搬运机器人。 6．码垛机器人工作站按进出物料方式可分为 __ ___ 、 _____ __ 、___ __ __ 和四进四出等形式。 7．装配机器人常见的末端执行器主要有__ ___ 、 _____ __ 、___ __ __ 和 。 8．弧焊系统是完成弧焊作业的核心装备，主要由 、送丝机、 和气瓶等组成。 9．目前工业生产应用中较为普遍的涂装机器人按照手腕构型分主要有两种： 涂装机器人和 涂装机器人，其中 手腕机器人更适合用于涂装作业。 二、判断（每题2分，共20分） （ ）1．涂装机器人的工具中心点（ TCP ）通常设在喷枪的末端中心处。 （ ）2．一个完整的点焊机器人系统由操作机、控制系统和点焊焊接系统几部分组 成。 （ ）3. 工业机器人是一种能自动控制，可重复编程，多功能、多自由度的操作机。 （ ）4．工业机器人的腕部传动多采用 RV 减速器，臂部则采用谐波减速器。 （ ）5．在直角坐标系下，机器人各轴可实现单独正向或反向运动。 （ ）6．当机器人发生故障需要进入安全围栏进行维修时，需要在安全围栏外配备 安全监督人员以便在机器人异常运转时能够迅速按下紧急停止按钮。 （ ）7．示教时，为爱护示教器，最好戴上手套。 （ ）8．机器人示教时，对于有规律的轨迹，原则上仅需示教几个关键点。 （ ）9．离线编程是工业机器人目前普遍采用的编程方式。 （ ）10．根据车间场地面积，在有利于提高生产节拍的前提下，搬运机器 人工作站可采用 L 型、环状、“品”字、“一”字等布局。 三、选择（每题2分，共20分） 1．通常所说的焊接机器人主要指的是（ ）。 ①点焊机器人；②弧焊机器人；③等离子焊接机器人；④激光焊接机器人 A. ①② B. ①②④ C. ①③ D. ①②③④ 2．工业机器人一般具有的基本特征是（ ）。 ①拟人性；②特定的机械机构；③不同程度的智能；④独立性；⑤通用性 A. ①②③④ B. ①②③⑤ C. ①③④⑤ D. ②③④⑤ 3．按基本动作机构，工业机器人通常可分为（ ）。 ①直角坐标机器人；②柱面坐标机器人；③球面坐标机器人；④关节型机器人 A. ①② B. ①②③ C. ①③ D. ①②③④ 4．操作机是工业机器人的机械主体，是用于完成各种作业的执行机构。它主要哪由几部分组成（ ） ①机械臂；②驱动装置；③传动单元；④内部传感器 A. ①② B. ①②③ C. ①③ D. ①②③④ 5．工业机器人常见的坐标系有（ ）。 ①关节坐标系；②直角坐标系；③工具坐标系；④用户坐标系 A. ①② B. ①②③ C. ①③④ D. ①②③④ 6．对工业机器人进行作业编程，主要内容包含（ ）。 ①运动轨迹；②作业条件；③作业顺序；④插补方式 A. ①② B. ①②③ C. ①③ D. ①②③④ 7．依据压力差不同，可将气吸附分为（ ）。 ①真空吸盘吸附 ②气流负压气吸附 ③挤压排气负压气吸附 A. ①② B. ①③ C. ②③ D. ①②③ 8．搬运机器人作业编程主要是完成（ ）的示教。 ①运动轨迹 ②作业条件 ③作业顺序 A. ①② B. ①③ C. ②③ D. ①②③ 9．涂装条件的设定一般包括（ ）。 ①涂装流量；②雾化气压；③喷幅（调扇幅）气压；④静电电压；⑤颜色设置表 A. ①②⑤ B. ①②③⑤ C. ①③ D. ①②③④⑤ 班级 姓名 学号 ---------------------------------------------密-------------------------------------封---------------------------------线----------------------------------------- -封
大学 机 器 人 技 术 及 应 用 结 课 论 文
智能引领未来 摘要： 智能引领未来，机器人能力将远胜人类，这不是梦想；未来的机器人也能自主的学习和思考，工作能力将远远超过人类，能承担大量人类所不能及的工作，进一步推动智能科学的发展，促进社会的进步，促进经济的高速增长，而实现智能化必须依靠强有力的硬件系统，就机器人而言，其身上集成了多种处理器、存储器与大量的传感器，设想，当这些器件不断地走向高端化、微型化、进一步集成化，那么机器人的处理速度将进一步提高，质量与体积将大大减小，机器人将越来越”聪明“。 关键词： 机器人、智能、硬件系统、高端化、集成化、微型化、聪明。 引言： 现在的机器人与人类比较起来，机器人不能自主学习与自主思考，缺乏情感，必须需要接收人的命令才能执行相关命令，或者事先就把各种命令存储到机器人的大脑中，有需要的时候就执行命令。随着集成电路的飞速发展，处理器、存储器、传感器等电子元件的高端化、微型化、集成化，机器人的处理速度将大大提高，质量与体积将大大减轻，机器人会变得越来越”聪明“。 集成电路前景优越 芯片即集成电路产业是国民经济和社会发展的战略性、基础性、先导性产业，在计算机、消费类电子、网络通信、汽车电子等几大领域起着关键作用，是全球主要国家或地区抢占的战略制高点，尤其是发达国家在这一领域投入了大量创新资源，竞争日趋激烈。 随着技术的不断进步，新的元件结构和材料上的变革都将对机器人的发展战略起到决定作用。在晶圆代工产业，14nm/16nm的FinFET器件已取得了一定的发展。拥有较低泄漏率和更高速度的低功率晶体管备受瞩目。3DNAND使平面NAND 降到20nm以下，创造出外形更小巧、位密度更高的产品。 为了改进3D设备的性能，未来的逻辑芯片和晶圆代工设备的解决方案需要采用选择性外延与高k金属栅电极材料加工工艺，以提高晶体管的速度，降低泄漏率。低功耗、高性能的晶体管则能丰富移动设备的功能，同时延长电池寿命, 3DNAND需要HAR蚀刻、阶梯绘图、多层堆叠沉积和高选择性硬模等技术的支持，从而在小巧的外形空间内实现高密度存储，这对智能化设备，如对机器人来说简直就是如虎添翼啊！ 随着LED产业发展越来越趋于健康和理性，LED领域设备需求也更多来自于新工艺、新技术的驱动，而非简单生产规模的扩张，比如倒装芯片与高压芯片被认为是目前最具有发展前景的LED芯片技术，而这两种技术也带动了深槽刻蚀设备和金属反射层镀膜设备等新设备、新工艺的需求。除此之外，还有AlN镀膜设备、高亮度红黄光芯片刻蚀设备等设备的需求。 集成电路引导未来生活 一张0.5毫米厚的世博会门票，其“真实面目”是个集成电路产品。门票里装了RFID芯片，当门票靠近读卡机时，门票上的线圈会感应出电流，电流便驱
机器人视觉系统 ——人脸识别技术 优势 1 不被察觉，不会引起人的反感。 2 非接触性，不需要和设备接触即可识别 3 自然性 4 准确，可靠，灵活。 原理 在检测到人脸并定位面部关键特征点之后，主要的人脸区域就可以被裁剪出来，经过预处理之后，馈入后端的识别算法。识别算法要完成人脸特征的提取，并与库存的已知人脸进行比对，完成最终的分类。 主要过程 一般分三步： (1)首先建立人脸的面像档案。即用摄像机采集单位人员的人脸的面像文件或取他们的照片形成面像文件，并将这些面像文件生成面纹(Faceprint)编码贮存起来。 (2)获取当前的人体面像。即用摄像机捕捉的当前出入人员的面像，或取照片输入，并将当前的面像文件生成面纹编码。（智械科技） (3)用当前的面纹编码与档案库存的比对。即将当前的面像的面纹编码与档案库存中的面纹编码进行检索比对。上述的“面纹编码”方式是根据人脸脸部的本质特征和开头来工作的。这种面纹编码可以抵抗光线、皮肤色调、面部毛发、发型、眼镜、表情和姿态的变化，具有强大的可靠性，从而使它可以从百万人中精确地辩认出某个人。人脸的识别过程，利用普通的图像处理设备就能自动、连续、实时地完成。 实现方法 基于OpenCv人脸识别设计方案 1 系统组成 以OpenCV 图像处理库为基础，利用库中提供的相关功能函数进行各种处理：通过相机对图像数据进行采集，人脸检测主要是调用已训练好的Haar 分类器来对采集的图像进行模
式匹配，检测结果利用PCA 算法可进行人脸图像训练与身份识别，而人脸表情识别则利用了Camshift 跟踪算法和Lucas–Kanade 光流算法。
《工业机器人技术与应用》试卷 （A ） 一、填空（每空1分，共30分） 1．按照机器人的技术发展水平，可以将工业机器人分为三代 ___ _ ___ 机器 人、 ____ __ _ 机器人和 ___ ____ 机器人。 2．机器人行业所说的四巨头是__________ 、 __________ 、 __________ 、__________。 3．机器人常用的驱动方式主要有_____ _ ____、 ____ __和______ ____ 三种基本类型。 4．一般来说，机器人运动轴按其功能 可划分为 __ ____ 、 _ 和工装轴，________ 和工装轴统称 _______。 5．从结构形式上看，搬运机器人可分为 __________ 、 __________ 、 __________ 、 __________ 和关节式搬运机器人。 6．码垛机器人工作站按进出物料方式可 分为 __ ___ 、 _____ __ 、___ __ __ 和四进四出等形 式。 7．装配机器人常见的末端执行器主要有__ ___ 、 _____ __ 、___ __ __ 和 。 8．弧焊系统是完成弧焊作业的核心装 备，主要由 、送丝机、 和气瓶等组成。 9．目前工业生产应用中较为普遍的涂装 机器人按照手腕构型分主要有两种： 涂 装 机 器 人 和 涂装机器人，其中 手腕机器人更适合用于涂装作业。 二、判断（每题2分，共20分） （ ）1．涂装机器人的工具中心点 （ TCP ）通常设在喷枪的末端中心处。 （ ）2．一个完整的点焊机器人系统 由操作机、控制系统和点焊焊接系统几部分组成。 （ ）3. 工业机器人是一种能自动控制，可重复编程，多功能、多自由度的操作机。 （ ）4．工业机器人的腕部传动多采 用 RV 减速器，臂部则采用谐波减速器。 班级 姓名 学号
移动机器人视觉定位设计方案 运动视觉研究的是如何从变化场景的一系列不同时刻的图像中提取出有关场景中的目标的形状、位置和运动信息，将之应用于移动机器人的导航与定位。首先要估计出目标的空间位置和运动信息，从而为移动机器人车体的导航与定位提供关键前提。 视觉信息的获取主要是通过单视觉方式和多视觉方式。单视觉方式结构简单，避免了视觉数据融合，易于实现实时监测。如果利用目标物体的几何形状模型，在目标上取3 个以上的特征点也能够获取目标的位置等信息。此方法须保证该组特征点在不同坐标系下的位置关系一致，而对于一般的双目视觉系统，坐标的计算误差往往会破坏这种关系。 采用在机器人上安装车载摄像机这种局部视觉定位方式，本文对移动机器人的运动视觉定位方法进行了研究。该方法的实现分为两部分：首先采用移动机器人视觉系统求出目标质心特征点的位置时间序列，从而将对被跟踪目标的跟踪转化为对其质心的跟踪；然后通过推广卡尔曼滤波方法估计目标的空间位置和运动参数。 1 目标成像的几何模型 移动机器人视觉系统的坐标关系如图1 所示。 其中O-X Y Z 为世界坐标系；O c - X cY cZ c 为摄像机坐标系。其中O c 为摄像机的光心，X 轴、Y 轴分别与X c 轴、Y c 轴和图像的x ，y 轴平行，Z c 为摄像机的光轴，它与图像平面垂直。光轴与图像平面的交点O 1 为图像坐标系的原点。O cO 1 为摄像机的焦距f 。 图1 移动机器人视觉系统的坐标关系 不考虑透镜畸变，则由透视投影成像模型为：
式中，Z′= ［u，v ］T 为目标特征点P 在图像坐标系的二维坐标值；（X ，Y ，Z ）为P 点在世界坐标系的坐标；（X c0，Y c0，Z c0）为摄像机的光心在世界坐标系的坐标；dx ，dy 为摄像机的每一个像素分别在x 轴与y 轴方向采样的量化因子；u0，v 0 分别为摄像机的图像中心O 1 在x 轴与y 轴方向采样时的位置偏移量。通过式（1）即可实现点P 位置在图像坐标系和世界坐标系的变换。 2 图像目标识别与定位跟踪 2.1 目标获取 目标的获取即在摄像机采集的图像中搜索是否有特定目标，并提取目标区域，给出目标在图像中的位置特征点。 由于机器人控制实时性的需要，过于耗时的复杂算法是不适用的，因此以颜色信息为目标特征实现目标的获取。本文采用了HS I 模型， 3 个分量中，I 是受光照影响较大的分量。所以，在用颜色特征识别目标时，减少亮度特征I 的权值，主要以H 和S 作为判定的主要特征，从而可以提高颜色特征识别的鲁棒性。 考虑到连通性，本文利用捕获图像的像素及其八连通区域的平均HS 特征向量与目标像素的HS特征向量差的模是否满足一定的阈值条件来判别像素的相似性；同时采用中心连接区域增长法进行区域增长从而确定目标区域。图2 给出了目标区域分割的算法流程。
机器人视觉系统(Robot Vision)简介 【字体：大中小】时间：2014-08-28 11:00:06 点击次数：23次 机器视觉系统的组成 机器视觉系统是指用计算机来实现人的视觉功能，也就是用计算机来实现对客观的三维世界的识别。按现在的理解，人类视觉系统的感受部分是视网膜，它是一个三维采样系统。三维物体的可见部分投影到网膜上，人们按照投影到视网膜上的二维的像来对该物体进行三维理解。所谓三维理解是指对被观察对象的形状、尺寸、离开观察点的距离、质地和运动特征（方向和速度）等的理解。 机器视觉系统的输入装置可以是摄像机、转鼓等，它们都把三维的影像作为输入源，即输入计算机的就是三维管观世界的二维投影。如果把三维客观世界到二维投影像看作是一种正变换的话，则机器视觉系统所要做的是从这种二维投影图像到三维客观世界的逆变换，也就是根据这种二维投影图像去重建三维的客观世界。 机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或显示。 将近80%的工业视觉系统主要用在检测方面，包括用于提高生产效率、控制生产过程中的产品质量、采集产品数据等。产品的分类和选择也集成于检测功能中。下面通过一个用于生产线上的单摄像机视觉系统，说明系统的组成及功能。 视觉系统检测生产线上的产品，决定产品是否符合质量要求，并根据结果，产生相应的信号输入上位机。图像获取设备包括光源、摄像机等；图像处理设备包括相应的软件和硬件系统；输出设备是与制造过程相连的有关系统，包括过程控制器和报警装置等。数据传输到计算机，进行分析和产品控制，若发现不合格品，则报警器告警，并将其排除出生产线。机器视觉的结果是CAQ系统的质量信息来源，也可以和CIMS其它系统集成。 图像的获取 图像的获取实际上是将被测物体的可视化图像和内在特征转换成能被计算机处理的一系列数据，它主要由三部分组成： ＊照明 ＊图像聚焦形成 ＊图像确定和形成摄像机输出信号