目录
1 绪论 (1)
2 选题依据 (2)
2.1 课题研究目的 (2)
2.2课题研究意义 (2)
2.3国内外研究动态 (3)
2.3.1国外研究动态 (3)
2.3.2国内研究动态 (5)
2.4 目前存在的问题 (6)
3 课题研究拟采用方法和手段 (7)
3.1立体视觉技术综述 (7)
3.2 图像获取 (7)
3.3图像预处理 (7)
3.4特征提取 (8)
3.4.1基于灰度特征提取 (8)
3.4.2统计方法的目标特征提取 (9)
3.4.3基于彩色图像目标特征提取 (9)
3.4.4合成颜色信息的目标特征提取 (9)
3.5 摄像机标定 (9)
3.5立体匹配 (12)
3.5.1匹配准则 (12)
3.5.2匹配算法 (13)
3.6 环境建模 (14)
3.6.1栅格地图模型 (15)
3.6.2几何地图模型 (15)
3.6.3拓扑模型 (16)
3.7环境特征识别 (16)
3.8 环境建模与定位 (17)
4实验条件，研究过程中可能遇到的困难和问题 (19)
4.1 实验条件 (19)
4.2 可能遇到的困难和问题 (19)
5 论文工作和经费的估计 (20)
6 论文工作计划 (21)
参考文献 (22)
1 绪论
视觉导航技术成为移动机器人的关键技术之一。它的主要功能包括对各种道路场景进行识别和理解、障碍物的快速识别和检测，从而确定移动机器人的可行区域。
随着机器人技术和信息技术的结合，视觉传感器因为信息量大、应用范围广，所以在智能机器人的研究中占用很重要的位置。但是视觉传感器的不确定性给机器人的实时环境感知和定位问题带来了巨大的挑战，直接影响到机器人导航的效果。所以探索适合于在家庭动态环境下应用的服务机器人立体视觉障碍物检测技术，以解决目前国内在动态非结构环境下的家用服务机器人的实时环境建模和导航技术中存在的问题和不足显得非常必要。这对于打破国外发达国家在智能服务机器人领域的相关技术封锁，提高我国智能服务机器人的技术水平，促进我国智能机器人产业的发展，满足我国对未来多种类的高性能智能服务机器人需求具有重要的战略意义[1]。
视觉传感器在移动机器人导航，障碍物识别中的应用越来越受人们重视，一方面由于计算机图像处理能力和计算机相应技术的发展，加之视觉系统具有信号探测范围宽、目标信息完整、获得环境信息的速度快等优势;另一方面由于激光雷达和超声的原理都是通过主动发射脉冲和接受反射脉冲来测距的，多个机器人一起工作时相互之间可能产生干扰，同时它们对一些吸收性或者透明性强的障碍物无法很好的识别。
利用摄像机所拍摄的图像信息划分出机器人行进道路上的可行区域和障碍物区域，并得到障碍物的位置信息，提供给机器人导航的避障控制系统。本课题基于新松公司的服务机器人项目研究。完成环境建模和自定位工作。
2 选题依据
2.1 课题研究目的
自主式移动机器人要做到无人干预的情况下实现有目的的移动和完成相应任务，就需要各种传感器来感知周围的环境，从而完成任务和实现导航。本课题研究的是基于双目立体视觉的障碍物检测系统。根据周围环境信息，快速检测障碍物是移动机器人视觉导航的关键技术之一[1~2]。应用立体视觉进行导航的自主机器人车利用多个(一般两个)摄像机获得场景的二维图像信息，通过立体视觉算法，确定自主机器人车所在位置的三维路况信息，从而起到导航作用。
2.2课题研究意义
近年来随着传感器等领域的技术进步，智能机器人系统开始应用在服务行业中, 开辟了机器人自主服务的新领域。以往服务机器人的研究和开发主要在大学和研究所中进行，如今越来越受到企业界和商业界的重视。
室内服务机器人的出现主要原因有：一是人们想摆脱令人烦恼枯燥的重复性工作，如家务劳动、照料病人等等；二是电器设备成本的下降。由服务机器人代替人完成家务劳动, 是一项有良好应用前景的高技术行业[2~3]。
机器人要在某一环境中自主运动，一个基本问题就是确定自身及周围物体在环境中的障碍物。障碍物检测技术在机器人的实际应用中是必不可少的，是实现运动和其他任务的基础，并且有较强的工程背景，涉及较多的领域，是一个具有重要研究价值的课题。基于视觉的室内移动机器人室内障碍物检测将随着各种室内服务机器人的发展而不断发展，代表了国际自主移动机器人技术的发展方向[25]。
双目视觉系统能够获得场景的景深和三维信息。对于基于主动视觉的移动机器人来说，双目视觉系统对目标物体位置的确定比单目视觉系统要容易的多，尤其是可以
通过计算机重建周围景物的三维形状和位置。双目视觉系统比单目视觉系统更加接近于人的双眼，易于确定景物中的重要信息。但获取场景位置的三维信息需要从不同的角度，同时拍摄两幅景物的图像进行对应基元匹配。由于两摄像机的观察位置不同，同一空间点在两幅图像上投影点的灰度值并不完全相同。同时，完成两幅立体图像对应基元的匹配，计算复杂，实时性较差。因此，与人眼能瞬时完成对双眼看到的图像的对应匹配相比，机器人双目立体视觉方法仍显得相当笨拙而且不准确，需要进一步的研究[3]。
本课题研究的基于双目立体视觉的服务机器人导航系统，利用安放在机器人本体上的双目立体摄像机，以达到视觉信息互补，扩大观察范围的目的;同时利用立体视觉的测距原理，实现移动机器人在己知环境的视觉自定位和未知环境的同时定位与地图创建。双目立体视觉环境建模技术的研究成功，对解决家庭动态非结构环境下移动机器人的自主定位与导航具有十分重要意义[3]。
2.3国内外研究动态
智能移动机器人的研究在国外已经开展了几十年，许多公司和研究所都推出了自主研究的智能服务机器人；而在国内，智能移动机器人的研究处于起步阶段，有一些科研机构和院校取得了一些成果[24]。
2.3.1国外研究动态
日本、美国和韩国处在服务机器人领域的研究和应用的前沿。日本索尼公司开发出世界上第一个会跑的机器人，机器人名字叫“QRIO”。QRIO身长50厘米，和人一样长着两只脚，外形像人，如图2.1所示[4]。
图2.1索尼公司的QRIO
为了提高QRIO的导航和自定位能力，QRIO由两个CCD彩色摄像头提供视觉，让它可以立体地观察场景，并判断自身与目标间的距离，确定最优的路线。三菱重工展示的家庭用机器人“wakamaru”能通过视觉系统识别家庭成员的脸部特征，并能在下一次见面时辨识出家庭成员的身份，wakamaru的导航主要通过在机器人顶部的摄像机辨识天花板的标志来完成的[7]。
美国iRobot公司推出室内地毯和地板清洁机器人，具有污物探测功能，可根据房间地面的具体情况进行有重点的清洁，主要利用超声波进行导航，并未配备视觉系统。如图2.2所示[23]。
图2.2地板清洁机器人
韩国的“irobi”是一种既能看家又会唱歌的机器人，不仅可以自动避开障碍物，在房间内自由走动，而且家里无人的时候，可以通过外设的电脑装置确认大门是否上锁和煤气是否已经关闭。假如有人闯进家门，irobi可以利用视觉系统将其拍摄下来，给主人发电子邮件。如图2.3[5]。
图2.3韩国的IROBI
2.3.2国内研究动态
国内服务机器人的研究主要集中在科研机构和院校。主要研究机构有中科院自动化所、北京理工大学、哈尔滨工业大学和新松公司。中科院自动化所研制的CASIA-I 是一种集多种传感器、视觉、语音识别与会话功能于一体的智能移动机器人。
北京理工大学所研制的“汇童”是具有视觉、语音对话、力觉、平衡觉等功能的自主知识产权的仿人机器人，如图2.4所示。它突破了仿人机器的复杂动作设计技术，首次实现了模仿太极拳、刀术等人类复杂动作。它的成功研制标志着我国继日本之后成为第二个掌握集机构、控制、传感器、电源于一体的高度集成技术的国家[1]。
图2.4北京理工大学“汇童”
哈尔滨工业大学研发的全方位智能服务机器人具有7个自由度仿人形机械手臂，如图2.5所示，可以完成像打招呼、倒水等复杂动作，独立行走无外接电源，通过操作系统就可遥控指挥。机器人可实现一定范围内的机器人全方位自主移动，自动避障，路径规划，一定语言范围内的人机对话,通过语音控制或遥控方式控制机器人的移动、转向等动作。机器人还可以进行跳舞、唱歌、背唐诗等表演，通过多媒体计算机还可进行查询及场景解说。可广泛应用于宾馆、商场、科技馆、博物馆、游乐园等服务场进行宣传、迎宾服务、导游、导购等工作[3]。
图2.5哈尔滨工业大学的导游机器人
2.4 目前存在的问题
目前，国内的许多研究主要集中在单目视觉导航方面，单目视觉导航的优点在于实现简单，在一些场合得到了广泛的应用，比如生产线的监控、产品的分类等等。而单目视觉不足之处也很明显：单个摄像机的观察范围相对有限，更为重要的是，单个摄像机的信息只能进行图像中的物体跟踪，而不能得到物体在真实世界中的位置[8]。
本课题研究的基于双目立体视觉环境建模技术，利用两个安放在车体上不同位置的摄像机，可以扩大系统的观察范围，这样可以达到视觉信息互补，扩大观察范围的目的；同时还可利用立体视觉的原理恢复物体的三维信息，实现移动机器人的视觉导航和其他一些任务。双目立体视觉导航系统的研究成功，对降低移动机器人整体成本，提高机器人的整体可靠性，进而创造更多经济效益都是很重要的。双目视觉所存在的关键问题是立体视觉的匹配问题，到目前为止还没有特别好的方法达到完美的匹配从
而实现客观实际的三维重构[6]。
3 课题研究拟采用方法和手段
3.1立体视觉技术综述
一个完整的双目立体视觉系统根据现实中最普遍的环境，选择在平行立体视觉系统中，从不同视点获取物体的序列图像。双目视觉基本原理是从两个视点观察同一景物，以获取在不同视角下的感知图像，通过三角测量原理计算图像像素间的位置偏差(视差)，从而获取景物的三维信息。这一过程与人类视觉的立体感知过程相类似[1]。
3.2 图像获取
图像获取是图像处理的前提和立体视觉的物质基础。常用的硬件设备有扫描仪、数字相机、摄像头和视频采集卡。在图像采集时不但要满足系统的应用要求，而且要考虑视点差异、光照条件、摄像机性能以及景物特点等因素的影响。立体图像是对同一景物从不同视点捕获的多幅图像，其获取的方式很多，主要取决于应用的场合和目的。对于双目立体视觉系统来说，有许多方法采集图像，获取这些图像的视点可以在一条直线上，也可以在一个平面上。本课题中重点为障碍物的图像获取，采用立体视觉的方法检测障碍物，对需要判定的每一对左右图像像素点进行立体视觉的计算，得到其高度和深度信息，高度值高于地面一定阈值的点被认为是障碍点，深度值小于一定阈值则需要改变行进方向。
在感知范围不太大和遮挡范围比较小的情况下，可以采用光轴平行，基线共线的位置布置，将会大大简化后续图像处理的过程。双目立体视觉的图像获取是由视觉坐标测量机带动摄像头通过移动或旋转来拍摄场景中的被测物体，最终获得双目立体图像对[11]。
3.3图像预处理
图像采集设备得到的图像是一幅含有较多噪声的图像，必须经过预处理，除去大
量的噪声信号，使图像更清晰。图像预处理包括图像变换、细节增强和图像恢复。图像预处理技术主要是提高图像数据中的信噪比、进行背景的抑制等，目的是减轻后续处理部分的数据处理压力，以满足图像处理系统的实时性要求，而且预处理的好坏将直接影响到后面的特征体提取和匹配。图像处理技术有两种方法:空间域法和频率域法。空间域法主要是在空间域内对象素直接运算处理，例如中值滤波、高通滤波等。频率域法就是在图像的某种变化域内，对图像的变化值进行运算，如先对图像进行傅立叶变换，再对图像的频域进行滤波处理，最后将滤波处理后的图像变换值反变到空间域，从而达到消除噪声，抑制背景的目的。
3.4特征提取
为了确定场景中同一物点在两幅不同图像中的对应关系，要选择合适的图像特征进行匹配，目前尚没有一种普遍适用的理论可运用于图像特征的提取，从而导致了匹配特征的多样性。常用的匹配特征主要有点状特征、线状特征和区域特征等。一般来讲，大尺度特征含有较丰富的图像信息，在图像中的数目较少，容易得到快速匹配，但它们的定位精度差，特征提取与描述困难。而小尺度特征数目较多，其所含信息较少，因而在匹配时需要较强的约束准则和匹配策略，以克服歧义匹配和提高运算效率。良好的匹配特征应具有可区分性、不变性、稳定性、唯一性以及有效解决歧义匹配的能力。
3.4.1基于灰度特征提取
空间形状提取目标特征的方法。图像的形状空间一般表现为区域、纹理的轮廓等形式，从这些空间分布提取目标特征的较为成熟的方法有边缘检测、区域分割的相关性检测等，每种方法又发展了许多具体的实现方式，如边缘检测中常用的有Robert 算子、拉氏算子、Canny算子、Sobel算子等，区域分割算法有典型的区域生长法。
3.4.2统计方法的目标特征提取
采用统计方法描述和分析图像的统计特性。如图像的直方图，然后再根据这些特性提取图像的统计特征。将图像作为矩阵进行分析和计算，通过各种代数变换，得到图像矩阵的特征向量。矩阵的特征向量是矩阵的不变特征，所以图像矩阵的特征向量一定程度上代表了图像的特征。
3.4.3基于彩色图像目标特征提取
彩色图像包含丰富的彩色信息，人们对彩色图像处理的研究多集中于对颜色信息的关注。利用颜色空间各个颜色分量提取目标特征。彩色图像颜色空间的各分量可以被当作灰度图像中的灰度值进行运算，所以这类目标特征提取方法可以采用基于灰度图像的目标特征提取方法。如进行阈值分割，区域分割，直方图统计等。
3.4.4合成颜色信息的目标特征提取
根据颜色空间中各颜色成分的特性，采用一定的方法将各颜色成分合成为一个或者多个颜色信息，然后对各个颜色信息采用灰度图像目标特征提取的方法提取目标特征。合成后的颜色信息都具有一定的代表性，它们不仅能够准确表达彩色图像的颜色特征，而且在减少图像处理的计算量。当目标颜色单一，且与周围物体颜色不相似时，可以简化处理，只利用色度H进行目标的检测，这样大大的缩短了彩色图像的处理时间。
3.5 摄像机标定
摄像机标定是为了确定摄像机的属性参数，建立立体视觉测量的成像模型和可以确定摄像机的位置，以便确定被测物体在空间坐标系中的特征点同它在图像平面上像点之间的对应关系。立体视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并识别和重建物体，而空间物体表面某点的三维几何位置与图像中对应点之间的相互关系是由摄像机成像的几何模型所决定的，这些几何模型
的参数就是摄像机的参数。在大多数条件下必须通过实验才能得到这些参数，这个过程被称为是摄像机标定[12]。
摄像机的标定需要确定摄像机内部参数（即摄像机的几何和光学特性）和确定摄像机的外部参数（即相对一个世界坐标系的摄像机坐标系的三维位置和方向。）根据测量任务和工作环境，确定传感器模型。对于双目立体视觉测量技术，摄像机或数码相机是利用计算机图像处理技术对物理世界进行三维重建的基本测量工具。对摄像机的标定是立体视觉领域里从二维图像提取三维空间信息必不可少的关键一步。为了确定摄像机的位置、属性参数和建立成像模型，以便确定空间坐标系中物点同它在图像平面上像点之间的对应关系。本系统采用的摄像机的角点检测标定方法，来得到摄像机的参数。标定计算的复杂度与摄像机成像几何模型的复杂性有关。摄像机标定是计算机视觉中的一个重要研究内容，摄像机模型建立的有效与否，将直接关系到空间景物三维重建的精度[5]。
在计算机视觉系统中涉及到以下几种坐标系，图像像素坐标系：表示场景中三维点在图像平面上的投影。表示场景中三维点在图像平面上的投影，其坐标原点在图像平面的左上角，u 轴平行于图像平面水平向右，v 轴垂直于u 轴垂直向下。坐标值用(,)u v 来表示，且表示的是该像素在数组中的列数和行数。
图像物理坐标系：图像坐标系只是表征像素的位置，而像素并没有实际的物理意义。因此，需建立具有物理单位（如毫米）的平面坐标系。其坐标原点在CCD 图像平面的中心00(,)u v ，X 和Y 轴分别平行于图像像素坐标系的坐标轴，坐标用(,)x y 来表示。
摄像机坐标系：以摄像机的光心为坐标系原点，X 、Y 轴平行于成像坐标系的X 、Y 轴，摄像机的光轴为Z 轴，坐标系满足右手法则。光轴与成像平面的交点称为图像主点。即以观察者为中心的坐标，将场景点表示成以观察者为中心的数据形式，用(,,)C C C X Y Z 表示。
世界坐标系：也称为绝对坐标系，用于表示场景点的绝对坐标，用()w w w Z Y X ,,表示。
图3.1摄像机坐标系
[][]?????
?????????????????=??????????????????????=??????????110001100010000w w w v u w w w c Z Y X T R v k u s k Z Y X T R v dy f u s dx f v u Z []????
????????=????????????=11w w w w w w Z Y X P Z Y X T R K [1]
上式中P 为43?矩阵，称为投影矩阵；s 称为扭转因子， dy f k dx f k v u ==，
；K 完全由00v u s k k v u ，，，，决定， K 只与摄像机内部结构有关，称为摄像机内参数矩阵；[]T R 由摄像机相对世界坐标系的方位决定，称为摄像机外部参数。根据摄像机的模型可以分为三种类型：线性标定法，非线性标定法和两步标定法。本课题初步定为使用opencv 进行摄像机标定[21]。求解出摄像机的六个外部参数，即摄像机的光心坐标和光轴方位的信息。上式就是摄影测量学中最基本的共线方程。说明物点、光心和像点这三点必须在同一条直线上。这是针孔模型或者中心投影的数学表达式。根据共线方程，在摄像机内部参数确定的条件下，利用若干个已知的物点和相应的像点坐标，就可以求解出摄像机的六个外部参数，即摄像机的光心坐标和光轴方位的信息。
3.5立体匹配
立体匹配是对所选特征的计算，建立特征间的对应关系，将同一个空间物理点在不同图像的映射点对应起来，并由此得到相应的视差图像，它是双目立体视觉中最重要也是最困难的问题。当空间3-D物体被投影为2-D图像时，同一景物在不同视点下的图像会有很大不同，而且场景中的很多因素如光照条件、景物几何形状和物理特性、噪声干扰和畸变、摄像机特性等，都被综合成单一图像中的RGB值，因此要准确解决如此多干扰因素是十分困难的，在复杂场景中，如何提高算法的去歧义匹配和抗干扰能力，降低实现的复杂程度和计算量是立体匹配的关键所在。
3.5.1匹配准则
(1)外极线约束
由景物点P光心线构成的平面称为外极平面，光心连线与两个像平面的交点称为外极点，外极线平面与两个像平面的交线称为外极线。若有外极点存在，则所有的外极线都通过其所在平面的外极点。若两个像平面共面且焦距相等，则外极点不存在，但这不影响外极线的存在。左图像中任意一个像点在右图像中的匹配点一定在右图像中的外极线上。类似地，右图像中像点在左图像中的匹配点一定在左图像中的外极线上，这就是所谓外极线约束。外极线约束将匹配搜索范围从二维缩小到一维，不仅大大降低了计算量，也减少了错误匹配的可能性，是立体视觉中最重要、鲁棒性最强的约束。
(2)唯一性约束
一般情况下，一幅图像上的一个特征点只与另一幅图像的特征点唯一对应。
(3)连续性约束
物体表面一般都是光滑的，因此物体表面上各点在图像上的投影是连续的，其视差也是连续的。比如，物体上非常接近的两点，其视差也十分接近，因为真深度值不会相差很大。但是，在物体边界处，比如边界两侧的两个点，连续性约束并不成立。
(4)相似性约束
空间物体的一点在两幅图像上的投影在某些物体度量上(如灰度、灰度梯度变化等)或几何形状上具有相似性。比如，空间中某一个多面体的顶点，在图像中的投影应是某一多边形的顶点。
(5)顺序一致性约束
一幅图像的一条极线对应着另一幅图像中的一条极线，而且它们上面的对应点的排列顺序是不变的。但是，如果视点的方位变化很大，这个约束条件可能不被满足。
3.5.2匹配算法
基于区域相关的匹配算法是目前最简单、易于用硬件实现的匹配方法。它是把一幅图像中的某一点灰度邻域作为模板，在另一幅图像中搜索具有相同（或者相似）灰度值分布的对应点领域，从而实现两幅图像的匹配，在搜索过程中，通常是以相关函数作为两个搜索领域的相似性测度。
基于特征的匹配通过灰度导出符号特征来实现匹配。其通过有选择的匹配能表示景物自身特性的特征，通过更多的强调空间景物的结构信息来解决匹配歧异性问题。基于特征的匹配方法将匹配搜索范围限制在一系列稀疏的特征上。利用特征间的距离作为度量手段，具有最小距离的特征对就是最相近的特征对，也就是匹配元素。特征间的距离度量有最大最小距离、欧式距离等。大多数方法都通过增加约束来减少对每一个特征可能的对应特征数量。常用的有极线约束、唯一性约束以及连续性约束等。关于特征的选取，首先应该使选取的特征对应可视景物的一定特征，并且这种景物特征能够在两幅图像中产生相似的结果；其次，对所处理的图像来说，所选取的特征的分布还应该能够尽可能地避免误匹配的产生。常用得匹配特征有图像的边缘点、角点、拐点等灰度不连续点和边缘直线等。另外还有基于相位匹配算法等。
(6)深度恢复。
己知立体成像模型和匹配视差后，三维距离的恢复是很容易的。影响距离测量的因素主要有：摄像机标定误差、特征检测与匹配定位精度。一般来讲，距离的测量精度与匹配定位精度成正比，与摄像机基线长度成反比，要设计一个精确的立体视觉系统必须综合考虑各方面的因素，保证各个环节都有较高的精度。
3.6 环境建模
为实现已知环境下移动机器人的定位导航，必须给定环境模型。对于已有的各种环境模型描述，基于特征的环境模型以准确和简明的特点明显优于栅格式环境模型和拓扑模型，并且国内外的研究重点也集中到基于特征的环境模型上，因此这里也以基于特征的环境模型作为主要的模型描述形式。而在未知模型环境下的定位导航，为了能够应用于大规模的环境，考虑构造拓扑模型和基于特征的几何模型的分级混合模型，局部环境以基于特征的几何模型描述，而全局环境则以拓扑模型来描述，但拓扑节点仍是基于特征的形式。
环境建模就是移动机器人通过传感器的感知信息，进行分析处理，从而创建环境地图或更新环境地图的过程[21]。定位是确定机器人在其作业环境中所处的位姿的过程，更具体的说，是利用先验的环境地图信息、机器人位姿的当前估计以及传感器的观测值等输入信息，经过一定的处理和变换，产生更加准确的对机器人当前位姿的估计。路径规划是按照某一性能指标搜索一条从起始状态到目标状态的最优或近似最优的无碰路径。
环境建模主要研究移动机器人所处环境的自主表达和模型的创建问题。为了保证移动机器人在环境中安全地完成任务，必须了解其所处的环境信息，主要途径是对环境特征进行合理表达，建立起适当的环境模型，以此来指导移动机器人的导航和控制，安全可靠的完成既定的任务目标。受移动机器人应用范围的局限，早期的环境建模研究主要针对室内外结构化环境，大多是建立在避障概念上的，通过地图创建的方法来解决[30] [31]。这些结构化环境通常考虑二维的情况，或者采取某些近似或简化将三维转化为二维表示。随着室外非结构化环境中移动机器人的发展，对环境的建模对象从障碍物的分布扩大到了更广泛的范围，如环境的地形信息等。从实时应用的角度上来说，环境模型应该满足一下三个条件：便于实时计算，即时间复杂度问题；便于保持、更新和扩展，即空间复杂度问题；便于移动机器人依靠其信息来完成特定的任务，即环境表达的合理性问题。主要的地图环境模型表示方法有以下几种：
3.6.1栅格地图模型
栅格地图最早由 Elfes 和 Moravec提出。其基本思路是：对于 2D 的栅格地图，整个环境空间被分割成为均匀的单元栅格，每个栅格赋予一个概率值来表示其被障碍物占据的可能性。从而，整个空间被分成了占用空间和空置空间。这种二维栅格地图又通常被称之为占据栅格(Occupancy Grid)。对于三维环境下的地形建模，由栅格地图发展出数字高程图(Digital Elevation Model, DEM)的概念，将地面划分为大小相同的栅格，每个栅格上赋予一个高度值来表示其地形的高度信息。这种DEM 地图通常用于遥感领域例如基于激光、超声的地形感知等。栅格地图方法是一种近似描述，每个栅格直接对应实际的环境区域，具有稠密型，同时易于创建和维护，对障碍物的形状不敏感，因而得到了广泛的研究和应用。但当在大型环境中或栅格单元划分较细以提高分辨率时，将要增加运算的时间和空间复杂度，使得计算机的实时处理变得困难。由于传统的栅格表示方法的复杂性，可以采用更有效的四叉树(Quadtrees)[20]表示方法。
3.6.2几何地图模型
几何地图又称特征地图(Feature Map)，是由机器人对环境信息进行处理，从中提取更为抽象的几何特征(如点、线、面等)来描述环境，如交通图。这种地图方法很接近人对环境的描述，数学表示形式更为紧凑，便于位置估计和目标识别，但只局限于可以参数化的环境路标特征或者可建模的对象。路标地图的创建方法大都基于对环境信息的相对观测，然后用这些观测到的环境路标特征表示环境地图。由于特征地图需要对环境信息进行特征提取的预处理，其表征的精确度依赖于算法和环境的结构化程度，同时为了保证地图的一致性，要求各观测信息的位置是相对精确的，因此对噪声较为敏感。这个领域的研究成果很多，如等距区域法、基于三角计算的方法和基于图像特征提取的方法等。然而这些方法大都只适用于得到某一种环境特征，如何改进算法以得到更多的环境特征信息的研究还有待于继续深入[15]。
3.6.3拓扑模型
拓扑地图最早是由 Brooks、Mataric 和其他研究者提出的。在表示环境地图时，拓扑地图并没有一个明显的尺度概念，而是选用一些特定地点来描述环境空间信息。拓扑地图通常表示为一个图，图中的一些节点表示一个特定地点，连接节点的弧表示特定地点之间的路径信息。拓扑地图也是一种稠密的地图表示方法，其分辨率取决于环境的复杂度。这种地图模型忽略了具体的几何特征信息，图形抽象，易于计算机的理解和扩展，合适于表示大规模的简单环境，可实现快速的路径规划。由于拓扑地图不需要准确的位置信息，因而对机器人的位置误差具有更好的鲁棒性。其缺点是难于分辨相似的特征点。对于环境的拓扑，目前尚没有形成统一的定义。例如 Kuipers 和 Chown 分别采用不同的方法表示拓扑节点和弧。这导致了在实际应用中机器人很难对环境的拓扑地图进行创建。
3.7环境特征识别
环境特征的正确识别是基于感知信息的机器人导航的关键，尤其对于基于特征的环境模型，没有准确的感知信息，将使得机器人的导航任务不可能实现。对于声纳传感器，其固有的方向性差和串扰现象的存在，使得单个距离和方向数据的误差太大，难以提供准确的环境信息；同时对于视觉传感器，环境特征受外界条件如光照或遮挡等不确定因素的影响较大，尤其现在采用的视觉特征大多为点、线等基本的几何特征，很难正确提取出其特征参数如长度、端点等。因此提高环境特征识别的准确性和鲁棒性，减小传感器自身因素或外界条件变化对环境特征的影响是基于多传感器信息的移动机器人导航中所必须要考虑的问题。
由于局部的室内环境是以多面体为主的，如二维平面物体：人工路标或墙壁，或三维多面体：方形隔间、冰箱和门等，因此以物体作为几何模型中要识别的环境特征。根据这些物体具有的表面特性或表现出的空间几何组织特征，针对不同的传感器，声纳传感器和视觉传感器，提出了不同的环境特征提取方法。物体具有的平面表面特性使得可以采用聚类以及不同位置处的声纳距离数据来提取直线特征，减小了单个声纳数据的不确定性。而视觉传感则充分利用物体的空间结构特性，如面特征、空间三
线共点特征等，提高了物体特征识别的准确性，避免了特征在数据相关中的困难，并能够有效减小假阳性和假阴性特征出现的概率。
3.8 环境建模与定位
定位和环境建模可视为对偶问题。精确的定位方法是以一个环境模型为基础的，而为了构建环境模型，必须知道机器人在各观测点的位姿。因此，当移动机器人在一个未知的环境中导航时，就面临着一个两难的问题：为了构建环境地图模型，机器人需要知道自身的位姿；为了定位，机器人需要知道环境的地图模型。这就好比一个“egg-chick”问题。这种情况下，需要同时考虑环境建模和定位问题，从而导致了同时定位和地图创建(Simultaneous Localization and Mapping, SLAM)或并发地图创建和定位(Concurrent Mapping and Localization, CML)研究的兴起，并成为近年来机器人研究的热点问题。
环境建模和定位的不确定性主要在于：
(1) 模型表达本身的不确定性：由于任何环境模型的表示都只是对真实环境的一种近似，不可能包括真实环境的全部信息，因此模型本身并不是完全准确的，存在着不确定性。
(2) 传感器数据的不确定性：由于传感器总是受到噪声的干扰，导致其感知的环境信息本身是不确定的，很难实时全面地反映自身和周围环境的状态。
(3) 环境的动态变化引起的不确定性：当处于动态环境中时，会出现各种突发的环境变化因素，例如地面环境中突然出现的动态障碍物或者滑动，太空中飞行的陨石，以及海面上的海风和海浪等，这些因素也是环境建模和定位的不确定性诱因。
(4) 数据的关联不确定性：多种传感器数据之间存在相关性问题，即数据关联(Data Association)。必须明确指出某个观测值对应于已知特征、新特征还是噪声数据。数据关联的计算复杂度与观测值维数呈指数关系。对于某些算法来说，数据的不关联将导致算法发散。
因此，如何在存在不确定性的情况下提高准确度成为环境建模和定位研究中需要解决的关键问题。这个问题的解决依赖于相应估计算法的选择，它必须具备两个基本的功能：一是对环境模型和机器人的位姿进行实时的在线估计；二是必须具备信息融
合的功能，以解决数据关联问题。从本质来说，这是一个基于动态模型的状态/参数在线估计问题，而对于不确定性通常建模为系统内部的不确定性(如模型不确定和参数不确定)和系统外部的不确定性(如干扰和噪声)。
4实验条件，研究过程中可能遇到的困难和问题
4.1 实验条件
(1) 设备：计算机。
(2) MATLAB编程软件。
4.2 可能遇到的困难和问题
(1)摄像头畸变程度问题
(2)怎样解决两个图像的特征匹配问题，以及这种匹配度的融合问题。
机器人视觉系统有哪些关键的技术 机器人视觉系统是指用计算机来实现人的视觉功能，也就是用计算机来实现对客观的三维世界的识别。人类接收的信息70%以上来自视觉，人类视觉为人类提供了关于周围环境最详细可靠的信息。 人类视觉所具有的强大功能和完美的信息处理方式引起了智能研究者的极大兴趣，人们希望以生物视觉为蓝本研究一个人工视觉系统用于机器人中，期望机器人拥有类似人类感受环境的能力。机器人要对外部世界的信息进行感知，就要依靠各种传感器。就像人类一样，在机器人的众多感知传感器中，视觉系统提供了大部分机器人所需的外部相界信息。因此视觉系统在机器人技术中具有重要的作用。 依据视觉传感器的数量和特性，目前主流的移动机器人视觉系统有单目视觉、双目立体视觉、多目视觉和全景视觉等。 单目视觉，单目视觉系统只使用一个视觉传感器。单目视觉系统在成像过程中由于从三维客观世界投影到N维图像上，从而损失了深度信息，这是此类视觉系统的主要缺点( 尽管如此，单目视觉系统由于结构简单、算法成熟且计算量较小，在自主移动机器人中已得到广泛应用，如用于目标跟踪、基于单目特征的室内定位导航等。同时，单目视觉是其他类型视觉系统的基础，如双目立体视觉、多目视觉等都是在单目视觉系统的基础上，通过附加其他手段和措施而实现的。 双目立体视觉。双目视觉系统由两个摄像机组成，利用三角测量原理获得场景的深度信息，并且可以重建周围景物的三维形状和位置，类似人眼的体视功能，原理简单。双目视觉系统需要精确地知道两个摄像机之间的空间位置关系，而且场景环境的3D信息需要两个摄像机从不同角度，同时拍摄同一场景的两幅图像，并进行复杂的匹配，才能准确得到立体视觉系统能够比较准确地恢复视觉场景的三维信息，在移动机器人定位导航、避障和地图构建等方面得到了广泛的应用用。然而，立体视觉系统的难点是对应点匹配的问题，该问题在很大程度上制约着立体视觉在机器人领域的应用前景。
视觉分拣总结 1.桌面找到Vision软件并打开 2.进入软件后将作业名称更改 3.点击作业下的编辑进入 4.进入后首先会出现ImageSource，如果有选择好的图片，选择图像数据库进入，需要拍 摄选择照相机选择好图像采集卡及视频格式后，点击初始化取向 设置如图所示（曝光可根据需要更改） 闪光灯和触发器里，因前期需拍照选择手动，执行程序时改成硬件自动 5.照相机设置完后点X退出，并点击文件下方三角标志图标拍摄照片
6. 照片拍摄完后，找到锤子图标添加模板，找到 双 击添加，再添加所需数量的 并添加如下链接，以修正坐标系 7. 点击 1出现如下图所示界面
A:点击抓取训练图像 B: 将Gurrent.InputImage更改为Gurrent.IrainImage更改完成后点击下方图片防止变动，此时图像左上方出现一个坐标系一个框 C:拖到框到任意一个方格上 拖动完后点击训练区域与原点，进入后选择中心原点点击，（坐标如不在中心位置可手动拖到方格中心）出现如下图所示时点击训练
备注：(训练区域与原点的区域形状可选对应物体形状标定) D:训练完成后，点击搜索区域，区域形状选择倒数第四个，图片上方选择Current.Input.Image，然后框选合适区域 E.点击运行查看结果
8.模板完成后打开标定工具，将图片坐标系修改为机器人坐标系 A:将模板里的XY值抄写到标定工具未校正XY值中 B:将九宫格中一个作为原点，在根据每个九宫格相距50，计算确定其他坐标系（注：1234是随机的需先确定是那个九宫格），点击计算校正，如下图所示：
从机器人的发展浅析视觉技术对未来科技的重要性(一) 2008年12月，日本安川电机公司研制的型号为SDA10的“摩托曼（Motoman）”煎饼机器人，在大阪的下一代机器人盛会上表演了在扁平烤盘里熟练地翻转和烹饪一种日本式煎饼的拿手好戏，吸引了众多参会者的注意。 Motoman煎饼机器人 而近日在荷兰召开的“高技术系统2015年事务与大会”上，欧洲一项历时4年的研究计划“RoboHow”项目也展示了他们的最新研究成果——一个叫做PR2的“煎饼机器人”，他能够接受命令设法做出煎饼和比萨。 PR2煎饼机器人 怎么回事，难道机器人技术在这七年的时间里没有任何的进步？为什么最前沿的产品仍然停留在制作煎饼这样低级的任务上呢？ 那么跟随维视图像，我们来对比一下这两款机器人的功能和特点吧。
首先看摩托曼（Motoman），它有着如人类一般的灵活性，胳膊可以一起或单独活动，可以准确的使用勺子铲子以及烧烤工具来制作菜肴，食物做熟之后可以放到盘子里。而且，它还能正确的使用调味品，甚至能组装精准度要求相当高的相机！同时，他也能做其它更为传统的工作，比如组装和包装重达20公斤的复杂东西。我们可以通过采用更高载重、更多关节、更快运行速度的硬件设备，来实现足够的操作范围和执行速度，让其实现更繁重、更复杂的工作。但本质上来说，这样的一款机器人是完全按照预先设定的指令来执行动作的，它只能按照给定的路径和坐标依次实现分解后的阶段性目标，从而逐步完成一整个大型的动作。也就是说，它不具备自主计算和处理数据的能力，只是一个力气大、灵活又听话的大块头机器而已。 而PR2呢，他更像是一个机器人技术研发平台，除了能自动执行复杂和指定的操作，我们还可以训练它理解语言和更多指令，可以扩展到让机器人能利用网络信息、经验学习，甚至观看人类行为就能学会新技能。一旦机器人掌握了与任务相关的一套特殊指令，它的知识就被加入到一个叫做“开放易用”（Open Ease）的在线数据库中，让其他机器人也能访问并理解。 现在就很清楚了，PR2比起摩托曼，简直如同拥有超级处理器大脑（同时兼具云共享数据库）的人类比起单细胞浮游生物一样，智能化程度有了巨大的提升。所以科学家们并没有偷懒，这七年的时间，他们为人类进步所做出的努力，是非常值得我们骄傲的，让我们对参加该项目的来自欧洲至少9所大学的研究人员致敬。 那么问题来了，是什么关键技术实现了这两者之间的突破呢？ 未完待续，请看下一章：从机器人的发展浅析视觉技术对未来科技的重要性(二)。
万方数据
万方数据
万方数据
万方数据
基于双目视觉的工业机器人运动轨迹准确度检测 作者：岁波， 都东， 陈强， 孙振国， 韩翔宇 作者单位：清华大学机械工程系,北京,100084 刊名： 机械工程学报 英文刊名：CHINESE JOURNAL OF MECHANICAL ENGINEERING 年，卷(期)：2003,39(5) 被引用次数：13次 参考文献(5条) 1.Yuan Jing;Yu S L End-effector position-orientation measurement[外文期刊] 1999(03) 2.Bijan Shimzadeh Laser-interferometry-based tracking for dynamic measurement[外文期刊] 1998(01) 3.McNamee L P;Petriu E M;Spoelder H J W Photogrammetric calibration of a mobile robot model[外文会议] 2001(01) 4.Van Albada G D Low-cost pose-measuring system for robot calibration[外文期刊] 1995(03) 5.Janocha H;Diewald B New methods of measuring and calibrating robots 1995 本文读者也读过(4条) 1.刘常杰.杨学友.邾继贵.叶声华.LIU Chang-jie.YANG Xue-you.ZHU Ji-gui.YE Sheng-hua基于工业机器人白车身柔性坐标测量系统研究[期刊论文]-光电子·激光2006,17(2) 2.谭冠政.徐雄.肖宏峰.TAN Guan-Zheng.XU Xiong.XIAO Hong-feng工业机器人实时高精度路径跟踪与轨迹规划[期刊论文]-中南大学学报(自然科学版)2005,36(1) 3.陈伟.钟健面向工业机器人系统的三种可靠度配置策略的研究[期刊论文]-光学精密工程2002,10(2) 4.黄晨华.张铁.谢存禧工业机器人位姿误差建模与仿真[期刊论文]-华南理工大学学报（自然科学版） 2009,37(8) 引证文献(16条) 1.李召鑫.李海峰.郑臻荣.刘旭立体视觉测量系统的空间分辨力和结构参数设置[期刊论文]-光电工程 2012(1) 2.张娅丽.刘波.解周凯.王晓白空中目标姿态测量中的图像处理方法[期刊论文]-科学技术与工程 2010(10) 3.郑魁敬.王连峰双目主动视觉监测平台设计[期刊论文]-计算机集成制造系统 2010(4) 4.张娅丽.刘波.解周凯.王晓白基于投影匹配的目标姿态测量方法研究[期刊论文]-传感技术学报 2010(6) 5.崔彦平.葛杏卫.张洪亮机械零件直线边缘亚像素定位方法研究[期刊论文]-半导体光电 2010(5) 6.基于双目视觉的飞行目标落地速度测量方法研究[期刊论文]-传感器与微系统 2009(8) 7.崔彦平.葛杏卫基于双目视觉的空间直线重建方法研究[期刊论文]-半导体光电 2009(6) 8.王健强.吕游一种面向工业机器人智能抓取的视觉引导技术研究[期刊论文]-机械设计与制造 2009(9) 9.宗光华.邓鲁华.王巍基于激光扫描的移动机器人实时轨迹测量系统[期刊论文]-航空学报 2007(4) 10.崔彦平.林玉池.黄银国双目视觉飞行目标落地参数测量[期刊论文]-光电工程 2007(8) 11.傅其凤.崔彦平.葛杏卫空间轴对称目标三维姿态测量方法的研究[期刊论文]-传感器与微系统 2007(3) 12.崔彦平.林玉池.黄银国回转体目标空间三维姿态测量方法研究[期刊论文]-传感技术学报 2007(1) 13.孙洪淋机器人视觉伺服系统的自适应模糊控制方法研究[学位论文]硕士 2006 14.刘苏宜.王国荣.钟继光视觉系统在机器人焊接中的应用与展望[期刊论文]-机械科学与技术 2005(11) 15.张国贤.陈强.张文增.汤晓华宏-微机器人微动机构研制[期刊论文]-焊接学报 2005(12)
机器人视觉（Robot Vision）简介 机器视觉系统的组成 机器视觉系统是指用计算机来实现人的视觉功能，也就是用计算机来实现对客观的三维世界的识别。按现在的理解，人类视觉系统的感受部分是视网膜，它是一个三维采样系统。三维物体的可见部分投影到网膜上，人们按照投影到视网膜上的二维的像来对该物体进行三维理解。所谓三维理解是指对被观察对象的形状、尺寸、离开观察点的距离、质地和运动特征（方向和速度）等的理解。 机器视觉系统的输入装置可以是摄像机、转鼓等，它们都把三维的影像作为输入源，即输入计算机的就是三维管观世界的二维投影。如果把三维客观世界到二维投影像看作是一种正变换的话，则机器视觉系统所要做的是从这种二维投影图像到三维客观世界的逆变换，也就是根据这种二维投影图像去重建三维的客观世界。 机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或显示。 将近80%的工业视觉系统主要用在检测方面，包括用于提高生产效率、控制生产过程中的产品质量、采集产品数据等。产品的分类和选择也集成于检测功能中。下面通过一个用于生产线上的单摄像机视觉系统，说明系统的组成及功能。 视觉系统检测生产线上的产品，决定产品是否符合质量要求，并根据结果，产生相应的信号输入上位机。图像获取设备包括光源、摄像机等；图像处理设备包括相应的软件和硬件系统；输出设备是与制造过程相连的有关系统，包括过程控制器和报警装置等。数据传输到计算机，进行分析和产品控制，若发现不合格品，则报警器告警，并将其排除出生产线。机器视觉的结果是CAQ系统的质量信息来源，也可以和CIMS其它系统集成。 图像的获取 图像的获取实际上是将被测物体的可视化图像和内在特征转换成能被计算机处理的一系列数据，它主要由三部分组成： ＊照明 ＊图像聚焦形成 ＊图像确定和形成摄像机输出信号
带有视觉识别模块的分拣机器人 传统的机器人分拣操作一般采用示教或离线编程方式，当机器人所处的工作环境发生改变时机器人很难即时作出相应的调整，为了使机器人具有更加智能化的功能，以阿童木并联机器人和工业智能相机为基础，组成一套带有视觉模块的机器人分拣系统。这样的分拣系统结合了并联型机器人和视觉模块两个方面的优势，通过视觉模块智能的识别不同的对象，系统可以完成高速的分拣工作，显著提升了机器人对工作环境的适应能力，提高了工作效率。同时，实验结果证明了该系统软硬件设计正确，分拣成功率高。 随着我们国家生产需求的不断增加，机器人越来越多的参与到各行各业的生产过程中来。其中，对工件的分拣作业是当前生产过程中的一个重要环节，传统的机器人分拣，其动作和目标的摆放位置都需要根据程序预先严格的设定。一旦机器人所处的环境有所改变，很容易导致抓取错误。本文模拟工业生产中的分拣作业环境，引入视觉模块，用摄像机来模拟人类的视觉功能来对待测的对象进行识别分类，可以使分拣作业拥有更高的可靠性和灵活性，作业对象以及分拣工序可以随时随地的变换，也提高了工作的效率和机器人的智能化程度。 1机器人系统组成介绍 我们设计的机器人分拣系统主要由并联机器人、视觉模块、传送带装置以及分拣对象组成，结构如图1所示： 1.1并联机器人 相比于其他工业机器人，并联机器人占用较小的空间，其更具有高速度、高精度、灵活性等特点，更能適合苛刻的工业生产需求。我们在实验中采用的是阿童木4轴并联型机器人，如图2所示，它能够完成空间中X、Y、Z方向的移动及角度的转动。除了并联型机器人本体之外，机器人配套设施还包括机器人控制柜、控制编程器和驱动机器人各关节运动的伺服交流电机。机器人末端执行机构为气动吸盘，用于吸附传送带上的分拣对象，完成抓取动作。 1.2 视觉模块 视觉模块我们采用康奈视公司的In-Sight7000型智能相机，如图3所示。该视觉模块能够智能的识别出实验中不同种类的实验对象，以及采集各个实验对象的位置信息。 1.3网络交换机 实验中，我们使用一般的家用路由器来替代网络交换机。视觉模块采集到的信息要通过局域网来络传递给机器人，因此我们要用到网络交换机来搭建局域网络，进而使各个模块间完成信息传输。
双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L和C R上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。 图1：立体视觉系统 3.双目立体视觉相关基本理论说明 3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐
浅谈机器人视觉技术 摘要 机器人视觉是使机器人具有视觉感知功能的系统，是机器人系统组成的重要部分之一。机器人视觉可以通过视觉传感器获取环境的二维图像，并通过视觉处理器进行分析和解释，进而转换为符号，让机器人能够辨识物体，并确定其位置。机器人视觉广义上称为机器视觉，其基本原理与计算机视觉类似。计算机视觉研究视觉感知的通用理论，研究视觉过程的分层信息表示和视觉处理各功能模块的计算方法。而机器视觉侧重于研究以应用为背景的专用视觉系统，只提供对执行某一特定任务相关的景物描述。机器人视觉硬件主要包括图像获取和视觉处理两部分，而图像获取由照明系统、视觉传感器、模拟－数字转换器和帧存储器等组成。本文介绍了机器人的发展以及视觉计算理论和视觉的关键技术。 关键词：机器人、视觉、计算、关键技术 一、机器人发展概述 科学技术的发展,诞生了机器人。社会的进步也提出要求,希望创造出一种能够代替人进行各种工作的机器,甚至从事人类不能及的事情。自从1959年诞生第一台机器人以来,机器人技术取得了很大的进步和发展,至今已成为一门集机械、电子、计算机、控制、传感器、信号处理等多学科门类为一体的综合性尖端科学。当今机器人技术的发展趋势主要有两个突出的特点:一个是在横向上,机器人的应用领域在不断扩大,机器人的种类日趋增多;另一个是在纵向上,机器人的性能不 断提高,并逐步向智能化方向发展。前者是指应用领域的横向拓宽,后者是在性能及水平上的纵向提高。机器人应用领域的拓宽和性能水平的提高,二者相辅相成、相互促进。 智能机器人是具有感知、思维和行动功能的机器,是机构学、自动控制、计算机、人工智能、微电子学、光学、通讯技术、传感技术、仿生学等多种学科和技术的综合成果阎。智能机器人可获取、处理和识别多种信息,自主地完成较为复杂的操作任务,比一般的工业机器人具有更大的灵活性、机动性和更广泛的应用领域。要使机器人拥有智能,对环境变化做出反应,首先,必须使机器人具有感知
龙源期刊网 https://www.doczj.com/doc/d017001834.html, 带有视觉识别模块的分拣机器人 作者：李德民王诗宇王嘉乐 来源：《知识文库》2018年第05期 传统的机器人分拣操作一般采用示教或离线编程方式，当机器人所处的工作环境发生改变时机器人很难即时作出相应的调整，为了使机器人具有更加智能化的功能，以阿童木并联机器人和工业智能相机为基础，组成一套带有视觉模块的机器人分拣系统。这样的分拣系统结合了并联型机器人和视觉模块两个方面的优势，通过视觉模块智能的识别不同的对象，系统可以完成高速的分拣工作，显著提升了机器人对工作环境的适应能力，提高了工作效率。同时，实验结果证明了该系统软硬件设计正确，分拣成功率高。 随着我们国家生产需求的不断增加，机器人越来越多的参与到各行各业的生产过程中来。其中，对工件的分拣作业是当前生产过程中的一个重要环节，传统的机器人分拣，其动作和目标的摆放位置都需要根据程序预先严格的设定。一旦机器人所处的环境有所改变，很容易导致抓取错误。本文模拟工业生产中的分拣作业环境，引入视觉模块，用摄像机来模拟人类的视觉功能来对待测的对象进行识别分类，可以使分拣作业拥有更高的可靠性和灵活性，作业对象以及分拣工序可以随时随地的变换，也提高了工作的效率和机器人的智能化程度。 1机器人系统组成介绍 我们设计的机器人分拣系统主要由并联机器人、视觉模块、传送带装置以及分拣对象组成，结构如图1所示： 1.1并联机器人 相比于其他工业机器人，并联机器人占用较小的空间，其更具有高速度、高精度、灵活性等特点，更能适合苛刻的工业生产需求。我们在实验中采用的是阿童木4轴并联型机器人，如图2所示，它能够完成空间中X、Y、Z方向的移动及角度的转动。除了并联型机器人本体之外，机器人配套设施还包括机器人控制柜、控制编程器和驱动机器人各关节运动的伺服交流电机。机器人末端执行机构为气动吸盘，用于吸附传送带上的分拣对象，完成抓取动作。 1.2 视觉模块 视觉模块我们采用康奈视公司的In-Sight7000型智能相机，如图3所示。该视觉模块能够智能的识别出实验中不同种类的实验对象，以及采集各个实验对象的位置信息。 1.3网络交换机
双目视觉成像原理
双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L和C R上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。
图1：立体视觉系统 3.双目立体视觉相关基本理论说明 3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目 立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b 。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f 处，这个虚拟的图像平面坐标系O1uv 的u 轴和v 轴与和摄像机坐标系的x 轴和y 轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P 在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P 图像坐标的Y 坐标相同，即v1=v2。由三角几何关系得到: c c 1z x f u = c c 2z ）b -x （f u = v 1 c c 21z y f v v ==
双目立体视觉的水下应用 从图像预处理、相机标定、立体匹配三个方面论述了双目视觉在水下场景的应用，比较了与空气环境中应用的不同，对水下双目视觉发展趋势做了分析。 标签：水下双目视觉；相机标定；立体匹配 Abstract：This paper discusses the application of binocular vision in underwater scene from three aspects of image preprocessing，camera calibration and stereo matching，compares the application of binocular vision with that in air environment，and analyzes the development trend of underwater binocular vision. Keywords：underwater binocular vision；camera calibration；stereo matching 引言 双目立体视觉技术利用视差理论恢复像素的深度信息和三维坐标，通过获取左右两个视角下同时采集的两幅图像恢复三维场景信息，还原真实的三维世界，为导航提供目标的位置信息描述，是被动式视觉测量技术的一种。作为计算机视觉的一个重要分支，双目立体视觉技术模型简洁，运算高效，有着广阔的应用前景。而随着海洋科学技术的发展和人类对海洋资源探索的逐渐深入，双目视觉技术逐渐被应用到海洋探测，在对水下目标的监控、海底地形测绘、海流测量、水下军事设施的探测和侦查等方面都有着广泛的应用。 双目立体视觉系统模拟人眼，通过三角测量原理来获取图像的视差，进而得到目标三维信息，一般由以下几个功能模块组成：图像采集，相机标定，立体匹配，三维重建。常规的双目视觉大多是在单一介质的空气中，而由于水下环境的特殊性，往往存在光的散射，吸收效应等不利因素的干扰，相关技术方法也应随环境作适应性调整。本文从图像处理，相机标定，立体匹配这三个方面在水下场景的应用做了论述，阐明了与单一空气介质环境中的不同，并对水下双目立体视觉技术的发展做了展望。 1 成像模型 双目立体视觉用到的模型一般是线性的针孔模型，该模型是双目立体视觉中成像的基本模型，将相机理想化，并把空间点投影视为中心，投影未考虑镜头畸变和环境等其他因素，所以也叫线性摄像机模型。而水下成像模型则是考虑到折射的影响，对此做相应补偿和修正。 在双目立体视觉系统中，为了研究空间点和像点的投影关系，通常会用到4个坐标系：世界坐标系OW-XWYWXW、相机坐标系O-xyz、图像物理坐标系O-XY和图像像素坐标系Of-uv。
课程名称: 机器人技术及视觉学院: 机电工程学院专业: 仪器仪表工程姓名: ** 学号:
0.引言 近年来，随着科学技术的发展，机器人的应用日趋广泛，联合国标准化组织采纳了美国机器人协会给机器人下的定义：“一种可编程和多功能的操作机；或是为了执行不同的任务而具有可用电脑改变和可编程动作的专门系统。”而移动机器人作为机器人学中的一个重要分支，是一个集环境感知、动态决策与规划、行为控制与执行等多功能于一体的综合系统。 移动机器人融合运动控制与执行、动态决分析、感知环境等功能于一体。移动机器人是机电一体化技术与产品的典型代表，其涵盖了机械设计技术、电子技术、计算机技术、传感器技术、信息处理及自动化控制工程等多项技术，在科学技术领域较为活跃。由于科研人员对机器人的研究越来越深入，机器人的各项指标和要求逐步实现，其应用范围也愈加广泛，普遍应用于工、农、医、服务等民用领域，而且在防恐防暴、军事和外空探测等领域也到达不可替代的作用。 移动机器人可以在条件复杂的环境中工作，具有自主能力的机器人，集中了机械、电子。计算机等技术。机器人学是一门学科交叉的综合性学科，机器人技术在工业领域显得尤为重要，可以说现代的工业发展离不开机器人技术。基本的机器人由执行机构、控制系统、驱动装置、检测装置等四个主要的模块组成。 移动机器人在工业、农业、医疗、军事、服务等领域的价值不言而喻，而在外太空探测、海洋资源开发、核能开发等领域的应用前景极为明朗。机器人按应用的场合和性质不同主要分为民用机器人、工业机器人、军事机器人和探索机器人等四类。 2014年巴西世界杯，对于治安混乱的里约热内卢来说，赛事安全成为一大隐患。为了应对安保挑战，巴西政府一次性采购了30台iRobot公司生产的小型军用机器人Packbot（图1）用于安保工作。而在此之前，该军用机器人已在各地大批的服役，在爆炸物探测与清除、危险物质侦测、放射性和核侦查及危险物品处置等方面表现异常出色，拯救无数生命。 移动机器人的应用十分广泛，极大地解放劳动力，创造了更大的价值，如工厂的流水线。移动机器人在外太空探测时也是极为重要的。美国和前苏联的外太空探测机器人技术水平很高，这两个国家多次对月球表面进行了探测，如美国的Apollo号登月飞船和前苏联的Lunokhod探测车都登上了月球，出色的完成探测
机器人视觉与计算机视觉：有什么不同? By Alex 机器人视觉、计算机视觉、图像处理、机器视觉和图形识别，这几者之间到底有神马区别呢？ 要弄清楚他们哪一个是哪一个，有时候也真的是容易混淆的。接下来看看这些术语的具体含义是什么，以及他们与机器人技术有什么关联。读了这篇文章后，你就再也不会被这些概念弄糊涂了！ 当人们有时候谈论机器人视觉的时候，他们搞混淆了。当他们说，他们正在使用“计算机视觉”或“图像处理”的时候，实际上，他们的意思是正在使用…机器视觉?，这是一个完全可以理解的错误。因为，所有不同术语之间的界限有时候也是有些模糊的。 在这篇文章当中，我们分解了机器人视觉的“族谱”，以显示在更广泛的信号处理领域所在的位置。 什么是机器人视觉(Robot Vision)？ 在基本术语中，机器人视觉涉及使用相机硬件和计算机算法的结合，让机器人处理来自现实世界的视觉数据。例如，您的系统可以使一个二维摄像头，检测到机器将拿起来的一个对象物。更复杂的例子可能是使用一个3D立体相机来引导机器人将车轮安装到一个以移动中的车辆上。 如果没有机器视觉，你的机器人基本上是个瞎子。对一些机器人任务来说，这也许不是一个问题。但对于某些应用来说，机器人视觉是有帮助的，甚至是必不可少的。 机器人视觉(Robot Vision)的“族谱” 机器人视觉与机器视觉密切相关，机器视觉我们稍后再介绍。他们两个又都与计算机视觉密切相关。如果他们谈论的是一个“族谱”，计算机视觉可以看作是他们的“父母”。然而，为了详细的了解他们在整个系统中的位置，我们要更进一步介绍他们的“祖父母”-信号处理。 族谱 信号处理(Signal Processing)
双目立体视觉技术的实现及其进展 摘要：阐述了双目立体视觉技术在国内外应用的最新动态及其优越性。指出双目体视技术的实现分为图像获取、摄像机标定、特片提取、立体匹配和三维重建几个步骤，详细分析了各个步骤的技术特点、存在的问题和解决方案，并对双目体视技术的发展做了展望。 关键词：双目立体视觉计算机视觉立体匹配摄像机标定特征提取 双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅国像中的视差，获得该点的三维坐标值。80年代美国麻省理工学院人工智能实验室的Marr提出了一种视觉计算理论并应用在双睛匹配上，使两张有视差的平面图产生在深度的立体图形，奠定了双目立体视觉发展理论基础。相比其他类的体视方法，如透镜板三维成像、投影式三维显示、全息照相术等，双目本视直接模拟人类双眼处理景物的方式，可靠简便，在许多领域均极具应用价值，如微操作系统的位姿检测与控制、机器人导航与航测、三维测量学及虚拟现实等。 1 双目体视的技术特点 双目标视技术的实现可分为以下步骤：图像获取、摄像机标定、特征提取、图像匹配和三维重建，下面依次介绍各个步骤的实现方法和技术特点。 1.1 图像获取 双目体视的图像获取是由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，获取立体图像对。其针孔模型如图1。假定摄像机C1与C2的角距和内部参数都相等，两摄像机的光轴互相平行，二维成像平面X1O1Y1和X2O2Y2重合，P1与P2分别是空间点P在C1与C2上的成像点。但一般情况下，针孔模型两个摄像机的内部参数不可能完成相同，摄像机安装时无法看到光轴和成像平面，故实际中难以应用。 上海交大在理论上对会摄式双目体视系统的测量精度与系统结构参数之间的关系作了详尽分析，并通过试验指出，对某一特定点进行三角测量。该点测量误差与两CCD光轴夹角是一复杂的函数关系；若两摄像头光轴夹角一定，则被测坐标与摄像头坐标系之间距离越大，测量得到点距离的误差就越大。在满足测量范围的前提下，应选择两CCD之间夹角在50℃～80℃之间。 1.2 摄像机的标定 对双目体视而言，CCD摄像机、数码相机是利用计算机技术对物理世界进行重建前的基本测量工具，对它们的标定是实现立体视觉基本而又关键的一步。通常先采用单摄像机的标定方法，分别得到两个摄像机的内、外参数；再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。目前常用的单摄像机标定方法主要有： （1）摄影测量学的传统设备标定法。利用至少17个参数描述摄像机与三维物体空间的结束关系，计算量非常大。 （2）直接线性变换性。涉及的参数少、便于计算。 （3）透视变换短阵法。从透视变换的角度来建立摄像机的成像模型，无需初始值，可进行实时计算。 （4）相机标定的两步法。首先采用透视短阵变换的方法求解线性系统的摄像机参数，再以求得的参数为初始值，考虑畸变因素，利用最优化方法求得非线性解，标定精度较高。 （5）双平面标定法。 在双摄像机标定中，需要精确的外部参数。由于结构配置很难准确，两个摄像机的距离
机器人视觉系统的组成及工作原理 【摘要】随着大规模集成电路技术的发展，视觉系统逐渐走向实用化。由于微型计算机的飞速发展，使用的视觉系统已经进入领域，其中机器人视觉系统是机器视觉应用的一个重要领域。本文叙述机器人视觉系统的各部分组成，及各部分组成的工作原理。 【关键词】CCD；视频数字；信号处理器 1.机器人视觉系统的硬件系统 1.1机器人视觉系统的硬件由下述几个部分组成 (1)景物和距离传感器常用的摄像机、CCD图像传感器、超声波传感器和结构光设备等。 (2)视频信号数字化设备其任务是把摄像机或CCD输出的信号转换成方便计算和分析的数字信号。 (3)视频信号快速处理器，视频信号实时、快速、并行算法的硬件实现设备：如DSP系统。 (4)计算机及其外设根据系统的需要可以选用不同的计算机及其外设来满足机器人视觉信息处理及机器人控制的需要。 (5)机器人或机械手及其控制器。 1.2机器人视觉的软件系统有以下几个部分组成 (1)计算机系统软件选用不同类型的计算机，就有不同的操作系统和它所支持的各种语言、数据库等。 (2)机器人视觉信息处理算法图像预处理、分割、描述、识别和解释等算法。 (3)机器人控制软件。 https://www.doczj.com/doc/d017001834.html,D原理 视觉信息通过视觉传感器转换成电信号，在空间采样和幅值化后，这些信号就形成了一幅数字图像。机器人视觉使用的主要部分是电视摄像机，它由摄像管或固态成像传感器及相应的电子线路组成。这里我们只介绍光导摄像管的工作原理，因为它是普遍使用的并有代表性的一种摄像管。固态成像传感器的关键部分有两种类型：一种是电荷耦合器件(CCD)；另一种是电荷注入器件(CID)。与具有摄像管的摄像机相比，固态成像器件重量轻、体积小、寿命小、功耗低。不过，某些摄像管的分辨率仍比固态摄像机高。光导摄像管外面是一圆柱形玻璃外壳2，内部有位于一端的电子枪7以及位于另一端的屏幕1和靶。加在线圈6、9上的电压将电子束聚焦并使其偏转。偏转电路驱使电子束对靶的内表面扫描以便“读取”图像。玻璃屏幕的内表面镀有一层透明的金属薄膜，它构成一个电极，视频信号可从此电极上获得。一层很薄的光敏“靶”附着的金属膜上，它是一层由一些极小的球状体组成，球状的电阻反比于光的强度。在光敏靶的后面有一个带正电荷的细金属网，它使电子枪发射出的电子减速，以接近于0的速度达到靶面。在正常工作时，将正电压加在屏幕的金属镀膜上。在无光照时，光敏材料呈现绝缘体特性，电子束在靶的内表面上形成一个电子层以平衡金属膜上的正电荷。当电子束扫描靶内表面时，光敏层就成了一个电容器，其内表面具有负电荷，而另一面具有正电荷。光投射到靶层，它的电阻降低，使得电子向正电荷方向流动并与之中和。由于流动的电子电荷的数量正比于投射到靶的某个局部区域上的光的强度，因此其效果是在靶表面上形成一幅图像，该图像与摄像管屏幕上的图像亮
新疆大学研究生课程考查论文2014 ——2015 学年第1学期 《基于颜色识别的机器人目标跟踪系统》 课程名称：机器人技术 任课教师：袁杰 学院：电气工程学院 专业：控制科学与工程 学号：107551300875 姓名：吴冰冰 成绩：
1 研究背景 当今世界各个国家和地区都在注重科技的发展，因为社会的进步最根本的推动力就是科技的发展，小平同志曾经说过“科学技术是第一生产力”，所以社会的进步还要很大程度依赖于科技的发展[1]。 计算机的发展正在改变着世界，在计算机科学中，机器人的研究一直在受到各界的关注，国内外都在发展这方面的技术，在许多领域中机器人技术都发挥着关键的作用[2]。比如在军事领域中，机器人可以代替人完成人类不可能完成的任务，像机器人侦查，机器人排爆等，还有一类最为关键的机器人被安装在无人机上，进行军事侦察和军事打击，据统计，阿富汗和巴基斯坦等地区每年死于无人机轰炸的人数非常庞大。 在农业领域，水果生产过程中采摘的工作量最大，大约占全部劳动量的42%左右，因此为了提高生产效益、将农民从繁重的采摘作业中解放出来，人们发明了果实收获机器人。多年来国内外大量的科技工作者致力于收获机器人视觉系统的研究工作。农业收获机器人研究方面美国开始最早，日本发展最快[3]。 在航天领域里，机器人被多次派遣到外太空执行任务，世界上第一个探测机器人是由前苏联研制而出，在上世纪七十年代，苏联人就把月球一号带到了月球之上，为后来的探月之旅打下了坚实的基础。此后“水手4号”、“火星1号”、“火星2号”、“勇气号”、“相遇号”先后登陆火星。 目标跟踪在计算机视觉领域具有重要地位，同时目标跟踪技术还与其他的计算技术发展有着密切的联系，如基于运动分析的识别、人机交互等。随着目标跟踪的物体和环境越来越复杂，准确的跟踪目标己经被关注。其核心是通过识别物体的特征计算出物体轨迹的概率，目前运用数据关联进行这方面的计算己经相当成熟。国内的目标跟踪技术不只局限于单模型，有必要同时采用多个模型描述被跟踪物体的状态[4-5]。 颜色识别同样是机器视觉的重要应用部分，通过一定的算法来实现物体表面颜色特制的差异，进而加以区分不同的颜色。 2 机器人发展历程及研究现状 机器人的研究领域一直以来都是科研工作者研究的热点问题。很多成熟的机器人产品研究在很多领域得到了应用。 2.1 机器人的发展历程 智能机器人是最复杂的机器人，人类已经付出了一百多年的努力[6]。1910年捷克斯洛伐克作家卡雷尔·恰佩克在他的科幻小说中创造出“机器人”这个词。1911年美国纽约世博会上展出了西屋电气公司制造的家用机器人Elektro。
双目立体视觉 双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。现说明介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率。 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi 语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论说明 1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到: 上式中（xc，yc，zc）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u1，v1）和（u2，v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差: 图1 双目立体成像原理图图3 一般双目立体视觉系统原理图
双目立体视觉技术简介 1. 什么是视觉 视觉是一个古老的研究课题，同时又是人类观察世界、认知世界的重要功能和手段。人类从外界获得的信息约有75%来自视觉系统，用机器模拟人类的视觉功能是人们多年的梦想。视觉神经生理学，视觉心里学，特别是计算机技术、数字图像处理、计算机图形学、人工智能等学科的发展，为利用计算机实现模拟人类的视觉成为可能。在现代工业自动化生产过程中，计算机视觉正成为一种提高生产效率和检验产品质量的关键技术之一，如机器零件的自动检测、智能机器人控制、生产线的自动监控等;在国防和航天等领域，计算机视觉也具有较重要的意义，如运动目标的自动跟踪与识别、自主车导航及空间机器人的视觉控制等。人类视觉过程可以看作是一个从感觉到知觉的复杂过程，从狭义上来说视觉的最终目的是要对场景作出对观察者有意义的解释和描述；从广义上说，是根据周围的环境和观察者的意愿，在解释和描述的基础上做出行为规划或行为决策。计算机视觉研究的目的使计算机具有通过二维图像信息来认知三维环境信息的能力，这种能力不仅使机器能感知三维环境中物体的几何信息(如形状、位置、姿态运动等)，而且能进一步对它们进行描述、存储、识别与理解，计算机视觉己经发展起一套独立的计算理论与算法。 2. 什么是计算机双目立体视觉 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像，如图一。 图一、视差（Disparity）图像 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。 双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系