下载文档原格式
双目立体视觉测距软件设计与评测摘要：双目立体视觉测距技术是一种利用两只摄像头来模拟人类双眼视觉，从而实现对物体距离的测量的技术。
在此基础上，设计了一种双目立体视觉测距软件，并对其进行了评测。
本文主要介绍了双目立体视觉测距软件的设计原理、功能特点和技术指标，以及对其进行了实验评测和性能分析。
评测结果表明，该软件具有较高的测距精度和可靠性，可适用于各种实际应用中。
一、引言双目立体视觉是指通过两只摄像头模拟人类双眼的视觉，从而实现对物体的距离、深度等信息的获取。
双目立体视觉测距技术已经在机器人导航、无人驾驶、虚拟现实等领域得到了广泛应用。
为了方便研究人员和工程师使用这一技术，设计了一种双目立体视觉测距软件，并对其进行了评测。
二、双目立体视觉测距软件的设计原理双目立体视觉测距软件的设计原理是基于双目视觉系统的工作原理。
双目视觉系统由左右两只摄像头组成，分别捕捉到左右两幅图像，并通过计算机进行图像处理和分析，最终实现对物体的距离、深度等信息的获取。
软件的设计原理包括以下几个方面：1. 图像采集和预处理：软件首先需要通过左右两只摄像头分别捕捉到左右两幅图像，并进行预处理，如灰度校正、去噪等。
2. 视差计算：通过对左右两幅图像进行特征匹配和视差计算，得到物体在图像中的视差信息。
3. 距离计算：根据视差信息和摄像头的参数，通过三角测量等方法计算得到物体的距离、深度等信息。
4. 显示和输出：软件将测距结果显示在计算机屏幕上，并可以通过接口输出到其他设备中。
三、双目立体视觉测距软件的功能特点双目立体视觉测距软件具有如下功能特点：1. 高精度：软件采用了先进的图像处理和算法技术，具有较高的测距精度，并可以满足不同场景下的测距要求。
2. 实时性：软件能够实时捕捉图像并进行测距计算，能够适用于需要实时响应的应用场景。
3. 多种接口：软件支持多种数据接口，可以方便地与其他设备进行数据交换和通信，如串口、网络等。
4. 友好界面：软件具有友好的用户界面，支持用户对软件的参数设置和操作，便于使用和管理。
基于双目视觉的工程车辆定位与行驶速度检测同志学;赵涛;贺利乐;王消为【摘要】针对工程车辆行驶速度低、滑转率高的特点,提出了一种基于双目序列图像的检测方法,以便快速检测工程车辆的相对位置与实际行驶速度.将双目摄像机安装在车辆上,连续采集周围环境的序列图像;利用SURF(speeded up robust features)特征对已采集到的各帧双目图像进行立体匹配,计算出环境特征点到摄像机坐标系原点的距离,从而实现车辆的相对定位;再对相邻两帧图像进行特征跟踪匹配,根据不同景深将匹配特征点对划分为远距点对和近距点对,分别利用远距点对和近距点对估算车辆运动过程中坐标系的旋转矩阵和平移矢量,并利用Levenberg-Marquardt法进行优化求解;最后根据优化后的旋转矩阵和平移矢量计算出车辆的行驶速度.户外模拟试验结果表明了方法的有效性和可行性.%According to the characteristics of low speed and high slip ratio of construction vehi-cles,a method was proposed based on binocular sequence images in order to quickly detect the relative positions and actual speeds of the vehicles.The vehicle-borne binocular vision sensors were used to collect the image sequences of the surrounding environments continuously.And the distances from the environment feature points to the origins of the camera coordinate systems were calculated through matching the captured each frame binocular images using speeded up robust features(SURF),so as to achieve vehicle relative locations.Meanwhile,the feature points of two adjacent frames were tracked and matched based on SURF,and the matching feature points were divided into far points and near points according to different depths of the fields.The rotation matrix andtranslation vector of the co-ordinate systems in vehicle motions were calculated by using the far points and the near points respec-tively,and then optimized them by Levenberg-Marquardt method.Finally,the velocities of the vehi-cles were estimated according to optimized rotational matrices and translation vectors.The results of outdoor simulation test show the effectiveness and feasibility of the proposed method.【期刊名称】《中国机械工程》【年(卷),期】2018(029)004【总页数】6页(P423-428)【关键词】双目视觉;序列图像;特征跟踪匹配;自车速度估计【作者】同志学;赵涛;贺利乐;王消为【作者单位】西安建筑科技大学机电工程学院,西安,710055;西安建筑科技大学机电工程学院,西安,710055;西安建筑科技大学机电工程学院,西安,710055;西安建筑科技大学机电工程学院,西安,710055【正文语种】中文【中图分类】TP216;TP3910 引言工程车辆作业时的实际行驶速度及相对于作业环境的位置信息对车辆控制至关重要，如何快速检测这些运动参数是值得研究的。
昆虫自由飞行参数的双棱镜虚拟双目测量
胡劲松;程鹏;续伯钦
【期刊名称】《实验力学》
【年(卷),期】2007(22)5
【摘要】通过像机前加一个双棱镜实现单像机的虚拟双目拍摄,根据立体视觉原理可以获取空间点三维信息,该装置被用于测量昆虫自由飞行运动参数。
如果双棱镜和像机摆放得当,可以简化立体视觉测量中对应点匹配这一最难步骤。
实验获得了蜻蜓直飞过程中的一系列运动参数,将这些参数结合起来考察对于研究昆虫飞行机理非常有意义。
特别地,我们对昆虫飞行中翅膀的柔性效应进行了初步讨论。
【总页数】8页(P511-518)
【关键词】双棱镜;立体视觉;自由飞行;三维重构
【作者】胡劲松;程鹏;续伯钦
【作者单位】中国科学技术大学近代力学系
【正文语种】中文
【中图分类】O348
【相关文献】
1.基于虚拟四目的立体视觉固定飞行昆虫运动参数测量系统 [J], 王颖;张广军;陈大志
2.虚拟立体视觉自由飞行昆虫运动参数测量系统 [J], 王颖;张广军;尚鸿雁
3.双目视觉飞行目标落地参数测量 [J], 崔彦平;林玉池;黄银国
4.虚拟多结构光自由飞行昆虫运动参数测量系统 [J], 王颖;王建林
5.9自由度会聚双目立体视觉的虚拟飞行导航 [J], 李自力;夏学知;刘玉亮;彭复员;石雄
因版权原因，仅展示原文概要，查看原文内容请购买。
基于双目视觉机器人自定位与动态目标定位卢洪军【摘要】Aiming at the fact that, the mobile robot based on binocular vision is very easy to be disturbed by the complex environment, such as the influence of noise, illumination change and the occlusion of the robot, which will seriously affect the positioning accuracy of the self localization and the moving objects, the color feature of the HSV model is proposed to accurately segment the artificial landmarks, and the robot position is determined according to the principle of parallax.A method was proposed based on Harris operator which is accurate to the position of a moving object in a complex environment.The dynamic object is detected by the frame difference method.Harris operator was used to extract the feature points on the moving objects, so as to obtain the disparity value, and then to calculate the position of the moving objects.The experimental results show that the self localization and target localization can overcome the external disturbance and have strong adaptability by using this method.The algorithm has good real-time performance.%针对基于双目视觉自定位与动态目标定位极易受复杂环境(如噪声、机器人发生遮挡、光照变化等)的干扰导致移动机器人定位精度低的问题,提出基于HSV颜色模型特征准确分割出人工路标,根据视差原理确定机器人位置.同时提出一种双目机器人基于Harris算子实现在复杂环境下对动态目标精确定位的方法,利用帧间差分法将运动目标检测出来,采用Harris算子在该运动目标上提取特征点,并获得视差值,从而精确的计算出运动目标的位置.实验结果表明,利用该方法进行自定位与目标定位能够克服外界干扰,具有较强的适应性,且算法的实时性好.【期刊名称】《沈阳大学学报》【年(卷),期】2017(029)001【总页数】6页(P37-42)【关键词】双目视觉;目标定位;Harris算子;帧间差分法;HSV模型【作者】卢洪军【作者单位】沈阳工业大学信息科学与工程学院, 辽宁沈阳 110870【正文语种】中文【中图分类】TP391.420世纪末,对目标定位技术主要有基于红外线的定位技术、基于超声波的定位技术和基于频射识别技术等[1].近年来,由于图像处理和计算机视觉的飞速发展,机器视觉的研究越来越受到广大专家和学者的青睐[2].双目立体视觉是机器视觉的一个重要分支,能够直接模仿人类双眼处理外界环境[3],可以代替人类完成危险的工作(如深海探测、火灾救援、核泄漏监测等)[4].而基于双目立体视觉对动态目标检测与定位也是机器视觉领域备受关注的前沿课题之一[5].双目立体视觉定位主要分为六个步骤[6]:①图像获取;②图像预处理;③摄像机标定;④特征点提取;⑤特征点的立体匹配获取视差值;⑥基于视差原理实现机器人定位.特征点提取和立体匹配是实现机器人定位的关键环节.通常的方法是依靠目标的形状、颜色等特征检测目标,并以运动物体的形心或中心作为特征点[7].该方法虽然计算简单,但极易受噪声干扰,只选择一个点作为特征点,一旦该特征点发生遮挡或光照变化等,都会严重影响定位精度.1977年,Moravec提出根据图像的灰度变化来提取图像角点,称为Moravec角点[8].该方法计算相对简单,但对于处于边缘上的点会存在误检,也极易受光照变化的影响.SIFT特征点[9]和CenSurE特征点[10]虽然对尺度、亮度变化不敏感,但在弱纹理等复杂情况下难以提取稳定的特征点,算法复杂度高,计算时间较长.不满足移动机器人对实时性的要求.针对以上缺陷,本文首先利用帧间差分法检测出运动目标,然后在运动目标上基于Harris算法提取多个特征点来实现移动机器人在复杂环境下实时的对运动目标精确定位.机器人整体定位流程如图1所示,移动机器人首先基于HSV颜色模型空间分割出人工路标,实现机器人自定位.然后利用帧间差分法检测出运动目标,根据Harris算法在左右两幅图像上提取特征点,根据区域匹配原理获取视差值,利用视差原理即可求出运动目标的世界坐标,即完成了对运动目标的定位.1.1 人工路标检测(1) HSV颜色模型.RGB色彩空间分别以红色、绿色、蓝色为三原色,通过适当的搭配可以合成成千上万种颜色,是一种常见的颜色表示法.但是RGB色彩空间与人眼的感知差异大,其空间的相似不代表实际颜色的相似.为了能够更准确分割出人工路标,本文采用HSV色彩空间颜色模型,如图2所示.RGB颜色空间转化到HSV色彩空间只是一个简单的非线性变换,计算简单.HSV模型中H代表色调,S代表饱和度,并且独立于亮度信息V.色调H代表颜色信息,取值范围为0～180°,对其设定阈值可以区分不同颜色的路标;饱和度S表示颜色中掺杂白色的程度,取值范围为0～1,S 越大,颜色越深;亮度V表示颜色的明暗程度,取值范围为0～1,V越大,物体亮度越高.(2) 基于颜色特征提取人工路标.由于本文是在室内环境下对移动机器人定位,所以本文设计的人工路标是由红黄蓝三种颜色组成的矩形纸板.如图3a所示为左摄像机拍摄到的带有人工路标的室内环境.根据HSV颜色模型对H、S、V三个分量进行阈值设置即可分割出人工路标,如图3b所示.然后利用图像处理中的形态学操作对分割出的路标进行完善使其效果最佳,如图3c所示.图3d为获取人工路标的中心点,利用视差原理即可得到当前帧机器人的位置.1.2 帧间差分法帧间差分法[11]的思想是对一段连续视频的相邻两帧进行差分运算,从差分运算的结果中得到运动目标的轮廓.该算法的优点是实现简单,对光照变化不敏感,稳定性好.适用于多目标或背景变化较快的场合.图4为在室内环境下用帧间差分法检测到运动物体.结果显示,帧间差分法能够有效的将运动目标检测出来.2.1 双目立体视觉测距原理双目立体视觉的视差原理[12]是利用两台摄像机从两个视点观察同一景物,以获取在不同视角下的感知图像,通过计算空间点在两幅图像中的视差来获取目标物体的三维坐标.2.2 Harris角点检测Harris角点[13]是在Moravec角点的基础进行改进的算法. Harris算子是用高斯函数代替二值窗口函数, 对离中心点越远的像素赋予越小的权重, 以减少噪声的影响. 高斯函数如式(1)所示.Moravec算子只考虑了四个方向的像素值,Harris算子则用Taylor展开式去近似任意方向.图像I(x,y)平移(Δx,Δy)可以一阶近似为在图像I(u,v)中,像点(u,v)平移(Δx,Δy)后的自相关函数为将式(2)代入式(3)可得:其中M如下所示:根据式(5)中矩阵M的特征值可以近似的表示函数C(x,y)的变化特征.矩阵M的特征值需要考虑以下三种情况,如图5所示.(1) 如果矩阵M的两个特征值都比较小,则表征图像灰度变化函数C(x,y)的值也较小,就说明该像素点的邻域内灰度差值不大,图像较平滑,无角点.(2) 如果矩阵M的两个特征值一个较大,一个较小,说明该像素点的曲率也是如此,则该点的窗口区域处于一条边界,无角点.(3) 如果矩阵M的两个特征值都比较大,则图像灰度变化的自相关函数值也较大,该点的窗函数沿任意方向都将引起灰度的剧烈变化,该点即为角点.根据这一准则,只要计算行列式的特征值就可以检测图像中的哪些点是角点.Harris 提出角点的响应函数:det(M)为行列式的值,trace(M)为行列式的迹.而k根据Harris的建议一般取0.04～0.06之间.若Harris角点响应大于阈值,则被认为是角点.Harris角点的生成只涉及到一阶导数,所以该角点对噪声影响、光照变化引起的灰度值变化都不敏感,是一种比较稳定的特征提取算子.3.1 实验环境本文使用的机器人是由北京博创兴盛技术有限公司开发的自主移动机器人旅行家Ⅱ号,如图6所示.该机器人上安装了由加拿大Point Grey Research公司生产的Bumblebee2双目摄像机,其性能参数如表1所示.3.2 传统移动机器人对运动目标定位实验环境为一间办公室,装有双目摄像机Bumblebee2的移动机器人为工作机器人,用于检测运动目标.将另一台机器人视为运动目标,运动速度为0.1 m/s.传统的方法是提取运动目标的中心点,获取视差值,从而给运动目标定位.传统方法仅获取图像中的一个点作为立体匹配的特征点,当该点受到环境的干扰时定位精度会受到极大的影响,图7为传统方法提取运动目标中心点.表2为传统方法对运动目标定位的实验数据,表3为改变光照后传统方法移动机器人对运动目标定位的实验数据.可以得出传统方法机器人定位误差相对较大,一旦光照发生改变,对运动物体定位误差会更加严重.3.3 基于Harris算子机器人对运动目标定位针对传统方法定位精度不足,极易受外界环境的干扰的问题,决定采用基于Harris角点特征提取,即在相机获得的左右两幅图像上基于Harris算子提取多对特征点,如图8所示.表4、表5为基于Harris方法机器人对运动目标定位的实验数据,可以得出基于该方法对运动目标定位误差很小,相对误差降低到1%左右,当光照发生变化时也能实现对运动目标精确定位.最后将每一帧的两幅图像根据区域匹配原理[14]和极限束准则找到正确的匹配点,排出易受噪声干扰的点,从而得到视差值,即可准确的对运动目标定位.(1) 本文研究了机器人基于双目立体视觉实现自定位与对运动目标定位,充分利用双目视差原理,并结合Harris算法和帧间差分法来实现运动目标的精确定位.从仿真结果可以看出,提取多个特征点可以避免只用一个点易受干扰的不足,实现更精确的运动目标定位.(2) 虽然本文在运动目标上提取多个特征点,有效的克服了传统方法的不足.但还存在问题需要改进.首先,需要找到一种更快更准确的特征点立体匹配算法;其次,本文只是将每一帧图像得到的多个视差值做平均值处理,如何有效的将多个视差值融合也是对运动目标精确定位的关键.【相关文献】[1] 李艳. 双视频目标定位技术[J]. 沈阳大学学报(自然科学版), 2016,28(4):302-305. (LI Y. Dual video target location technology[J]. Journal of Shenyang University(Natural Science), 2016,28(4):302-305.)[2] 李天健. 基于机器人视觉的汽车零配件表面缺陷检测算法研究与实现[J]. 沈阳大学学报(自然科学版), 2013,25(6):476-480. (LI T J. Research and implementation of auto parts surface defect detection algorithm bases on robot visio[J]. Journal of Shenyang University (Natural Science), 2013,25(6):476-480.)[3] 杜宇. 三维重建中双目立体视觉关键技术的研究[D]. 哈尔滨:哈尔滨理工大学, 2014:1-5. (DU Y. Research on key technology of binocular stereo vision in three-dimensional reconstruction[D]. Harbin:Harbin University of Science and Technology, 2004:1-5.)[4] 余俊. 基于双目视觉的机器人目标检测与控制研究[D]. 北京:北京交通大学, 2011:1-4. (YU J. Research on target detection and robot control based on binocular vision[D]. Beijing: Beijing Jiaotong University, 2011:1-4.)[5] DESOUZA G N, KAK A C. Vision for mobile robot navigation: A survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002,24(2): 237-267.[6] 高栋栋. 基于双目立体视觉定位和识别技术的研究[D]. 秦皇岛:燕山大学, 2013:9-11. (GAO D D. Research on recognizing and locating binocular stereo vision technology[D]. Qinhuangdao:Yanshan University, 2013:9-11)[7] 崔宝侠,栾婷婷,张弛,等. 基于双目视觉的移动机器人运动目标检测与定位[J]. 沈阳工业大学学报, 2016,38(4):421-427. (CUI B X, LUAN T T, ZHANG C, et al. Moving object detection and positioning of robot based on binocular vision[J]. Journal of Shenyang University of Technology, 2016,38(4):421-427.)[8] 邓国栋. 基于多尺度特征的双目立体视觉目标定位[D]. 哈尔滨:哈尔滨工业大学, 2012: 21-22. (DENG G D. Object location of binocular stereo vision base on multi-scale feature[D]. Harbin: Harbin Institute of Technology, 2012:21-22.)[9] LOWE D G. Distinctive image feature from scale-invariant key point[J]. International Journal of Computer Vision, 2004,60(2):91-110.[10] KONOLIGE K, AGRAWAL M, SOLA J. Large-scale visual odometry for roughterrain[C]∥Robotics Research: The 13thInternational Symposium ISRR, 2011,66:201-212.[11] 熊英. 基于背景和帧间差分法的运动目标提取[J]. 计算机时代, 2014(3):38-41. (XIONG Y. Moving object extraction based on background difference and frame differencemethod[J]. Computer Era, 2014(3):38-41.)[12] 林琳. 机器人双目视觉定位技术研究[D]. 西安:西安电子科技大学, 2009:8-10. (LIN L. The research of visual positioning technology on the binocular robot[D]. Xi’an: Xi'an Electronic and Science University, 2009:8-10.)[13] 张从鹏,魏学光. 基于Harris角点的矩形检测[J]. 光学精密工程, 2014,22(8):2259-2266. (ZHANG C P, WEI X G. Rectangle detection base on Harris corner[J]. Optics and Precision Engineering, 2014,22(8):2259-2266.)[14] 罗桂娥. 双目立体视觉深度感知与三维重建若干问题研究[D]. 长沙:中南大学, 2012:48-53. (LUO G E. Some issues of depth perception and three dimension reconstruction from binocular stereo vision[D]. Changsha: Central South University, 2012:48-53.)。
双目测量原理是指通过两个摄像头或相机来获取目标物体的三维空间信息。
它基于人类视觉系统的工作原理，利用两个视点之间的视差来计算目标物体的深度。
双目测量原理的基本步骤如下：
1. 采集图像：使用两个摄像头或相机同时拍摄目标物体的图像。
这两个摄像头或相机需要具有一定的间距，以模拟人类的双眼视觉。
2. 特征点提取：从两个图像中提取出一些特征点，例如角点、边缘等。
这些特征点在两个图像中具有一定的对应关系。
3. 视差计算：通过比较两个图像中特征点的位置差异，可以计算出它们之间的视差。
视差是指同一物体在两个视点下的像素位置差异。
4. 三角测量：利用视差和摄像头之间的几何关系，可以得到目标物体的深度信息。
三角测量是指利用两个视点和目标物体的特征点构成的三角形，通过几何关系计算出目标物体的空间位置。
双目测量原理的优点是可以获取目标物体的三维信息，可以用于距离测量、物体识别和姿态估计等应用。
但也存在一些限制，例如对于光照条件和纹理的要求较高，对于透明物体和反射物体的测量效果较差。
双目测距的原理和公式
双目测距的原理是通过测量两个观察点之间的距离和角度变化，来计算物体之间的实际距离。
其公式可以表示为：l= tanαD/2，其中tanα是角α在普通三角函数中的正切值，D表示两个发射端之间的水平距离。
双目测距的基本原理是利用两个观察端点之间的角度变化来测量物体之间的距离。
具体来说，假设有一个点p，沿着垂直于相机中心连线方向上下移动，则其在左右相机上的成像点的位置会不断变化，即d=x1-x2的大小不断变化，并且点p和相机之间的距离Z跟视差d存在着反比关系。
视差d可以
通过两个相机中心距T减去p点分别在左右图像上的投影点偏离中心点的值获得，所以只要获取到了两个相机的中心距T，就可以评估出p点距离相机的距离。
以上信息仅供参考，如需了解更多信息，建议查阅双目测距相关的书籍和文献。
双目视觉测量系统
双目视觉测量系统工作原理是双目视觉测量的基本原理是由不同位置的2 台摄像机经过移动或旋转拍摄被测物体的同一表面，获取图像对。
通过提取图像上线激光在物体表面投影的中心像素点、像素点的立体匹配，得出测量点在2 幅图像平面上的像素坐标对，利用成像公式计算出被测点的空间坐标。
根据人眼双目成像的原理, 通过双摄像头实现获得立体信息进而提出人脸识别的一种新方法, 并给出实现系统的结构。
专用的全息扫描获得三维数据的方法, 设备昂贵且采样非常不方便,不如本文提出方法耗材简单且取样非常方便。
双目立体视觉传感器的测量原理类似于人类视觉获取信息的方式, 即由两台相对位置固定的摄像机与被测对像构成三角形, 被测对像在两像面上形成立体图像对, 然后利用计算机图像处理技术进行相关特征点匹配, 并通过计算左右两幅图像中相关特征点的视差来获取被测点的空间三维坐标。
双目立体视觉传感器主要是利用三角法测量原理和针孔透视成像理论获得空间被测量特征点在传感器坐标系下的三维坐标, 它主要由左右摆放的两个摄像机组成。
双目视觉技术的原理、结构、特点、发展现状和发展方向分析双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。
双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。
双目立体视觉系统在机器视觉领域有着广泛的应用前景。
80年代麻省理工学院人工智能实验室的Marr提出了一种视觉计算理论并应用在双眼匹配上! 使两张有视差的平面图产生有深度的立体图形! 奠定了双目立体视觉发展的理论基础。
相比其他类的体视方法! 如透镜板三维成像，三维显示，全息照相术等! 双目体视直接模拟人类双眼处理景物的方式可靠简便! 在许多领域均极具应用价值! 如微操作系统的位姿检测与控制机器人导航与航测，三维测量学及虚拟现实等。
双目立体视觉原理与结构双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。
摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。
事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。
左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。
空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。
假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。
由三角几何关系得到：上式中（xc，yc，zc）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u1，v1）和（u2，v2）分别为点P在左图像和右图像中的坐标。
Bumblebee 双目测量基本原理
一．双目视觉原理：
双目立体视觉三维测量是基于视差原理。
图双目立体成像原理
其中基线距B=两摄像机的投影中心连线的距离；相机焦距为f 。
设两摄像机在同一时刻观看空间物体的同一特征点(,,)c c c P x y z ，分别在“左眼”和“右眼”上获取了点P 的图像，它们的图像坐标分别为(,)left left left p X Y =，(,)right right right p X Y =。
现两摄像机的图像在同一个平面上，则特征点P 的图像坐标Y 坐标相同，即left right Y Y Y ==，则由三角几何关系得到：
()c left c c right c c c x X f z x B X f z y Y f z ⎧=⎪⎪⎪-=⎨⎪⎪=⎪⎩ (1-1)
则视差为：left right Disparity X X =-。
由此可计算出特征点P 在相机坐标系下的三维坐标为：
left c c c B X x Disparity B Y y Disparity B f z Disparity ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ (1-2)
因此，左相机像面上的任意一点只要能在右相机像面上找到对应的匹配点，就可以确定出该点的三维坐标。
这种方法是完全的点对点运算，像面上所有点只要存在相应的匹配点，
就可以参与上述运算，从而获取其对应的三维坐标。
二．立体视觉测量过程
1．图像获取
(1) 单台相机移动获取
(2) 双台相机获取：可有不同位置关系（一直线上、一平面上、立体分布）
2．相机标定：确定空间坐标系中物体点同它在图像平面上像点之间的对应关系。
(1)内部参数：相机内部几何、光学参数
(2)外部参数：相机坐标系与世界坐标系的转换
3．图像预处理和特征提取
预处理：主要包括图像对比度的增强、随机噪声的去除、滤波和图像的增强、伪彩色处理等；
特征提取：常用的匹配特征主要有点状特征、线状特征和区域特征等
4．立体匹配：根据对所选特征的计算，建立特征之间的对应关系，将同一个空间物理点在不同图像中的映像点对应起来。
立体匹配有三个基本的步骤组成：1)从立体图像对中的一幅图像如左图上选择与实际物理结构相应的图像特征；2)在另一幅图像如右图中确定出同一物理结构的对应图像特征；3)确定这两个特征之间的相对位置，得到视差。
其中的步骤2是实现匹配的关键。
5．深度确定
通过立体匹配得到视差图像之后，便可以确定深度图像，并恢复场景3－D信息。
三．Triclops库中的数据流程
Triclops库中的数据流程如下图所示。
系统首先从相机模型中获得raw格式的图像，最终将其处理成深度图像。
在系统中有两个主要的处理模块。
第一个处理模块是一个应用了低通滤波、图像校正和边缘检测的预处理模块。
第二个处理模块用来做立体匹配、结果确认和亚像素插值。
最后的处理结果就是一幅深度图像。
1．预处理（Pre-processing）
为了校正一幅图像，事先对其进行平滑是非常重要的。
所以如果要校正一幅图像，事先将低通滤波器打开是很好的方法。
当然不使用低通滤波器同样可以校正图像，但校正后的图像可能会出现混淆的现象。
如果要提高处理速度，可以将低通滤波器关掉。
2．校正（Rectification ）
校正是用来修正镜头所产生的畸变的。
在原始图像中可以看到镜头所带来的这种畸变。
例如，场景中的一条直线在原始图像中会变成一条曲线，这种效果在图像的边角处尤为明显。
校正就是为了修正这种类型的畸变。
进一步来讲，如果没有正确的校正，那么沿着行或者列所做的特征搜索将可能产生错误的结果。
3．边缘检测（Edge detection ）
边缘检测为任选特性，它使用亮度的变化来匹配特征。
当系统中的相机具有自动增益功能时，这项功能是非常有用的。
如果每个相机的自动增益的变化是不一致的，那么图像间的绝对亮度是不一致的，而虽然绝对亮度是不一致的，但亮度的变化却是一个常数。
因此边缘检测适用于光照有很大变化的环境当中。
虽然边缘检测可以改善检测的结果，但这相当于又引入了另外的处理步骤，因此要权衡结果的改善状况和速度之间的关系来使用这项功能。
注意，确认功能仅在边缘检测模式下有效。
4．立体处理（Stereo processing ）
使用绝对方差相关性计算：
[][][][]22max
min 22min m m m m d right left d d i j I x i y j I x i d y j ==-=-++-+++∑∑
其中：min d 和max d 是最小和最大视差（disparity ）
m 是模板尺寸（mask size ）
right I 和left I 是右边和左边的图像
5．视差范围（Disparity range ）
视差范围是立体算法为了在两幅图像中搜寻最佳匹时，所搜寻的像素的范围。
在Triclops 系统中0个像素的视差代表了无穷远处的物体。
最大的视差定义了能被检测到的最近的物体。
我们需要根据实际的任务来设置合适的视差范围。
减小视差范围可以加快系统的运行速度，并降低误匹配的几率。
6．相关模板（Correlation mask ）
相关模板是围绕着一个像素的一个正方形邻域，这个像素就是系统想要为其寻找匹配的像素。
我们可以设定这个相关模板的尺寸。
大的模板会产生更密集更平滑的深度图像，然而，在识别不连续深度位置的精度上会有所欠缺。
另一方面，小的模板所产生的图像较为稀疏且会有更多的噪声，但在定位不连续深度的时候会有上佳的表现。
为了生成相同的结果，模板的尺寸要与被处理图像的分辨率成一定的比例。
就是说为了得到具有可比性的结果，对于160x120图像的5x5的模板，对于320x240图像的时候模板要增大到9x9。
模板的尺寸必须是奇数。
3x3，5x5，7x7是有效的模板尺寸，而4x4，6x6，8x8则是无效的模板尺寸。
Triclops提供了最大为15x15和最小为1x1的模板。
另外，Triclops 中提供了一个新的用于实验的函数：troclopsSetAnyStereoMask，这个函数允许用户设置任意尺寸的相关模板。
7．确认（Validation）
在一些情况下，例如封闭的缺乏变化的质地，是无法建立图像之间的相关的。
如果相关建立的不正确，那么测量的结果也就是不正确的了。
为了避免不正确的测量，系统引入了两个确认的方法：
●质地确认（Texture validation）是基于相关模板的质地的水平的，它决定了视差值是否
有效。
如果质地的水平不足以产生一个正确的匹配，这个像素就会被声明为无效。
●唯一性确认（Uniqueness validation）是指对于一个特定像素的最佳匹配和这个相关模板
下的其他匹配比起来是不是足够好。
即使相关模板的质地满足要求，由于封闭的原因，可能还是得不到正确的匹配。
如果相关的结果不足够强，这个像素就会被声明为无效。
用户可以设定两个阈值来控制确认的严格程度—一个是质地另一个是唯一性。
