基于双目视觉的目标定位系统设计

第12期2023年6月无线互联科技Wireless Internet TechnologyNo.12June,2023作者简介:张润豪(1997 ),男,浙江温州人,硕士研究生;研究方向:图像处理,控制工程㊂基于双目视觉的识别测距系统设计张润豪,杨㊀瑞,管㊀艳(西京学院计算机学院,陕西西安710123)摘要:双目视觉的识别测距主要通过双目视觉系统模拟人的 双眼 ,从而获得物体的形状和距离的远近㊂文章提出一种目标识别测距系统,构建卷积神经网络模型,利用图像处理技术识别目标以及三角相似原理计算目标距离,最后达到识别和检测的目的㊂实验结果表明,所设计的目标识别测距系统能够同时保证特定目标的检测和测距,具有一定的研究意义㊂关键词:双目视觉;识别测距;神经网络中图分类号:TP391.41㊀㊀文献标志码:A 0㊀引言㊀㊀随着农业自动化的发展,水果的自动化与智能化采摘技术研究已成为当今的研究热点㊂然而,水果的采摘方式与其他作物不同,需要进行准确的采摘㊂因此,依靠双目视觉实现对目标物的准确识别和定位十分重要㊂双目视觉对于危险生产场所的检测㊁非接触产品的质量检测以及位置随机移动物体的实时检测具有重要的研究意义和应用价值[1]㊂双目视觉技术还可应用于机械臂㊁智能家居㊁智能制造㊁工业等具有巨大潜力的领域[2]㊂其他测距方法测距误差较大,测量范围受限,而双目视觉技术可以在不接触目标物的情况下识别和定位目标物,还可以估计目标物的深度信息㊂因此,本文选择双目测距法㊂然而,同时具备目标物识别和测距的系统比较少,不能满足指定工作的需求[3-5]㊂针对上述存在的问题,结合双目视觉和机器学习等技术[6-9],本文提出了基于双目视觉的目标检测测距方法,设计了一个基于双目视觉的目标检测测距系统㊂该系统能够实现对目标物的识别和定位,使人们可以利用计算机技术模拟人眼,方便后期的操作㊂该系统利用卷积神经网络对物体进行识别,再根据双目相机测距原理,最后得到目标与摄像头之间的距离,从而最终实现定位㊂1㊀双目视觉系统㊀㊀双目系统主要由两款相同的摄像头组成,保持在同一个水平面上,并共享一个共同的观察区㊂距离测量是用三角数学方法进行的㊂测距的原理如图1所示㊂O 1和O 2分别为两个摄像头的光圈中心,它们之间的长度为B ㊂点P 为空间中的待测目标物,P 1(x 1,y 1)和P 2(x 2,y 2)为点P 在双目相机成像平面所成的点㊂当焦距为f 时,根据三角形原理可得:图1㊀测距原理B -x 1+x 2Z -f =B Z(1)Z =fB x 1-x 2(2)根据公式(1)和(2),设P 为空间中的一点,在空间坐标系和相机坐标系中的坐标点为(X ,Y ,Z ),(Xᶄ,Yᶄ,Zᶄ)㊂图像坐标系和像素坐标系表示为(x ,y )和(u ,v )㊂空间坐标系经变化到相机坐标系,有:XᶄY ᶄZ ᶄéëêêêùûúúú=R X Y Z éëêêêùûúúú+T (3)根据投影原理,把空间上的点投影到平面上,可得到相机坐标系到图像坐标系的转换关系,即:x y éëêêùûúú=f X ᶄZ ᶄf Y ᶄz ᶄéëêêêêùûúúúú(4)图像坐标系的起点是相机光轴和图像平面的交点,像素坐标系起点从像素阵列中的第一个点开始,图像坐标系转换到像素坐标系:u v éëêêùûúú=x dx +u 0y dy +v 0éëêêêêùûúúúú(5)由以上式可得:Z ᶄu v 1éëêêêùûúúú=1dx 0u 001dy v 0001éëêêêêêêùûúúúúúúf 0000f 000010éëêêêùûúúúR T 01éëêêùûúúX Y Z 1éëêêêêùûúúúú=f xu 000f y v 000010éëêêêùûúúúR T 01éëêêùûúúX Y Z 1éëêêêêùûúúúú(6)公式(6)中的矩阵代表着相机的内外参数,通过相机的标定获得具体参数㊂双目视觉测距是采用双目视觉技术来测量物体距离的原理,通过两台摄像机拍摄同一场景生成图像视差,并根据该视差建立物距测量模型,实现场景距㊀㊀离的实时计算㊂O l 和O r 为光圈中心,T ,f 为相机基线距离和焦距,P l 和P r 为图像坐标系的点,Z 为垂直距离㊂根据三角形相似:T -(X l -X r )T =Z -fZ(7)推出点P 与相机距离Z 的表达式为:Z =fT X l -X r =fTd(8)公式(8)式中,左右相机视差d =X l -X r双目测距系统的流程如图2所示,各个坐标系之间的转换关系如图3所示㊂图2㊀双目系统流程图3㊀各个坐标系转换2　双目相机标定2.1㊀相机标定㊀㊀双目相机中内部和外部参数和畸变参数的精度直接影响后续测量的精度㊂因此,文章选用了具有精度高㊁操作方便的张正友标定法㊂本文自制一个黑白棋盘,并将其固定在一个纸板上,如图4所示㊂首先,使用双目相机在不同的位置和角度拍摄大约30幅棋盘图像㊂其次,将图像分别导入MATLAB 进行检测校正㊂最后,经过计算和分析,利用棋盘校准板获得左右相机内部和外部参数及其位置的三维视图㊂标定结果如图5所示㊂2.2㊀立体校正㊀㊀把实际中非共面行对准的两幅图像,校正成共面行对准,提高匹配搜索的效率㊂将消除畸变后的两幅图像严格地对应,利用极线约束使得两幅图像的对极线恰好在同一水平线上,这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号,只需在该行进行一维搜索即可匹配到对应点㊂根据摄像头标定后获得的双目相对位置对左右视图进行消除畸变和行对准,如图6所示㊂图4㊀标定板角点图5㊀标定板平面位置和标定误差图6㊀校正后图像2.3㊀立体匹配㊀㊀立体匹配主要计算视差㊂基于双目测距原理的分析使得可以通过计算由左右摄像机拍摄的每个图像相应点的视差来获得关于图像深度的信息㊂双目立体视觉的三维重建过程中,需要通过立体匹配算法进行视差图的计算得到左右两幅图像的视差值,进而计算深度以恢复场景的三维信息㊂要计算左右视图中三维场景中目标点生成的视差,左右视图中的两个对应像点必须与该点匹配㊂然而,协调二维空间中的对应点需要很长时间才能缩小适当的搜索范围,需要进行双目相机的立体校正,将二维上的匹配搜索降低到一维㊂立体匹配后,得到的视差图如图7所示㊂图7㊀视差3　图像识别定位测距3.1㊀数据标注和图片训练㊀㊀数据标注是处理原始语音㊁图像㊁文本㊁视频和其他数据并将其转换为机器可读信息的过程㊂机器无法识别和研究未标记的原始数据㊂原始数据只有经过标注处理成为结构化数据后才能被算法训练所使用㊂整个数据标注的过程如下:首先,将要标注的物体制作成数据集,并且图片越多越好,如果样本过少,模型训练和预测都会受到影响,非常容易欠拟合;其次,通过Labelme 工具进行标注,如图8所示;最后,将数据集分为训练集㊁验证集和测试集㊂数据标注完成后,需要对标注的数据集图片进行训练,图片训练完成后,可以看到训练好的模型的权重和PR Curve 曲线㊁Confusion Matrix (混淆矩阵)等训练过程数据㊂然后可以用训练的模型进行测试,配合双目摄像头,可以实现对特定物体的实时识别,如图9所示㊂3.2㊀双目识别测距㊀㊀双目相机的工作方式与人眼相同㊂人眼感知物体距离的能力基于两只眼睛在同一物体上呈现的图像差异,也称为视差㊂把物体识别和双目测距结合在一起,融合了卷积神经网络,不仅能够对物体进行识别,还能够进行测距㊂本文通过深度学习技术与传统算法的结合,利用双目相机实现了物体的精准测距㊂通过网络框的置信度确定识别的准确度,计算表达式为:图8㊀标注图9㊀灰度图和识别信度Pr (object )ˑIOU truth pred(9)IOU truth pred=area (BB dt ɘBB gt )area (BB dt ɣBB gt )(10)Pr (object )为训练样本的概率;BB gt 为物体标签的可行度,BB dt 分为网络预测的可信度;area 为面积函数㊂测距效果如图10所示㊂图10㊀双目测距4　结语㊀㊀在目标识别的基础上,建立双目系统,开发并实㊀㊀施基于双目视觉和机器学习的识别和定位系统㊂该系统已被证明具有一定的精度和稳定性㊂通过对双目距离原理的研究,本文开发了一种基于双目视觉的目标测距和检测系统,通过收集图像㊁校准相机㊁处理图像并进行比较,最后进行目标测试㊂实验表明,目标测距和检测系统具有良好的精度和可行性㊂下一步,笔者将继续深入研究㊁分析和提高双目视觉,消除系统测量的准确性和可靠性,研究双目视觉在智能制造设备和相关智能场景中的应用㊂参考文献[1]任慧娟,金守峰,程云飞,等.面向分拣机器人的多目标视觉识别定位方法[J ].机械与电子,2019(12):64-68.[2]赵刚,郭晓康,刘德政,等.随机工件的点云场景CAD 模型的快速识别与定位[J ].激光与红外,2019(12):1490-1496.[3]柴钰,许继科.基于机器视觉的目标识别与定位系统[J ].计算机工程与设计,2019(12):3557-3562.[4]连黎明.基于多信息融合的移动机器人定位算法[J ].西南师范大学学报(自然科学版),2019(9):89-95.[5]蒋萌,王尧尧,陈柏.基于双目视觉的目标识别与定位研究[J ].机电工程,2018(4):414-419.[6]王德海,洪伟,程群哲.基于双目立体视觉的目标识别与定位[J ].吉林大学学报(信息科学版),2016(2):289-295.[7]高如新,王俊孟.基于双目视觉的目标识别与定位[J ].河南理工大学学报(自然科学版),2014(4):495-500.[8]袁小平,张毅,张侠,等.基于改进FAST 检测的ORB 特征匹配算法[J ].科学技术与工程,2019(21):233-238.[9]BOYKOV Y ,VEKSLER O ,ZABIH R.Fast approximate energy minimization via graph cuts [J ].IEEE Transactions on Pattern Analysis and Machine Intelligence ,2001(11):1222-1239.(编辑㊀王雪芬)Design of recognition and ranging system based on binocular visionZhang Runhao Yang Rui Guan YanSchool of Computer Science Xijing University Shaanxi 710123 ChinaAbstract The recognition and ranging of binocular vision mainly uses a binocular vision system to simulate the eyes of humans thereby obtaining the shape of objects and the distance between them.This paper proposes a target recognition and ranging system constructs a convolutional neural network model uses image processing technology to identify the target and calculates the target distance based on the triangular similarity principle finally achieving recognition and detection.Experimental results show that the designed target recognition and ranging system can simultaneously ensure the detection and ranging of specific targets which has certain research significance.Key words。

基于双目视觉机器人自定位与动态目标定位卢洪军【摘要】Aiming at the fact that, the mobile robot based on binocular vision is very easy to be disturbed by the complex environment, such as the influence of noise, illumination change and the occlusion of the robot, which will seriously affect the positioning accuracy of the self localization and the moving objects, the color feature of the HSV model is proposed to accurately segment the artificial landmarks, and the robot position is determined according to the principle of parallax.A method was proposed based on Harris operator which is accurate to the position of a moving object in a complex environment.The dynamic object is detected by the frame difference method.Harris operator was used to extract the feature points on the moving objects, so as to obtain the disparity value, and then to calculate the position of the moving objects.The experimental results show that the self localization and target localization can overcome the external disturbance and have strong adaptability by using this method.The algorithm has good real-time performance.%针对基于双目视觉自定位与动态目标定位极易受复杂环境(如噪声、机器人发生遮挡、光照变化等)的干扰导致移动机器人定位精度低的问题,提出基于HSV颜色模型特征准确分割出人工路标,根据视差原理确定机器人位置.同时提出一种双目机器人基于Harris算子实现在复杂环境下对动态目标精确定位的方法,利用帧间差分法将运动目标检测出来,采用Harris算子在该运动目标上提取特征点,并获得视差值,从而精确的计算出运动目标的位置.实验结果表明,利用该方法进行自定位与目标定位能够克服外界干扰,具有较强的适应性,且算法的实时性好.【期刊名称】《沈阳大学学报》【年(卷),期】2017(029)001【总页数】6页(P37-42)【关键词】双目视觉;目标定位;Harris算子;帧间差分法;HSV模型【作者】卢洪军【作者单位】沈阳工业大学信息科学与工程学院, 辽宁沈阳 110870【正文语种】中文【中图分类】TP391.420世纪末,对目标定位技术主要有基于红外线的定位技术、基于超声波的定位技术和基于频射识别技术等[1].近年来,由于图像处理和计算机视觉的飞速发展,机器视觉的研究越来越受到广大专家和学者的青睐[2].双目立体视觉是机器视觉的一个重要分支,能够直接模仿人类双眼处理外界环境[3],可以代替人类完成危险的工作(如深海探测、火灾救援、核泄漏监测等)[4].而基于双目立体视觉对动态目标检测与定位也是机器视觉领域备受关注的前沿课题之一[5].双目立体视觉定位主要分为六个步骤[6]:①图像获取;②图像预处理;③摄像机标定;④特征点提取;⑤特征点的立体匹配获取视差值;⑥基于视差原理实现机器人定位.特征点提取和立体匹配是实现机器人定位的关键环节.通常的方法是依靠目标的形状、颜色等特征检测目标,并以运动物体的形心或中心作为特征点[7].该方法虽然计算简单,但极易受噪声干扰,只选择一个点作为特征点,一旦该特征点发生遮挡或光照变化等,都会严重影响定位精度.1977年,Moravec提出根据图像的灰度变化来提取图像角点,称为Moravec角点[8].该方法计算相对简单,但对于处于边缘上的点会存在误检,也极易受光照变化的影响.SIFT特征点[9]和CenSurE特征点[10]虽然对尺度、亮度变化不敏感,但在弱纹理等复杂情况下难以提取稳定的特征点,算法复杂度高,计算时间较长.不满足移动机器人对实时性的要求.针对以上缺陷,本文首先利用帧间差分法检测出运动目标,然后在运动目标上基于Harris算法提取多个特征点来实现移动机器人在复杂环境下实时的对运动目标精确定位.机器人整体定位流程如图1所示,移动机器人首先基于HSV颜色模型空间分割出人工路标,实现机器人自定位.然后利用帧间差分法检测出运动目标,根据Harris算法在左右两幅图像上提取特征点,根据区域匹配原理获取视差值,利用视差原理即可求出运动目标的世界坐标,即完成了对运动目标的定位.1.1 人工路标检测(1) HSV颜色模型.RGB色彩空间分别以红色、绿色、蓝色为三原色,通过适当的搭配可以合成成千上万种颜色,是一种常见的颜色表示法.但是RGB色彩空间与人眼的感知差异大,其空间的相似不代表实际颜色的相似.为了能够更准确分割出人工路标,本文采用HSV色彩空间颜色模型,如图2所示.RGB颜色空间转化到HSV色彩空间只是一个简单的非线性变换,计算简单.HSV模型中H代表色调,S代表饱和度,并且独立于亮度信息V.色调H代表颜色信息,取值范围为0～180°,对其设定阈值可以区分不同颜色的路标;饱和度S表示颜色中掺杂白色的程度,取值范围为0～1,S 越大,颜色越深;亮度V表示颜色的明暗程度,取值范围为0～1,V越大,物体亮度越高.(2) 基于颜色特征提取人工路标.由于本文是在室内环境下对移动机器人定位,所以本文设计的人工路标是由红黄蓝三种颜色组成的矩形纸板.如图3a所示为左摄像机拍摄到的带有人工路标的室内环境.根据HSV颜色模型对H、S、V三个分量进行阈值设置即可分割出人工路标,如图3b所示.然后利用图像处理中的形态学操作对分割出的路标进行完善使其效果最佳,如图3c所示.图3d为获取人工路标的中心点,利用视差原理即可得到当前帧机器人的位置.1.2 帧间差分法帧间差分法[11]的思想是对一段连续视频的相邻两帧进行差分运算,从差分运算的结果中得到运动目标的轮廓.该算法的优点是实现简单,对光照变化不敏感,稳定性好.适用于多目标或背景变化较快的场合.图4为在室内环境下用帧间差分法检测到运动物体.结果显示,帧间差分法能够有效的将运动目标检测出来.2.1 双目立体视觉测距原理双目立体视觉的视差原理[12]是利用两台摄像机从两个视点观察同一景物,以获取在不同视角下的感知图像,通过计算空间点在两幅图像中的视差来获取目标物体的三维坐标.2.2 Harris角点检测Harris角点[13]是在Moravec角点的基础进行改进的算法. Harris算子是用高斯函数代替二值窗口函数, 对离中心点越远的像素赋予越小的权重, 以减少噪声的影响. 高斯函数如式(1)所示.Moravec算子只考虑了四个方向的像素值,Harris算子则用Taylor展开式去近似任意方向.图像I(x,y)平移(Δx,Δy)可以一阶近似为在图像I(u,v)中,像点(u,v)平移(Δx,Δy)后的自相关函数为将式(2)代入式(3)可得:其中M如下所示:根据式(5)中矩阵M的特征值可以近似的表示函数C(x,y)的变化特征.矩阵M的特征值需要考虑以下三种情况,如图5所示.(1) 如果矩阵M的两个特征值都比较小,则表征图像灰度变化函数C(x,y)的值也较小,就说明该像素点的邻域内灰度差值不大,图像较平滑,无角点.(2) 如果矩阵M的两个特征值一个较大,一个较小,说明该像素点的曲率也是如此,则该点的窗口区域处于一条边界,无角点.(3) 如果矩阵M的两个特征值都比较大,则图像灰度变化的自相关函数值也较大,该点的窗函数沿任意方向都将引起灰度的剧烈变化,该点即为角点.根据这一准则,只要计算行列式的特征值就可以检测图像中的哪些点是角点.Harris 提出角点的响应函数:det(M)为行列式的值,trace(M)为行列式的迹.而k根据Harris的建议一般取0.04～0.06之间.若Harris角点响应大于阈值,则被认为是角点.Harris角点的生成只涉及到一阶导数,所以该角点对噪声影响、光照变化引起的灰度值变化都不敏感,是一种比较稳定的特征提取算子.3.1 实验环境本文使用的机器人是由北京博创兴盛技术有限公司开发的自主移动机器人旅行家Ⅱ号,如图6所示.该机器人上安装了由加拿大Point Grey Research公司生产的Bumblebee2双目摄像机,其性能参数如表1所示.3.2 传统移动机器人对运动目标定位实验环境为一间办公室,装有双目摄像机Bumblebee2的移动机器人为工作机器人,用于检测运动目标.将另一台机器人视为运动目标,运动速度为0.1 m/s.传统的方法是提取运动目标的中心点,获取视差值,从而给运动目标定位.传统方法仅获取图像中的一个点作为立体匹配的特征点,当该点受到环境的干扰时定位精度会受到极大的影响,图7为传统方法提取运动目标中心点.表2为传统方法对运动目标定位的实验数据,表3为改变光照后传统方法移动机器人对运动目标定位的实验数据.可以得出传统方法机器人定位误差相对较大,一旦光照发生改变,对运动物体定位误差会更加严重.3.3 基于Harris算子机器人对运动目标定位针对传统方法定位精度不足,极易受外界环境的干扰的问题,决定采用基于Harris角点特征提取,即在相机获得的左右两幅图像上基于Harris算子提取多对特征点,如图8所示.表4、表5为基于Harris方法机器人对运动目标定位的实验数据,可以得出基于该方法对运动目标定位误差很小,相对误差降低到1%左右,当光照发生变化时也能实现对运动目标精确定位.最后将每一帧的两幅图像根据区域匹配原理[14]和极限束准则找到正确的匹配点,排出易受噪声干扰的点,从而得到视差值,即可准确的对运动目标定位.(1) 本文研究了机器人基于双目立体视觉实现自定位与对运动目标定位,充分利用双目视差原理,并结合Harris算法和帧间差分法来实现运动目标的精确定位.从仿真结果可以看出,提取多个特征点可以避免只用一个点易受干扰的不足,实现更精确的运动目标定位.(2) 虽然本文在运动目标上提取多个特征点,有效的克服了传统方法的不足.但还存在问题需要改进.首先,需要找到一种更快更准确的特征点立体匹配算法;其次,本文只是将每一帧图像得到的多个视差值做平均值处理,如何有效的将多个视差值融合也是对运动目标精确定位的关键.【相关文献】[1] 李艳. 双视频目标定位技术[J]. 沈阳大学学报(自然科学版), 2016,28(4):302-305. (LI Y. Dual video target location technology[J]. Journal of Shenyang University(Natural Science), 2016,28(4):302-305.)[2] 李天健. 基于机器人视觉的汽车零配件表面缺陷检测算法研究与实现[J]. 沈阳大学学报(自然科学版), 2013,25(6):476-480. (LI T J. Research and implementation of auto parts surface defect detection algorithm bases on robot visio[J]. Journal of Shenyang University (Natural Science), 2013,25(6):476-480.)[3] 杜宇. 三维重建中双目立体视觉关键技术的研究[D]. 哈尔滨:哈尔滨理工大学, 2014:1-5. (DU Y. Research on key technology of binocular stereo vision in three-dimensional reconstruction[D]. Harbin:Harbin University of Science and Technology, 2004:1-5.)[4] 余俊. 基于双目视觉的机器人目标检测与控制研究[D]. 北京:北京交通大学, 2011:1-4. (YU J. Research on target detection and robot control based on binocular vision[D]. Beijing: Beijing Jiaotong University, 2011:1-4.)[5] DESOUZA G N, KAK A C. Vision for mobile robot navigation: A survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002,24(2): 237-267.[6] 高栋栋. 基于双目立体视觉定位和识别技术的研究[D]. 秦皇岛:燕山大学, 2013:9-11. (GAO D D. Research on recognizing and locating binocular stereo vision technology[D]. Qinhuangdao:Yanshan University, 2013:9-11)[7] 崔宝侠,栾婷婷,张弛,等. 基于双目视觉的移动机器人运动目标检测与定位[J]. 沈阳工业大学学报, 2016,38(4):421-427. (CUI B X, LUAN T T, ZHANG C, et al. Moving object detection and positioning of robot based on binocular vision[J]. Journal of Shenyang University of Technology, 2016,38(4):421-427.)[8] 邓国栋. 基于多尺度特征的双目立体视觉目标定位[D]. 哈尔滨:哈尔滨工业大学, 2012: 21-22. (DENG G D. Object location of binocular stereo vision base on multi-scale feature[D]. Harbin: Harbin Institute of Technology, 2012:21-22.)[9] LOWE D G. Distinctive image feature from scale-invariant key point[J]. International Journal of Computer Vision, 2004,60(2):91-110.[10] KONOLIGE K, AGRAWAL M, SOLA J. Large-scale visual odometry for roughterrain[C]∥Robotics Research: The 13thInternational Symposium ISRR, 2011,66:201-212.[11] 熊英. 基于背景和帧间差分法的运动目标提取[J]. 计算机时代, 2014(3):38-41. (XIONG Y. Moving object extraction based on background difference and frame differencemethod[J]. Computer Era, 2014(3):38-41.)[12] 林琳. 机器人双目视觉定位技术研究[D]. 西安:西安电子科技大学, 2009:8-10. (LIN L. The research of visual positioning technology on the binocular robot[D]. Xi’an: Xi'an Electronic and Science University, 2009:8-10.)[13] 张从鹏,魏学光. 基于Harris角点的矩形检测[J]. 光学精密工程, 2014,22(8):2259-2266. (ZHANG C P, WEI X G. Rectangle detection base on Harris corner[J]. Optics and Precision Engineering, 2014,22(8):2259-2266.)[14] 罗桂娥. 双目立体视觉深度感知与三维重建若干问题研究[D]. 长沙:中南大学, 2012:48-53. (LUO G E. Some issues of depth perception and three dimension reconstruction from binocular stereo vision[D]. Changsha: Central South University, 2012:48-53.)。

基于双目视觉的无人飞行器目标跟踪与定位张梁;徐锦法【摘要】According to the problem of target tracking for UAV, a target tracking and locating algorithm based on Camshift algorithm and binocular vision is proposed. The left and right images from binocular camera are used to calculate the central interesting point of the target with Camshift algorithm. After the central interesting point is reconstructed, the relative position and yaw angle between UAV and target under the body coordinate system are got. Data is optimized with the kalman filter. The estimated data is used as the flight control system loopback input data to achieve the autonomous tracking of UAV. The result of the experiment shows that the error of the algorithm is little. This algorithm has strong stability and accuracy.%针对小型无人飞行器跟踪目标的问题，提出了一种基于双目视觉和Camshift算法的无人飞行器目标跟踪以及定位算法。

西北大学硕士学位论文基于双目视觉的运动目标跟踪与三维测量姓名：吴亚鹏申请学位级别：硕士专业：信号与信息处理指导教师：潘建寿20080604西北大学硕士学位论文摘要应用双目视觉技术对运动目标进行跟踪，并对其深度和运动信息进行测量是当前计算机视觉研究的热点问题，在军用和民用领域内有着广泛而实际的应用。

本文基于双目视觉，以获得目标质心的三维坐标、深度和运动速度为主要目的，研究了运动目标检测与跟踪、双目立体视觉标定、组建双目立体视觉运动目标跟踪与测量实验系统三方面的内容。

在运动目标检测与跟踪方面：重点研究了融合运动目标位置预测的ＭｅａｎＳｈｉｆｔ算法，并根据Ｂｈａｔｔａｃｈａｒｙｙａ系数值对目标被遮挡的情况进行了判断；使用本文算法针对目标非匀速运动和发生遮挡的情况进行了计算机仿真实验，在算法运行效率和跟踪稳定性方面获得了预期的效果。

在双目立体视觉标定方面：制作了圆靶标定板并提取了靶面特征点的图像坐标，在分析“ＴＳＡＩ”标定算法的基础上分别完成了左右摄像机的标定；阐述了双目视觉下的空间点三维坐标的提取算法：运用ＶＣ＋＋６．０开发了双目立体视觉标定系统，通过测量空间点深度信息和空间物体尺寸大小，验证了系统结果。

在组建双目立体视觉运动目标跟踪与测量实验系统方面：采用代价函数对左右视场下的运动目标进行立体匹配；分析了运动目标深度和速度的测量方法；运用ＶＣ＋＋６．０将双目立体视觉标定、运动目标检测与跟踪和目标质心提取三部分内容进行系统的结合，设计了双目立体视觉运动目标跟踪与测量实验系统，使用该系统实现了提取运动目标质心的三维坐标及其深度和速度的测量。

关键词：双目视觉；运动目标检测与跟踪：“ＴＳＡＩ”标定；目标测量第ｌ页西北大学硕上学位论文ＭｏｖｉｎｇＯｂｊｅｃｔｓＭｅａｓｕｒｅｍｅｎｔＢａｓｅｄＴｒａｃｋｉｎｇｏｎａｎｄ３ＤＢｉｎｏｃｕｌａｒＶｉｓｉｏｎＡｂｓｔｒａｃｔＴｈｅａｐｐｌｉｃａｔｉｏｎｏｆｂｉｎｏｃｕｌａｒｖｉｓｉｏｎｔｅｃｈｎｉｑｕｅｓｆｏｒｔｒａｃｋｉｎｇｔｈｅｍｏｖｉｎｇｏｂｊｅｃｔ，ａｎｄｍｅａｓｕｒｉｎｇｉｔｓｄｅｐｔｈｉｎｆｏｒｍａｔｉｏｎａｎｄｍｏｖｅｍｅｎｔｉｎｆｏｒｍａｔｉｏｎｉＳｔｈｅｈｏｔｒｅｓｅａｒｃｈｉｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，ｗｈｉｃｈｕｓｅｄｗｉｄｅｌｙｉｎｃｉｖｉｌｉａｎａｎｄｍｉｌｉｔａｒｙ．Ｂａｓｅｄｏｎｂｉｎｏｃｕｌａｒｖｅｌｏｃｉｔｙｏｆｖｉｓｉｏｎ，ｆｏｒｔｈｅｐｕｒｐｏｓｅｔｏｏｂｔａｉｎｔｈｅ３Ｄｃｏｏｒｄｉｎａｔｅ，ｄｅｐｔｈｉｎｆｏｒｍａｔｉｏｎｔｈｅａｎｄｏｂｊｅｃｔ，ｔｈｉｓｐａｐｅｒｍａｉｎｌｙｄｉｓｃｕｓｓｅｄｄｅｔｅｃｔｉｎｇａｎｄｔｒａｃｋｉｎｇ，ｂｉｎｏｃｕｌａｒｓｔｅｒｅｏｔｈｅｆｏｌｌｏｗｉｎｇｑｕｅｓｔｉｏｎｓ：ｍｏｖｉｎｇｖｉｓｉｏｎｏｂｊｅｃｔｃａｌｉｂｒａｔｉｏｎ，ｔｈｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆｂｉｎｏｃｕｌａｒｓｔｅｒｅｏｖｉｓｉｏｎｍｏｖｉｎｇｏｂｊｅｃｔｔｒａｃｋｉｎｇａｎｄｍｅａｓｕｒｉｎｇｅｘｐｅｒｉｍｅｎｔａｌｓｙｓｔｅｍ：Ｏｎｍｏｖｉｎｇｏｂｊｅｃｔｄｅｔｅｃｔｉｎｇａｎｄｔｒａｃｋｉｎｇ：ｉｔｍａｉｎｌｙｒｅｓｅａｒｃｈｅｄｔｈｅｃｏｍｂｉｎａｔｉｏｎａｌｇｏｒｉｔｈｍｏｆｔｈｅｐｏｓｉｔｉｏｎ－ｆｏｒｅｃａｓｔｉｎｇｏｆｍｏｖｉｎｇｏｂｊｅｃｔｉｎｔｈｅＭｅａｎＳ１１ｉ允ｕｓｉｎｇｃｏｅ伍ｃｉｅｎｔｓｔｏＢｈａｔｔａｃｈａｒｙｙａｆｏｒｅｃａｓｔｔｈｅｏｃｃｌｕｓｉｏｎ．Ｔｈｅｎ．ｔｈｅｓｉｍｕｌａｔｉｏｎｉｓｐｅｒｆｏｒｍｅｄｗｈｅｎｔｈｅｏｂｊｅｃｔｉｓｉｎＮｏｎ—ｕｎｉｆｏｒｍｌｉｎｅａｒｍｏｔｉｏｎａｎｄｗｈｅｎｏｃｃｌｕｓｉｏｎｈａｐｐｅｎｓ，ｗｈｉｃｈａｃｈｉｅｖｅｄｐｒｅｄｉｃｔｅｄｒｅｓｕｌｔｓｉｎｒｕｎｎｉｎｇＯｎｅｆｆｉｃｉｅｎｃｙａｎｄｔｒａｃｋｉｎｇｓｔａｂｉｌｉｔｙ．ｂｉｎｏｃｕｌａｒｓｔｅｒｅｏｖｉｓｉｏｎｃａｌｉｂｒａｔｉｏｎ：Ｆｉｒｓｔ，ｔｈｅｃａｌｉｂｒａｔｉｎｇｂｏａｒｄｗｉｔｈｃｉｒｃｌｅｓｔａｒｇｅｔｉｓｍａｄｅａｎｄｔｈｅｃｏｏｒｄｉｎａｔｅｉｎｉｍａｇｅｏｆｆｅａｔｕｒｅＰｏｉｎｔｓｉｎｉｔａｒｅｅｘ仃ａｃｔｅｄ．Ｌｅｆｔａｎｄｆｉｇｈｔｃａｍｅｒａｓａｒｅｃａｌｉｂｒａｔｅｄｂｙｕｓｉｎｇ“ＴＳＡＩ”ｃａｌｉｂｒａｔｉｏｎｅｘｔｒａｃｔｉｏｎａｌｇｏｒｉｔｈｍ．Ｓｅｃｏｎｄ．ｔｈｅｒｅｓｕｌｔｓａｒｅａｌｇｏｒｉｔｈｍａｎｄｏｆ３Ｄｃｏｏｒｄｉｎａｔｅｏｆｓｐａｔｉａｌｐｏｉｎｔｓｕｎｄｅｒｂｉｎｏｃｕｌａｒｖｉｓｉｏｎｉｓｄｉｓｃｕｓｓｅｄ．Ｔｈｅｎ，ａＶＣ＋＋６．０ｂｉｎｏｃｕｌａｒｓｔｅｒｅｏｖｉｓｉｏｎｃａｌｉｂｒａｔｉｏｎｓｙｓｔｅｍｉｓｂｕｉｌｔｂｙｕｓｉｎｇｏｆｓｐａｔｉａｌｔｈｅｃａｌｉｂｒａｔｉｏｎｅｘｐｅｒｉｍｅｎｔｉｓｃａｒｒｉｅｄｏｎ．ＥｘｐｅｒｉｍｅｎｔａｌｖａｌｉｄａｔｅｄｂｙｍｅａｓｕｒｉｎｇｔｈｅｄｅｐｔｈｉｎｆｏｒｍａｔｉｏｎａｎｄｔｈｅｓｉｚｅＯｎｃｏｎｓｔｒｕｃｔｉｏｎｏｆｂｉｎｏｃｕｌａｒｓｔｅｒｅｏｖｉｓｉｏｎｍｏｖｉｎｇｏｂｊｅｃｔｏｂｊｅｃｔ．ｔｒａｃｋｉｎｇａｎｄｍｅａｓｕｒｉｎｇｅｘｐｅｒｉｍｅｎｔａｌｓｙｓｔｅｍ：Ｆｉｒｓｔ，ｔｈｅｍｏｖｉｎｇｏｂｊｅｃｔｕｎｄｅｒｂｉ．ｓｉｄｅｖｉｓｉｏｎｓａｒｅｍａｔｃｈｅｄｂｙｕｓｉｎｇｃｏｓｔｆｕｎｃｔｉｏｎａｎｄｔｈｅｍｅａｓｕｒｅｍｅｎｔｏｆｄｅｐｔｈｉｎｆｏｒｉｌｌａｔｉｏｎａｎｄｖｅｌｏｃｉｔｙａｒｅａｎａｌｙｚｅｄ．Ｓｅｃｏｎｄ，ｕｓｉｎｇＶＣ＋＋６．０，ｃｏｍｂｉｎｅｄｅｘｐｅｒｉｍｅｎｔａｌｓｙｓｔｅｍｆｏｒｂｉｎｏｃｕｌａｒｓｔｅｒｅｏｔｈｅｐａｒｔｓｄｉｓｃｕｓｓｅｄａｂｏｖｅａｎｄａｎｖｉｓｉｏｎｍｅａｓｕｒｉｎｇｉＳｄｅｓｉｇｎｅｄ．Ｔｈｅｌｌ，ｔｈｅｃｅｎｔｒｏｉｄｏｆｔｈｅｄｅｐｔｈｉｎｆｏｒｍａｔｉｏｎａｎｄｖｅｌｏｃｉｔｙａｒｅｍｅａｓｕｒｅｄｂｙｕｓｉｎｇｔｈｅｓｙｓｔｅｍ．ｏｂｊｅｃｔｔｒａｃｋｉｎｇａｎｄｍｏｖｉｎｇｏｂｊｅｃｔｉｓｅｘｔｒａｃｔｅｄ．ａｎｄｔｈｅｍｏｖｉｎｇＫｅｙｗｏｒｄｓ：ｂｉｎｏｃｕｌａｒｖｉｓｉｏｎ；ｍｏｖｉｎｇｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎａｎｄｔｒａｃｋｉｎｇ；‘ＴＳＡＩ’ｃａｌｉｂｒａｔｉｏｎ；ｏｂｊｅｃｔｍｅａｓｕｒｉｎｇ第Ｕ页西北大学学位论文知识产权声明书本人完全了解西北大学关于收集、保存、使用学位论文的规定。