双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L和C R上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。 图1：立体视觉系统 3.双目立体视觉相关基本理论说明 3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐
SIFT 特征点匹配算法 基于SIFT 方法的图像特征匹配可分为特征提取和特征匹配两个部分，可细化分为五个部分： ① 尺度空间极值检测（Scale-space extrema detection ）； ② 精确关键点定位（Keypoint localization ） ③ 关键点主方向分配（Orientation assignment ） ④ 关键点描述子生成（Keypoint descriptor generation ） ⑤ 比较描述子间欧氏距离进行匹配（Comparing the Euclidean distance of the descriptors for matching ） 1.1 尺度空间极值检测 特征关键点的性质之一就是对于尺度的变化保持不变性。因此我们所要寻找的特征点必须具备的性质之一，就是在不同尺度下都能被检测出来。要达到这个目的，我们可以在尺度空间内寻找某种稳定不变的特性。 Koenderink 和Lindeberg 已经证明，变换到尺度空间唯一的核函数是高斯函数。因此一个图像的尺度空间定义为：(,,)L x y σ，是由可变尺度的高斯函数(,,)G x y σ与输入图像(,)I x y 卷积得到，即： ),(),,(),,(y x I y x G y x L *=σσ （1.1） 其中：2222/)(221 ),,(σπσσy x e y x G +-= 在实际应用中，为了能相对高效地计算出关键点的位置，建议使用的是差分高斯函数（difference of Gaussian ）(,,)D x y σ。其定义如下： ) ,,(),,() ,()),,(),,((),,(σσσσσy x L k y x L y x I y x G k y x G y x D -=*-= （1.2） 如上式，D 即是两个相邻的尺度的差（两个相邻的尺度在尺度上相差一个相乘系数k ）。
双目视觉成像原理
双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L和C R上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。
图1：立体视觉系统 3.双目立体视觉相关基本理论说明 3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目 立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b 。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f 处，这个虚拟的图像平面坐标系O1uv 的u 轴和v 轴与和摄像机坐标系的x 轴和y 轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P 在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P 图像坐标的Y 坐标相同，即v1=v2。由三角几何关系得到: c c 1z x f u = c c 2z ）b -x （f u = v 1 c c 21z y f v v ==
二 特征点提取算法 1、基于SIFT （Scale Invariant Feature Transform ）方法的图像特征匹配 参看David G. Lowe 的“Distinctive Image Features from Scale-Invariant Keypoints ” 基于SIFT 方法的图像特征匹配可分为特征提取和特征匹配两个部分，可细化分为五个部分： ① 尺度空间极值检测（Scale-space extrema detection ）； ② 精确关键点定位（Keypoint localization ） ③ 关键点主方向分配（Orientation assignment ） ④ 关键点描述子生成（Keypoint descriptor generation ） ⑤ 比较描述子间欧氏距离进行匹配（Comparing the Euclidean distance of the descriptors for matching ） 1.1 尺度空间极值检测 特征关键点的性质之一就是对于尺度的变化保持不变性。因此我们所要寻找的特征点必须具备的性质之一，就是在不同尺度下都能被检测出来。要达到这个目的，我们可以在尺度空间内寻找某种稳定不变的特性。 Koenderink 和Lindeberg 已经证明，变换到尺度空间唯一的核函数是高斯函数。因此一个图像的尺度空间定义为：(,,)L x y σ，是由可变尺度的高斯函数(,,)G x y σ与输入图像(,)I x y 卷积得到，即： ),(),,(),,(y x I y x G y x L *=σσ （1.1） 其中：2222/)(221 ),,(σπσσy x e y x G +-= 在实际应用中，为了能计算的相对高效，所真正使用的是差分高斯尺度空间（difference of Gaussian ）(,,)D x y σ。其定义如下： ) ,,(),,() ,()),,(),,((),,(σσσσσy x L k y x L y x I y x G k y x G y x D -=*-= （1.2） 如上式，D 即是由两个相邻的尺度的差（两个相邻的尺度在尺度上相差一个相乘系数k ）。
双目立体视觉的水下应用 从图像预处理、相机标定、立体匹配三个方面论述了双目视觉在水下场景的应用，比较了与空气环境中应用的不同，对水下双目视觉发展趋势做了分析。 标签：水下双目视觉；相机标定；立体匹配 Abstract：This paper discusses the application of binocular vision in underwater scene from three aspects of image preprocessing，camera calibration and stereo matching，compares the application of binocular vision with that in air environment，and analyzes the development trend of underwater binocular vision. Keywords：underwater binocular vision；camera calibration；stereo matching 引言 双目立体视觉技术利用视差理论恢复像素的深度信息和三维坐标，通过获取左右两个视角下同时采集的两幅图像恢复三维场景信息，还原真实的三维世界，为导航提供目标的位置信息描述，是被动式视觉测量技术的一种。作为计算机视觉的一个重要分支，双目立体视觉技术模型简洁，运算高效，有着广阔的应用前景。而随着海洋科学技术的发展和人类对海洋资源探索的逐渐深入，双目视觉技术逐渐被应用到海洋探测，在对水下目标的监控、海底地形测绘、海流测量、水下军事设施的探测和侦查等方面都有着广泛的应用。 双目立体视觉系统模拟人眼，通过三角测量原理来获取图像的视差，进而得到目标三维信息，一般由以下几个功能模块组成：图像采集，相机标定，立体匹配，三维重建。常规的双目视觉大多是在单一介质的空气中，而由于水下环境的特殊性，往往存在光的散射，吸收效应等不利因素的干扰，相关技术方法也应随环境作适应性调整。本文从图像处理，相机标定，立体匹配这三个方面在水下场景的应用做了论述，阐明了与单一空气介质环境中的不同，并对水下双目立体视觉技术的发展做了展望。 1 成像模型 双目立体视觉用到的模型一般是线性的针孔模型，该模型是双目立体视觉中成像的基本模型，将相机理想化，并把空间点投影视为中心，投影未考虑镜头畸变和环境等其他因素，所以也叫线性摄像机模型。而水下成像模型则是考虑到折射的影响，对此做相应补偿和修正。 在双目立体视觉系统中，为了研究空间点和像点的投影关系，通常会用到4个坐标系：世界坐标系OW-XWYWXW、相机坐标系O-xyz、图像物理坐标系O-XY和图像像素坐标系Of-uv。
毕业设计（论文）题目基于SIFT特征的图像匹配 姓名张建华 学号0811111101 所在学院理学院 专业班级08信计 指导教师吴颖丹 日期2012 年 6 月 2 日
摘要 当今社会已经进入信息时代，随着计算机技术、通信技术和数学的发展，图像信息处理能力和水平也不断提高，相应的也得到更多关注、研究和更加广泛的应用。图像匹配是处理和解决各种图像信息的基础，已经成为虚拟现实和计算机可视化领域的研究热点。一直以来，研究人员对图像匹配技术进行了大量的研究，推出了许多匹配算法，其中特征匹配算法有着较高的精确度和稳定性。SIFT （Scale Invariant Feature Transform）特征匹配算法是Lowe提出来的用于图像特征匹配的算法，是目前特征匹配领域的热点，对图像的旋转，尺度缩放和亮度变换保持不变，对视角变换，仿射变换保持一定程度的稳定。SIFT特征点是图像的一种尺度不变局部特征点，具有独特性好，信息量丰富，多量性，高速性，可扩展性等特点。正是借助于这些特点，使得传统图像配准中的许多诸如前面提到的共性问题得到了很大程度的改善。该算法首先给出了尺度空间的生成方法，检测出极值点；接下来给出了SIFT特征点的提取步骤和精确定位极值点的方法；然后基于特征点邻域像素的梯度和方向生成了关键点的描述向量；最后根据特征向量给出了匹配方法，提取了SIFT的特征点，并其应用于图像匹配。 本文首先简要介绍了图像匹配所需的基础知识，然后详细介绍了SIFT算法的具体流程。通过大量的实验证明SIFT算法具有较强的匹配能力和鲁棒性，是一种较好的图像匹配算法。 关键字：SIFT; 图像匹配; 尺度空间; 极值点; 特征向量
邮局订阅号：82-946120元/年技术创新 软件时空 《PLC 技术应用200例》 您的论文得到两院院士关注 一种快速双目立体匹配方法 A Fast Stereo Matching Method for Binocular Images (苏州大学) 梅金燕龚声蓉赵勋杰 MEI Jin-yan GONG Sheng-rong ZHAO Xun-jie 摘要:在双目立体视觉中立体匹配是关键技术之一。为了提高匹配速度,提出一种新的立体匹配方法。首先根据极线约束条件限定同名点搜索区域,然后在极线约束区域使用活动轮廓分割出物体区域,进一步缩小匹配点搜索范围。在匹配算法方面,使用了邻域差值模板匹配方法。实验证明,提出的方法能够显著地提高匹配速度,并有较好的匹配精度。关键词:立体匹配;极线约束;活动轮廓;领域差值模板中图分类号:TP391文献标识码:A Abstract:Stereo matching is crucial for the distance measurement with binocular stereo system.Since the two cameras are hardly to be strictly parallel,matching based on epipolar constraint can not be applied directly.Analysing the system ’s module,a new mach -ing method was proposed in this paper.Firstly,the correct loaction area was selected based on the epipolar constraint.Secondly,the background was excluded out of the former area by active counter model.Finaly,the corresponding point is matched via feature tem -plate which is formed of neighborhood difference.The experimental results show that the proposed algorithm can improve stereo matching speed and it is more effective in the situation of detecting more than one point on the surface of the same object.Key words:Stereo matching;Epipolar constraint;Active counter;Neighborhood difference template 文章编号:1008-0570(2012)10-0415-03 引言 双目立体视觉是计算机视觉的一个重要分支,它是一种由两幅图像获取物体三维几何信息的方法。它利用两个摄像机对同一景物从不同的视角成像,然后根据视差和投影模型来获取景物的三维信息。双目立体视觉由于直接模拟了人类双眼视觉的生理构造,因此,在许多领域有着广阔的应用前景,如微操作系统的位姿检测与控制、机器人导航与航测、三维测量学及虚拟现实等。 在双目立体视觉中,通过立体匹配方法寻找空间同一物点在左、右两幅图像上对应的投影点(同名点)进而获得视差。立体匹配方法大体可以分为基于区域灰度和基于特征两类匹配方法。基于区域灰度的匹配方法简单,容易实现,但对于左图像中的每一像点,都要与右图像中所有点进行相 关运算,计算量大,实时性差,且对光照因素比较敏感。通过极线约束,可以沿物点对应极线搜索同名点,将二维搜索限制到一维搜索,提高匹配的速度。但是,在两图极线不平行时这种匹配方法不适合。针对这种情况,文献对整个图像平面投影进行校正,使两个图像重投影后极线平行,对校正后的图像进行相关匹配。然而,平面投影校正忽略了极线的方向性,在极点距离图像较近时图像失真严重,方法比较复杂。文献提出了基于极线局部校正的匹配算法,使基于灰度的匹配方法可以得到有效的应用,然而,该方法匹配时间较长,效率较低。文献在分析双目成像形成极线约束的基础上,从行和列两个方向上缩小第二幅图像待 匹配特征点坐标的搜索范围,提高了匹配速度,但是搜索范围通常包括前景和后景,匹配正确与否易受后景影响。 针对上述问题,本文提出了一种快速立体匹配方法。首先根据极线约束限定同名点搜索区域,然后通过检测物体轮廓去除背景区域,进一步约束搜索区域。最后,采用邻域差值模板进行匹配,将特征匹配和区域匹配两种方法结合起来,减小光照因素的影响。 1极线约束原理 在如图1所示的双目立体视觉系统中,假设三维空间点P 是两个摄像机均可见的空间场景物上的一点,点P 在光心点为 C L 和C R 相机像面I L 、I R 上的投影分别为P L 、P R ,由光心、 像点和空间点形成的平面称为极平面。两光心连线与像平面的交点分别为E L 、E R 。极平面与左像面I L 的交线P L E L 图1双目立体视觉中的极线几何关系 称为点P R 在图像I L 中的极线,交线P R E R 也有同样的定义。无论与P L 对应的P 点距离远近,它在右图上的投影点总是在P L 的极线P R E R 上。对于任意P L ,只需要在它的极线上寻找对应点 P R ;反之亦然。 这是双目视觉的一个重要特点,称之为极线约束。通过极线约束,我们可以由一个投影点知道其对应的极线,但不知道它对应点的具体位置,即极限约束是点与直线的对应,而不是点与点的对应。尽管如此,极限约束给出了对应点重要的约束条件,它将对应点匹配从整幅图像寻找限定在一条直线上需找对应点。因此,极大地减小了搜索地范围,对点的匹配具有 梅金燕:硕士研究生 基金项目:基金申请人:龚声蓉;项目名称:基于二型模糊概率图模型的多摄像头目标检测研究;基金颁发部门:国家自然科学基金委员会(61170124) 415--
双目立体视觉技术的实现及其进展 摘要：阐述了双目立体视觉技术在国内外应用的最新动态及其优越性。指出双目体视技术的实现分为图像获取、摄像机标定、特片提取、立体匹配和三维重建几个步骤，详细分析了各个步骤的技术特点、存在的问题和解决方案，并对双目体视技术的发展做了展望。 关键词：双目立体视觉计算机视觉立体匹配摄像机标定特征提取 双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅国像中的视差，获得该点的三维坐标值。80年代美国麻省理工学院人工智能实验室的Marr提出了一种视觉计算理论并应用在双睛匹配上，使两张有视差的平面图产生在深度的立体图形，奠定了双目立体视觉发展理论基础。相比其他类的体视方法，如透镜板三维成像、投影式三维显示、全息照相术等，双目本视直接模拟人类双眼处理景物的方式，可靠简便，在许多领域均极具应用价值，如微操作系统的位姿检测与控制、机器人导航与航测、三维测量学及虚拟现实等。 1 双目体视的技术特点 双目标视技术的实现可分为以下步骤：图像获取、摄像机标定、特征提取、图像匹配和三维重建，下面依次介绍各个步骤的实现方法和技术特点。 1.1 图像获取 双目体视的图像获取是由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，获取立体图像对。其针孔模型如图1。假定摄像机C1与C2的角距和内部参数都相等，两摄像机的光轴互相平行，二维成像平面X1O1Y1和X2O2Y2重合，P1与P2分别是空间点P在C1与C2上的成像点。但一般情况下，针孔模型两个摄像机的内部参数不可能完成相同，摄像机安装时无法看到光轴和成像平面，故实际中难以应用。 上海交大在理论上对会摄式双目体视系统的测量精度与系统结构参数之间的关系作了详尽分析，并通过试验指出，对某一特定点进行三角测量。该点测量误差与两CCD光轴夹角是一复杂的函数关系；若两摄像头光轴夹角一定，则被测坐标与摄像头坐标系之间距离越大，测量得到点距离的误差就越大。在满足测量范围的前提下，应选择两CCD之间夹角在50℃～80℃之间。 1.2 摄像机的标定 对双目体视而言，CCD摄像机、数码相机是利用计算机技术对物理世界进行重建前的基本测量工具，对它们的标定是实现立体视觉基本而又关键的一步。通常先采用单摄像机的标定方法，分别得到两个摄像机的内、外参数；再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。目前常用的单摄像机标定方法主要有： （1）摄影测量学的传统设备标定法。利用至少17个参数描述摄像机与三维物体空间的结束关系，计算量非常大。 （2）直接线性变换性。涉及的参数少、便于计算。 （3）透视变换短阵法。从透视变换的角度来建立摄像机的成像模型，无需初始值，可进行实时计算。 （4）相机标定的两步法。首先采用透视短阵变换的方法求解线性系统的摄像机参数，再以求得的参数为初始值，考虑畸变因素，利用最优化方法求得非线性解，标定精度较高。 （5）双平面标定法。 在双摄像机标定中，需要精确的外部参数。由于结构配置很难准确，两个摄像机的距离
双目视觉的图像立体匹配系统文档 1 引言 计算机视觉技术的发展将光与影的艺术和计算机的逻辑性紧密结合起来，而双目立体视觉技术更将这种结合从平面二次元上升到立体的角度，为我们的生产生活提供了新的技术和工具，例如已经被普遍运用的3D电影技术，研发中的虚拟现实、谷歌视觉眼镜、汽车自动驾驶技术，即将上市的淘宝虚拟实景购物等，不断改变着我们的生活，另外双目立体视觉在军事、医学、工业等领域都有其重要的作用，是机器感知物体几何层级的基础，因此对双目视觉的理论研究成为推动立体视觉乃至计算机视觉技术在各个领域创造更高价值的重要因素。 在双目视觉的研究和运用中，最重要的一个阶段无疑为将平面图像转化为可计算机可识别的立体模型，这里将用到立体匹配技术，目前双目视觉研究领域用到的立体匹配算法及其衍生算法有很多种，算法的效率和匹配精度将直接影响到算法运用的响应时间和准确度[1]，当今各种视觉智能设备的发展需要将立体匹配过程直接嵌入到单片机中，这种场景下，算法的效率和匹配精度将直接决定不同运算性能的嵌入式设备的选择和产品推广后的用户体验度，也将直接决定设备成本，因此研究出更加速度快、精度高的立体匹配算法在各领域都具有划时代的重要意义。 2 系统方案设计 2.1 双目视觉的图像立体匹配系统 说起立体视觉系统，要从人的双眼说起，人眼是一个典型的双目视觉系统，每只眼睛是一个摄像机，两只平行的眼睛是两台平行的摄像机，因为两只眼睛的位置不同，看到的图像是有差异的，这个差异就是立体视觉的基础，视觉信号传入大脑，大脑利用其强大的匹配能力，就可以基本确定图像中的物体的立体信息，或者叫做图像的深度信息。随着人们知识和生产生活的发展，需要通过仿真立体视觉的原理，让计算机获取到图像从2D向3D发展，即获取图像的深度信息，以实现一些和空间视觉有关的需求，这就出现了机器立体视觉技术。
双目立体视觉 双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。现说明介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率。 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi 语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论说明 1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到: 上式中（xc，yc，zc）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u1，v1）和（u2，v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差: 图1 双目立体成像原理图图3 一般双目立体视觉系统原理图
双目立体视觉技术简介 1. 什么是视觉 视觉是一个古老的研究课题，同时又是人类观察世界、认知世界的重要功能和手段。人类从外界获得的信息约有75%来自视觉系统，用机器模拟人类的视觉功能是人们多年的梦想。视觉神经生理学，视觉心里学，特别是计算机技术、数字图像处理、计算机图形学、人工智能等学科的发展，为利用计算机实现模拟人类的视觉成为可能。在现代工业自动化生产过程中，计算机视觉正成为一种提高生产效率和检验产品质量的关键技术之一，如机器零件的自动检测、智能机器人控制、生产线的自动监控等;在国防和航天等领域，计算机视觉也具有较重要的意义，如运动目标的自动跟踪与识别、自主车导航及空间机器人的视觉控制等。人类视觉过程可以看作是一个从感觉到知觉的复杂过程，从狭义上来说视觉的最终目的是要对场景作出对观察者有意义的解释和描述；从广义上说，是根据周围的环境和观察者的意愿，在解释和描述的基础上做出行为规划或行为决策。计算机视觉研究的目的使计算机具有通过二维图像信息来认知三维环境信息的能力，这种能力不仅使机器能感知三维环境中物体的几何信息(如形状、位置、姿态运动等)，而且能进一步对它们进行描述、存储、识别与理解，计算机视觉己经发展起一套独立的计算理论与算法。 2. 什么是计算机双目立体视觉 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像，如图一。 图一、视差（Disparity）图像 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。 双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系
SHANGHAI JIAO TONG UNIVERSITY 学士学位论文 THESIS OF BACHELOR 基于ransac算法的sift特征匹配研究（OpenCV+VS2010）
上海交通大学 毕业设计（论文）学术诚信声明 本人郑重声明：所呈交的毕业设计（论文），是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 作者签名： 日期：年月日
上海交通大学 毕业设计（论文）版权使用授权书 本毕业设计（论文）作者同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权上海交通大学可以将本毕业设计（论文）的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本毕业设计（论文）。 保密□，在年解密后适用本授权书。 本论文属于 不保密□。 （请在以上方框内打“√”） 作者签名：指导教师签名： 日期：年月日日期：年月日
视频图像跟踪系统 摘要 图像（Image）--是客观世界的景物通过光学系统作用后产生的影像。图像直观地反映了场景中物体的颜色、亮度等特征，从而使我们能清晰分辨他们的形状、大小和空间位置。近30年来人们试图研究基于计算机的视觉系统，并且试图利用其系统来代替工业农业上的有害劳动。这样的视觉系统渐渐地进入我们的生活，让我们的生活变得很丰富，并且我们现在享受着图像处理这学问的成果。在世界上的先进的国家都设立了图像处理研究所，研究解决国防部门所要的问题。 本文将介绍基于OpenCV（Open Source Computer Vision Library）的视频图像匹配、拼接、融合和目标跟踪的算法以及方法。说到图像拼接，本文中所用的图像拼接算法是高效的SIFT特征算法。首先，用两个通用的USB摄像头来实时地进行采集图像，并对这两幅图像提取SIFT特征点。然后，进行粗匹配。最后用RANSAC算法对所提取出来的SIFT特征点匹配对进行提纯以及估计模型参数。最后把两幅图像拼接成一幅完整的图像，并且用加权平均算法进行无缝拼接。再进行摄像头标定，求出两个通用摄像头的内外参数，最后进行测距以及跟踪。最终取得了令人满意的结果。 关键词：SIFT，匹配,拼接，配准，RANSAC
计算机双目立体视觉 双目立体视觉技术是仿照人类利用双目线索感知深度信息的方法，实现对三维信息的感知。为解决智能机器人抓取物体、视觉导航、目标跟踪等奠定基础。 双目立体视觉（Binocular Stereo Vision ）是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点之间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获取的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作为视差（Disparity ）图像。 双目立体视觉系统 立体视觉系统由左右两部摄像机组成，如图，世界空间中的一点A(X,Y ,Z)在左右摄像机的成 像面1C 和r C 上的像点分别为）（111,v u a 和） （r r r v u a ,。这两个像点是世界空间中同一个对象点A 的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心1O 和r O 的连线，即投影线11O a 和r r O a ，它们的交点即为世界空间中的对象点A 。这就是立体视觉的基本原理。 双目立体视觉智能视频分析技术 恢复场景的3D 信息是立体视觉研究中最基本的目标，为实现这一目标，一个完整的立体视觉系统通常包含六个模块：图像获取、摄像机标定、特征提取、立体匹配、三维恢复和视频
分析（运动检测、运动跟踪、规则判断、报警处理）。 图像获取（Image Acquisition ） 数字图像的获取是立体视觉的信息来源。常用的立体视觉图像一般为双目图像，有的采用夺目图像。图像的获取方式有很多种，主要有具体运用的场合和目的决定。立体图像的获取不仅要满足应用要求，而且考虑视点差异、光照条件、摄像机的性能和场景特点等方面的影像。 摄像机标定（Camera Calibration ） 图像上每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空 间物体表面相应点的几何位置有关。这些位置的相互关系由摄像机成像几何模型来决定。该几何模型的参数称为摄像机参数，这些参数必须由实验与计算来确定，实验与计算的过程称为摄像机定标。 立体视觉系统摄像机标定是指对三维场景中对象点在左右摄像机图像平面上的坐标位置）（111,v u a 和） （r r r v u a ,与其世界空间坐标A （X, Y , Z ）之间的映射关系的确立，是实现立体视觉三维模型重构中基本且关键的一步。 特征提取（Feature Acquisition ） 特征提取的目的是获取匹配得以进行的图像特征，图像特征的性质与图像匹配的方法选择有着密切的联系。目前，还没有建立起一种普遍适用的获取图像特征的理论，因此导致了立体视觉研究领域中匹配特征的多样化。像素相位匹配是近二十年才发展起来的一类匹配算法。相位作为匹配基元，本身反映着信号的结构信息，对图像的高频噪声有很好的一直作用，适于并行处理，能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题，需加入自适应滤波器解决。或者是像素的集合，也可以是它们的抽象表达，如图像的结构、图像的目标和关系结构等。常用的匹配特征主要有点状特征、线装特征和区特征等几种情形。 一般而言，尺度较大的图像特征蕴含较多的图片信息，且特征本身的数目较少，匹配效率高；但特征提取和描述过程存在较大的困难，定位精度也较差。而对于尺度较小的图像特征来说，对其进行表达和描述相对简单，定位的精度高；但由于特征本身数码较多，所包含的图像信息少，在匹配时需要采用较为严格的约束条件和匹配策略，一尽可能的减少匹配歧义和提高匹配效率。总的来说，好的匹配特征应该具有要可区分性、不变性、唯一性以及有效解决匹配歧义的能力。 图像匹配（Image Matching ） 在立体视觉中，图像匹配是指将三维空间中一点A （X, Y , Z ）在左右摄像机的成像面1C 和r C 上的像点）（111,v u a 和） （r r r v u a ,对应起来。图像匹配是立体视觉中最重要也是最困难的问题，一直是立体视觉研究的焦点。当空间三维场景经过透视投影（Perspective Projection ）变换为二维图像时，同一场景在不同视点的摄像机图像平面上成像会发生不同程度的扭曲和变形，而且场景中的光照条件、被测对象的几何形状和表面特性、噪声干扰和畸变、摄像机特性等诸多因素的影响都被集中体现在单一的图像灰度值中。显然，要包含了如此之多不利因素的图像进行精准的匹配是很不容易的。
密级： NANCHANG UNIVERSITY 学士学位论文 THESIS OF BACHELOR （2013 —2017 年） 题目双目视觉相机标定与立体匹配算法研究学院：信息工程学院系电子系 专业班级：卓越通信131班 学生：婷学号：6102213916 指导教师：其纶职称：讲师 起讫日期：
双目视觉相机标定与立体匹配算法研究 专业：通信工程学号：6102213916 学生：婷指导教师：其纶 摘要 本文基于双目视觉图像传输系统重点研究了摄像机标定与立体匹配两个模块。在摄像机标定中，重点阐述了三大坐标系、两种摄像机模型以及正友平面标定法，基于Matlab实现了立体标定过程并对实验结果进行了分析；在立体标定中，重点阐述了基于全局误差能量最小化立体匹配算法和基于线性生长立体匹配算法的原理，基于Matlab仿真了立体匹配算法的实现过程，并就可靠度与计算量两个指标对两种匹配算法进行了比较分析。 关键词：双目视觉，摄像机标定，立体匹配，正友平面标定，摄像机坐标系三维重建，模板匹配
Binocular vision image transmission system design Abstract Based on the binocular visual image transmission system, this paper focuses on the camera calibration and stereo matching .In the camera calibration, this study was expounded the three coordinates, the two kinds of camera models and ilf plane calibration method, camera calibration was implemented based on Matlab and the experiment results are analyzed; In stereo calibration, this study was expounded the principle of stereo matching algorithm based the global error energy minimization and stereo matching algorithm based on linear growth, and the implementation process of the stereo matching algorithm based on Matlab, and the reliability and the amount of calculation of two indicators of the two matching algorithms are analyzed in comparison. Keyword: Binocular vision, camera calibration, stereo matching, ilf plane calibration, the camera coordinate system of 3 d reconstruction, template matching
基于HALCON的双目立体视觉系统实现 段德山（大恒图像公司） 摘要双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。本文将主要介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率提供了参考。 关键词双目视觉三维重建立体匹配摄像机标定视差 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论介绍
1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到： 上式中（xc，yc，zc）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u1，v1）和（u2，v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差：
双目立体视觉问题 2008-10-30 20:24 双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。现说明介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率。 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论说明 1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为 P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到: 上式中（x c，y c，z c）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u1,v1）和（u2,v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差: