电子科技大学 2012级本科毕业设计（论文）开题报告表
只有这样计算机才能运行。为使更多的人能使用复杂的计算机，必须改变过去的那种让人来适应计算机，来死记硬背计算机的使用规则的情况。而是反过来让计算机来适应人的习惯和要求，以人所习惯的方式与人进行信息交换，也就是让计算机具有视觉、听觉和说话等能力。这时计算机必须具有逻辑推理和决策的能力。具有上述能力的计算机就是智能计算机。 智能计算机不但使计算机更便于为人们所使用，同时如果用这样的计算机来控制各种自动化装置特别是智能机器人，就可以使这些自动化系统和智能机器人具有适应环境，和自主作出决策的能力。这就可以在各种场合取代人的繁重工作，或代替人到各种危险和恶劣环境中完成任务。 3、课题研究内容 将计算机视觉和图像处理技术应用到车辆驾驶辅助系统当中可以有效地为车辆行驶提供安全保障。而在计算机视觉中，利用视觉信息感知环境，由单幅二维投影图像确定目标与装载摄像机物体之间距离信息的研究，是目前智能交通系统(ITS)和智能车辆系统(IVS)的关键技术之一。本文主要研究针对ITS和IVS的单目视觉测距方法。基于单目视觉的测量技术是从计算机视觉领域中发展起来的新型非接触测量技术，它是一种结合图像处理技术，把图像当作检测和传递信息的手段或载体而加以利用的测量方法。本文利用投影几何原理和图像处理方法研究了单目测距算法，重点研究了摄像机标定技术、图像预处理方法、障碍物体检测及计算障碍物体距离的算法。本文首先采用了一种在照、摄像机内外部参数未知的条件下，利用图像平面中的平行线，以及它们形成的消隐点具有几何约束关系来实现摄像机标定的新方法。该方法与以前方法相比，计算复杂性不高，但相对而言，准确性和鲁棒性较高，且无须在使用前标定相机，更符合实际需要(因现今的照、摄像机都是变焦距的)，从而具有广泛的推广价值。其次，对多种图像预处理方法进行了分析、比较和选择，采用的方法兼顾了图像处理效果和实时性要求。最后，在分析道路特征的基础上建立了道路几何模型，并利用改进的Hough变换提取出道路边缘曲线模型。并在现有单一道路模型测距算法的基础上做了改进，提出了混合几何模型的单目测距算法。模拟试验结果表明该算法对视觉测距领域的研究有一定的借鉴意义。 4、关键问题及研究目标 本次研究目标主要是通过对已有基于计算机视觉的测距算法的实现和评估。关键问题在于如何用OpenCV实现这些算法并对其进行合适的评估。 5、研究特点 基于计算机视觉的距离测量主要是单目测距和多目测距，它们都有各自的优点，也
机器视觉测量技术杨永跃合肥工业大学 2007.3 目录 第一章绪论 1.1 概述 1.2 机器视觉的研究内容 1.3 机器视觉的应用 1.4 人类视觉简介 1.5 颜色和知觉 1.6 光度学 1.7 视觉的空间知觉 1.8 几何基础 第二章图像的采集和量化 2.1 采集装置的性能指标 2.2 电荷藕合摄像器件 2.3 CCD 相机类 2.4 彩色数码相机 2.5 常用的图像文件格式
2.6 照明系统设计 第三章光学图样的测量 3.1 全息技术 3.2 散斑测量技术 3.3 莫尔条纹测量技术 3.4 微图像测量技术 第四章标定方法的研究 4.1 干涉条纹图数学形成与特征4.2 图像预处理方法 4.3 条纹倍增法 4.4 条纹图的旋滤波算法 第五章立体视觉 5.1 立体成像 2 5.2 基本约束 5.3 边缘匹配 5.4 匹域相关性 5.5 从 x 恢复形状的方法 5.6 测距成像
第六章标定 6.1 传统标定 6.2 Tsais 万能摄像机标定法 6.3 Weng ’ s 标定法 6.4 几何映射变换 6.5 重采样算法 第七章目标图像亚像素定位技术第八章图像测量软件 (多媒体介绍 第九章典型测量系统设计分析9.1 光源设计 9.2 图像传感器设计 9.3 图像处理分析 9.4 图像识别分析 附:教学实验 1、视觉坐标测量标定实验 2、视觉坐标测量的标定方法。 3、视觉坐标测量应用实验 4、典型零件测量方法等。
3 第一章绪论 1.1 概述 人类在征服自然、改造自然和推动社会进步的过程中,面临着自身能力、能量的局限性, 因而发明和创造了许多机器来辅助或代替人类完成任务。智能机器或智能机器人是这种机器最理想的模式。 智能机器能模拟人类的功能、能感知外部世界,有效解决问题。 人类感知外部世界:视觉、听觉、嗅觉、味觉、触觉 眼耳鼻舌身 所以对于智能机器,赋予人类视觉功能极其重要。 机器视觉:用计算机来模拟生物(外显或宏观视觉功能的科学和技术。 机器视觉目标:用图像创建或恢复现实世界模型,然后认知现实世界。 1.2 机器视觉的研究内容 1 输入设备成像设备:摄像机、红外线、激光、超声波、 X 射线、 CCD 、数字扫描仪、超声成像、 CT 等 数字化设备 2 低层视觉(预处理 :对输入的原始图像进行处理(滤波、增强、边缘检测 ,提取角点、边缘、线条色彩等特征。 3 中层视觉:恢复场景的深度、表面法线,通过立体视觉、运动估计、明暗特征、纹理分析。系统标定
单目视觉图像深度测量方法研究 相机与其它传感器相比,具有能够直观反映客观世界、数据量大、信息丰富等特点,而且通常价格较低、配置方便,是自动化装置和机器人感知环境传感器中的优先选择之一。但由于普通相机在拍摄时获得的是被拍摄场景投影到成像平面上的二维图像,丢失了场景的深度信息,这使得机器无法通过图像直接得到场景中物体的远近、大小和运动速度等信息,因此需要从二维图像中恢复深度信息,即深度测量。深度测量在工业自动化、智能机器人、目标检测和跟踪、智能交通、三维建模和3D视频制作等领域都有广泛的应用。深度测量方法有很多种,其中基于单目视觉的图像深度测量方法具有设备简单、成本低廉、操作方便等特点而成为研究热点,并且单目相机体积小,重量轻,在一些有空间大小或载荷限制的特定场合以及手眼系统等应用中,需要或只能使用基于单目视觉的图像深度测量方法,而目前该测量方法还很不成熟,有必要对其计算原理、技术方法等方面进行研究。 因此本文对基于单目视觉的图像深度测量方法开展研究,主要工作和创新点如下:(1)提出一种基于熵和加权Hu氏不变矩的目标物体绝对深度的测量方法。该方法用普通单目相机拍摄同一场景的两幅图像,拍摄时保持相机的参数不变,将相机沿光轴方向移动,分别在物距间隔为d的前后两处各拍摄一幅图像,然后采用LBF模型的方法分割出图像中的物体,并求出各个目标物体像的面积,再将物体像的熵的相对变化率和加权Hu氏不变矩结合起来实现图像内物体的自动匹配,最后运用本文推导的公式计算出各个目标物体的绝对深度。文中采用真实场景图像对该方法进行了实验验证并与其他方法进行了对比,结果表明了该方法的有效性。(2)提出一种基于SIFT特征的目标物体绝对深度的测量方法,该方法同样需要按照上面的方法获取同一场景的两幅图像,然后分别对这两幅图像进行图像分割和SIFT特征点提取,并进行图像中的目标物体匹配,接着用凸包和几何形状约束从匹配物体中选出一对最佳直线段,最后根据光学成像原理利用直线段长度计算出场景中静态目标物体的绝对深度信息。 由于是通过被测量物体上的两个SIFT特征点所成的直线段长度来计算出物体的绝对深度信息的,所以该方法鲁棒性较好,不受场景中被测量目标物体部分遮挡或缺失的限制,对比实验表明该方法测量精度高于现有其他方法。(3)提出一种基于梯度信息和小波分析的单幅图像相对深度测量方法。该方法首先利用图像
双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L和C R上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。 图1：立体视觉系统 3.双目立体视觉相关基本理论说明 3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐
基于单目视觉的车辆测距系统研究 【摘要】本文，针对智能汽车单目视觉提出了通过镜头跟随汽车移动导致图像放大倍数的改变，然后根据图像大小的变化和移动距离来计算车辆与前方障碍物之间距离的方法，有效提高了车距测量的精确度。 【关键词】单目视觉;汽车测距系统 随着现代汽车智能化程度不断提高，利用机器视觉获取路况环境信息，进而对汽车实时控制是实现汽车智能化的重要方法之一，而通过单目视觉系统来监测本车与前方障碍物的距离是为汽车智能化纵向控制提供输入参数最常用的方法。 单目视觉系统通常使用对应点标定法来获取相关的参数，但由于汽车行驶过程中摄像机位置经常发生变化，进而引起系统参数发生变化，使得本方法的精确度经常发生变化。本文提出通过镜头跟随汽车移动导致图像放大倍数的改变，然后根据图像大小的变化和移动距离来计算车辆与前方障碍物之间的距离。 一、障碍物距离计算方法 本测量方法的理论依据是物体成像关系，汽车带动摄像头移动，摄像头对前方障碍物进行拍摄，拍摄图片由图像处理机处理，计算出障碍物距离。 假设汽车行驶在相对平整的路面上，我们采用计算机视觉中常用的透视投影，路况的光线均通过透镜的中心。经过透镜的中心且垂直于图像平面的直线可称之为光轴。下面我们分平行和垂直于光轴移动两种情况计算障碍物的移动。 1.障碍物平行于光轴移动的计算 图1 障碍物向镜头移动成像图 障碍物在AB位置时成像为CD;随着障碍物与摄像头距离变化后，障碍物在A’B’位置成像为C’D’;C’D’/CD=k;k为障碍物的图像放大率。假设障碍物在AB位置时的物距为U，像距为V，障碍物在A’B’位置时的物距为U’，像距仍然为V，则有式①和式②。 ①② ②式除以①式得： ③ 因为AB=A’B’，由③式得：
机器视觉测量技术 杨永跃 合肥工业大学 2007.3
目录第一章绪论 1.1 概述 1.2 机器视觉的研究内容 1.3 机器视觉的应用 1.4 人类视觉简介 1.5 颜色和知觉 1.6 光度学 1.7 视觉的空间知觉 1.8 几何基础 第二章图像的采集和量化 2.1 采集装置的性能指标 2.2 电荷藕合摄像器件 2.3 CCD相机类 2.4 彩色数码相机 2.5 常用的图像文件格式 2.6 照明系统设计 第三章光学图样的测量 3.1 全息技术 3.2 散斑测量技术 3.3 莫尔条纹测量技术 3.4 微图像测量技术 第四章标定方法的研究 4.1 干涉条纹图数学形成与特征 4.2 图像预处理方法 4.3 条纹倍增法 4.4 条纹图的旋滤波算法 第五章立体视觉 5.1 立体成像
5.2 基本约束 5.3 边缘匹配 5.4 匹域相关性 5.5 从x恢复形状的方法 5.6 测距成像 第六章标定 6.1 传统标定 6.2 Tsais万能摄像机标定法 6.3 Weng’s标定法 6.4 几何映射变换 6.5 重采样算法 第七章目标图像亚像素定位技术 第八章图像测量软件 （多媒体介绍） 第九章典型测量系统设计分析9.1 光源设计 9.2 图像传感器设计 9.3 图像处理分析 9.4 图像识别分析 附：教学实验 1、视觉坐标测量标定实验 2、视觉坐标测量的标定方法。 3、视觉坐标测量应用实验 4、典型零件测量方法等。
第一章绪论 1.1 概述 人类在征服自然、改造自然和推动社会进步的过程中，面临着自身能力、能量的局限性，因而发明和创造了许多机器来辅助或代替人类完成任务。智能机器或智能机器人是这种机器最理想的模式。 智能机器能模拟人类的功能、能感知外部世界，有效解决问题。 人类感知外部世界：视觉、听觉、嗅觉、味觉、触觉 眼耳鼻舌身 所以对于智能机器，赋予人类视觉功能极其重要。 机器视觉：用计算机来模拟生物（外显或宏观）视觉功能的科学和技术。 机器视觉目标：用图像创建或恢复现实世界模型，然后认知现实世界。 1.2 机器视觉的研究内容 1 输入设备成像设备：摄像机、红外线、激光、超声波、X射线、CCD、数字扫描仪、 超声成像、CT等 数字化设备 2 低层视觉（预处理）：对输入的原始图像进行处理（滤波、增强、边缘检测），提取角 点、边缘、线条色彩等特征。 3 中层视觉：恢复场景的深度、表面法线，通过立体视觉、运动估计、明暗特征、纹理 分析。系统标定 4 高层视觉：在以物体为中心的坐标系中，恢复物体的完整三维图，识别三维物体，并 确定物体的位置和方向。 5 体系结构：根据系统模型（非具体的事例）来研究系统的结构。（某时期的建筑风格— 据此风格设计的具体建筑） 1.3 机器视觉的应用 工业检测—文件处理，毫微米技术—多媒体数据库。 许多人类视觉无法感知的场合，精确定量感知，危险场景，不可见物感知等机器视觉更显其优越十足。 1 零件识别与定位
双目视觉成像原理
双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L和C R上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。
图1：立体视觉系统 3.双目立体视觉相关基本理论说明 3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目 立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b 。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f 处，这个虚拟的图像平面坐标系O1uv 的u 轴和v 轴与和摄像机坐标系的x 轴和y 轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P 在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P 图像坐标的Y 坐标相同，即v1=v2。由三角几何关系得到: c c 1z x f u = c c 2z ）b -x （f u = v 1 c c 21z y f v v ==
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910311557.X (22)申请日 2019.04.18 (71)申请人 北京联合大学 地址 100101 北京市朝阳区北四环东路97 号 (72)发明人 刘宏哲 王永森 (74)专利代理机构 北京思海天达知识产权代理 有限公司 11203 代理人 刘萍 (51)Int.Cl. G01S 11/12(2006.01) (54)发明名称 一种基于单目视觉的目标精准测距方法 (57)摘要 一种基于单目视觉的目标精准测距方法属 于计算机视觉计算领域，主要应用于智能驾驶场 景感知中前方车辆目标测距技术中。该方法主要 分为相机标定、目标测距关键点选取、目标测距、 误差修正四大部分。通过选取合适的测距关键 点，结合多种测距算法以及对测距误差进行修 正，最终得到目标的精准距离。该方法可以应用 在基于视觉计算的很多行业中，如应用于无人驾 驶汽车前方车辆目标测距，城市交通车辆检测与 行为意图分析，智能机器人目标测距等应用中。 本方法较其他视觉测距方法精度更高。权利要求书2页 说明书4页 附图6页CN 110031829 A 2019.07.19 C N 110031829 A
1.一种基于单目视觉的目标精准测距方法，其特征在于，包括以下步骤： 步骤1：相机标定； 步骤1-1：打印一张用于相机标定的黑白相间的棋盘格，把它贴在一个平面上，作为标定物； 步骤1-2：使用需要标定的相机捕获棋盘格图像，要求整张棋盘格在图像内，每个棋盘格边长不能少于10个像素，并且捕获从不同角度拍摄的N张图像； 步骤1-3：打开MATLAB软件中相机标定模块，点击“add images ”，然后输入模板的方格大小d mm，选中步骤1-2中获取到的N张图像； 步骤1-4：添加完N张图像之后，选择“calibrate ”命令，出现标定结果统计图，点击保存calibration.mat文件，相机标定完成； 步骤1-5：从calibration. mat中取出内参矩阵其中，f x 、f y 分别是相机水平方向和垂直方向相对单位像素的焦距，(u 0,v 0)是光学中心坐标， 外参矩阵其中，分别是世界坐标到相机坐标的旋转 矩阵、平移矩阵； 步骤2：目标测距关键点选取； 步骤2-1：由已知的目标检测结果得到待测目标的矩形框位置(u v w h)，其中(u v)表示矩形框在图像中左上角顶点的坐标值，(w h)表示矩形框的宽度和高度像素值； 步骤2-2： 计算目标测距关键点C的像素坐标 步骤2-3：校验测距关键点坐标合法性，需要满足条件C＝{(x ,y)|0＜x＜W ,0＜y＜H}，其中W是图像总的像素宽度，H是图像总的像素高度； 步骤3：目标测距； 步骤3-1：选取世界坐标系，世界坐标系的坐标原点在相机正下方的水平路面上，x轴方向为正前方，y轴方向为正左方，z轴方向为正上方，符合右手定则； 步骤3-2：从步骤1中得到相机参数的内参矩阵K和外参矩阵P，从步骤2中得到待测目标的测距关键点C的像素坐标(u 1,v 1)， 其中令测距关键点C的世界坐标为(X w ，Y w ，Z w )，由于所计算的关键点C的世界坐标点位于水平地面上，所以Z w ＝0，最后通 过矩阵变换公式计算得到关键点C的相关性未知尺度因子s； 步骤3-3：根据步骤3-2所求的相关性未知尺度因子s ，关键点C 的像素坐标 权 利 要 求 书1/2页2CN 110031829 A
计算机双目立体视觉 双目立体视觉技术是仿照人类利用双目线索感知深度信息的方法，实现对三维信息的感知。为解决智能机器人抓取物体、视觉导航、目标跟踪等奠定基础。 双目立体视觉（Binocular Stereo Vision ）是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点之间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获取的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作为视差（Disparity ）图像。 双目立体视觉系统 立体视觉系统由左右两部摄像机组成，如图，世界空间中的一点A(X,Y ,Z)在左右摄像机的成像面1C 和r C 上的像点分别为）（111,v u a 和） （r r r v u a ,。这两个像点是世界空间中同一个对象点A 的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心1O 和r O 的连线，即投影线11O a 和r r O a ，它们的交点即为世界空间中的对象点A 。这就是立体视觉的基本原理。 双目立体视觉智能视频分析技术 恢复场景的3D 信息是立体视觉研究中最基本的目标，为实现这一目标，一个完整的立体视觉系统通常包含六个模块：图像获取、摄像机标定、特征提取、立体匹配、三维恢复和视频
分析（运动检测、运动跟踪、规则判断、报警处理）。 图像获取（Image Acquisition ） 数字图像的获取是立体视觉的信息来源。常用的立体视觉图像一般为双目图像，有的采用夺目图像。图像的获取方式有很多种，主要有具体运用的场合和目的决定。立体图像的获取不仅要满足应用要求，而且考虑视点差异、光照条件、摄像机的性能和场景特点等方面的影像。 摄像机标定（Camera Calibration ） 图像上每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空 间物体表面相应点的几何位置有关。这些位置的相互关系由摄像机成像几何模型来决定。该几何模型的参数称为摄像机参数，这些参数必须由实验与计算来确定，实验与计算的过程称为摄像机定标。 立体视觉系统摄像机标定是指对三维场景中对象点在左右摄像机图像平面上的坐标位置 ）（111,v u a 和） （r r r v u a ,与其世界空间坐标A （X, Y , Z ）之间的映射关系的确立，是实现立体视觉三维模型重构中基本且关键的一步。 特征提取（Feature Acquisition ） 特征提取的目的是获取匹配得以进行的图像特征，图像特征的性质与图像匹配的方法选择有着密切的联系。目前，还没有建立起一种普遍适用的获取图像特征的理论，因此导致了立体视觉研究领域中匹配特征的多样化。像素相位匹配是近二十年才发展起来的一类匹配算法。相位作为匹配基元，本身反映着信号的结构信息，对图像的高频噪声有很好的一直作用，适于并行处理，能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题，需加入自适应滤波器解决。或者是像素的集合，也可以是它们的抽象表达，如图像的结构、图像的目标和关系结构等。常用的匹配特征主要有点状特征、线装特征和区特征等几种情形。 一般而言，尺度较大的图像特征蕴含较多的图片信息，且特征本身的数目较少，匹配效率高；但特征提取和描述过程存在较大的困难，定位精度也较差。而对于尺度较小的图像特征来说，对其进行表达和描述相对简单，定位的精度高；但由于特征本身数码较多，所包含的图像信息少，在匹配时需要采用较为严格的约束条件和匹配策略，一尽可能的减少匹配歧义和提高匹配效率。总的来说，好的匹配特征应该具有要可区分性、不变性、唯一性以及有效解决匹配歧义的能力。 图像匹配（Image Matching ） 在立体视觉中，图像匹配是指将三维空间中一点A （X, Y , Z ）在左右摄像机的成像面1C 和r C 上的像点）（111,v u a 和） （r r r v u a ,对应起来。图像匹配是立体视觉中最重要也是最困难的问题，一直是立体视觉研究的焦点。当空间三维场景经过透视投影（Perspective Projection ）变换为二维图像时，同一场景在不同视点的摄像机图像平面上成像会发生不同程度的扭曲和变形，而且场景中的光照条件、被测对象的几何形状和表面特性、噪声干扰和畸变、摄像机特性等诸多因素的影响都被集中体现在单一的图像灰度值中。显然，要包含了如此之多不利因素的图像进行精准的匹配是很不容易的。
双目立体视觉 双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。现说明介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率。 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi 语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论说明 1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到: 上式中（xc，yc，zc）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u1，v1）和（u2，v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差: 图1 双目立体成像原理图图3 一般双目立体视觉系统原理图
双目立体视觉技术简介 1. 什么是视觉 视觉是一个古老的研究课题，同时又是人类观察世界、认知世界的重要功能和手段。人类从外界获得的信息约有75%来自视觉系统，用机器模拟人类的视觉功能是人们多年的梦想。视觉神经生理学，视觉心里学，特别是计算机技术、数字图像处理、计算机图形学、人工智能等学科的发展，为利用计算机实现模拟人类的视觉成为可能。在现代工业自动化生产过程中，计算机视觉正成为一种提高生产效率和检验产品质量的关键技术之一，如机器零件的自动检测、智能机器人控制、生产线的自动监控等;在国防和航天等领域，计算机视觉也具有较重要的意义，如运动目标的自动跟踪与识别、自主车导航及空间机器人的视觉控制等。人类视觉过程可以看作是一个从感觉到知觉的复杂过程，从狭义上来说视觉的最终目的是要对场景作出对观察者有意义的解释和描述；从广义上说，是根据周围的环境和观察者的意愿，在解释和描述的基础上做出行为规划或行为决策。计算机视觉研究的目的使计算机具有通过二维图像信息来认知三维环境信息的能力，这种能力不仅使机器能感知三维环境中物体的几何信息(如形状、位置、姿态运动等)，而且能进一步对它们进行描述、存储、识别与理解，计算机视觉己经发展起一套独立的计算理论与算法。 2. 什么是计算机双目立体视觉 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像，如图一。 图一、视差（Disparity）图像 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。 双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系
教你怎么看三维立体图片 - 三维立体图是采用平行视觉技术设计的。 如果你掌握了观看技巧，就可以在看似什么都不是的图片中看到真实的三维立体效果：除了背景图片以外，还有两层或多层突出平面以上的立体物体，如果你移动你的头部，还可以看到物体背后的部分背景，与现实世界完全一样，真实奇妙无比！ 三维立体画的看图技巧：首先要让你的眼睛休息三分种，在三维立体画上方中间位置用视线确定两个点，然后用稍微模糊的视线越过三维立体画眺望远方； 另外还有两种方法介绍给大家： 第二种方法是先看着屏幕上反射的自己的影象，然后缓缓地将视觉注意力转向图片，但注意眼球不要转动，不要盯着图片中的细节看，而是模糊地看着图片的全貌...... 第三种方法是先将你的脸贴近屏幕并且眼光好象穿过屏幕，然后缓缓地拉开距离，不要使眼睛在图片上聚焦，但又要保持你的视线，边拉开边放松视觉，直到三维效果显现出来。 原理及练习方法： 三维立体画是利用人眼立体视觉现象制作的绘画作品。普通绘画和摄影作品，包括电脑制作
的三维动画，只是运用了人眼对光影、明暗、虚实的感觉得到立体的感觉，而没有利用双眼的立体视觉，一只眼看和两只眼看都是一样的。充分利用双眼立体视觉的立体画，将使你看到一个精彩的世界。 一、立体视觉和立体画原理人有两只眼，两只眼有一定距离，这就造成物体的影象在两眼中有一些差异，见右图，由图可见，由于物体与眼的距离不同，两眼的视角会有所不同，由于视角的不同所看到是影象也会有一些差异，大脑会根据这种差异感觉到立体的景象。 三维立体画就是利用这个原理，在水平方向生成一系列重复的图案，当这些图案在两只眼中重合时，就看到了立体的影象。参见下图，这是一幅不能再简单的立体画了。图中最上一行圆最远，最下一行圆最近，请注意：最上一行圆之间距离最大，最下一行圆之间距离最小。 这是怎么发生是呢？让我们再看下图，从图中我们可以看到，重复图案的距离决定了立体影象的远近，生成三维立体画的程序就是根据这个原理，依据三维影象的远近，生成不同距离的重复图案。 二、立体画的观看如果你现在还不会看立体画，是不是已经很着急了，下面我将介绍怎样看立体画。 立体画有两种形式：第一种是由相同的图案在水平方向以不同间隔排列而成，看起来是远近不同的物体，请看下图。这样的立体画可用任意一种图象处理软件制作，如Photoshop、Windows画笔等，你也可以一试。 另一种立体画较复杂，在这种立体画上你不能直接看到物体的形象，画面上只有杂乱的图案，制作这样的立体画只有使用程序了，我为此编写了一些程序，有C和QBASIC的源程序，请看自制立体画和程序下载。两种作品看法是一样的，原理都是使左眼看到左眼的影象，让右眼看到右眼的影象，（有人说了：你这不是废话吗？）听我说具体的方法：当你看立体画时，你要想象你在欣赏玻璃橱窗中的艺术品，也就是说你不要看屏幕上的立体画，而要把屏幕看成是玻璃橱窗的玻璃，你要看的是玻璃之内的影象。 三、两点练习法请把下图上方的两点作为目标，先使眼睛休息片刻，然后象眺望远方那样，用稍模糊的视线瞄准两点，就会看从两点各自分离出另外两个点，然后调整视线，试图将里面两个点合成一点，当四点变为三点时，你便会看到立体图象。 四、另一种观看方法从电脑上看费劲的话，可以这样，如果画面上标有两点（如没有，可以通过仔细观看，在横向上，相隔约3-5厘米，就有相同的图案，如两个相同颜色和大小的点等），那么可以用两个颜色深点的线垂直粘在显示器屏幕的上面（可以进入屏幕少许），使
西安邮电大学 毕业设计（论文）题目：双目立体视觉中的三维重建 系别：自动化学院 专业：测控技术与仪器 班级：测控0802班 学生姓名：吕海斌（07） 导师姓名：江祥奎职称：讲师 起止时间：2012年3月8日至2012年6月20
诚信声明书 本人声明：我将提交的毕业论文《双目立体视觉中的三维重建》是我在指导教师指导下独立研究、写作的成果，论文中所引用他人的无论以何种方式发布的文字、研究成果，均在论文中加以说明：有关教师、同学和其他人员对本文的写作、修订提出过并为我再论文中加以采纳的意见、建议，均已在我的致谢中加以说明并深致谢意。 论文作者吕海斌时间：2012年6 月7 日 指导教师已阅时间：年月日
西安邮电大学 毕业设计(论文)任务书 学生姓名吕海斌指导教师江祥奎职称讲师 院别自动化学院专业测控0802 题目双目立体视觉中的三维重建 任务与要求 本题目要求在搭建双目立体视觉平台的基础上，通过OpenGL和MATLAB联合编程实现三维重建功能。具体任务分解如下： 1．查找文献，学习和掌握三维重建方法； 2．完成三维重建的MATLAB编程，并对实验数据进行相关分析；3．通过OpenGL，实例编程实现三维重建； 4．通过OpenGL和MATLAB联合编程，完成三维重建； 开始日期2011年12月10日完成日期2012年6月25日 院长(签字) 2012 年12 月日
西安邮电大学 毕业设计 (论文) 工作计划 学生姓名__吕海斌_指导教师__江祥奎__职称__讲师_ 院别____自动化学院____专业____测控0802___ 题目_____ 双目立体视觉中的三维重建 工作进程
三维立体视觉信息的提取 一、问题背景 (1) 一、实现方法 (1) 1.图像的获取与预处理 (1) 2.边缘信息提取 (2) 3.边缘检测与轮廓连结 (3) 4.利用线条分类识别三维物体 (4) 二、从二维图像中提取三维特征的局限性 (6)
一、问题背景 机器视觉是机器人感知周围环境的主要途径之一。 所谓机器人视觉即：使机器人具有视觉感知功能的系统。机器人视觉可以通过视觉传感器获取环境的二维图像，并通过视觉处理器进行分析和解释，进而转换为符号，让机器人能够辨识物体，并确定其位置。为了判断一个物体在空间的位置和形状，机器人往往需要获取两类信息，即明暗信息和距离信息。目前成熟的光电成像技术都只能捕获二维明暗信息，而不能获得距离信息，所以直接通过这种途径获得的机器视觉也只能是二维的。 随着科学技术的发展，三维立体视觉的解决方案也如雨后春笋般涌出，其中就包括双目立体视觉（多镜头法），狭缝光投影法，时间差法等，但是如果能够要通过对二维图像（准确地说是2.5维图像，即含有透视关系的二维图像）的特征进行提取，并进而得到三维信息的话，无疑可以大幅度降低系统的复杂度。 本文将论述一种从二维图像中提取三维信息的方法。这种方法对二维图像的边缘进行识别的处理，通过边缘的连接模式判断出视野中物体的三维特征。这种方式输出的输出结果是一种与物体的三维结构相对应的二维特征组，后续处理也较为方便。 一、实现方法 1.图像的获取与预处理 用于进行三维特征提取的图像是一幅常规的二维灰度图，所以使用一个常规的CCD或CMOS图像传感器即可满足要求。图像需要进行量化处理，即把图像信息分成许多像素点，这些亮点经过A/D转换后即可输入计算机进行处理。 大多数情况下，图像传感器获得的图像并不完美，其中难免会出现暗点或亮点。图像中的这些暗点和亮点统称“噪点”。噪点不仅降低了图像的分辨率，还会对后期的特征提取等处理造成很大的干扰，甚至引起识别错误。此外由于外界光线强度的变化，图像的亮度分布也时刻在变化，为了给形态学处理的图像提供统一的条件，计算机在把获得图像进行形态学处理前，必须先对其进行预处理。 降噪是一种常见的预处理形式，与其对应的算法成为滤波算法。常见的滤波算法分为线性滤波和非线性滤波，线性滤波又分为均值滤波和高斯滤波等。线性滤波器的主要原理是二维卷积，也就是把某一像素点的亮度用周围一定范围的像素的亮度的某种运算组合来表示，下式就表示了一个3x3的均值滤波器的算子： 非线性滤波器（如中值滤波器）虽然没有采用卷积运算，但它也类似的在原始图像中取出一个范围，并对这个把处于这个范围的中心的像素的亮度用这个范围内
基于HALCON的双目立体视觉系统实现 段德山（大恒图像公司） 摘要双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。本文将主要介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率提供了参考。 关键词双目视觉三维重建立体匹配摄像机标定视差 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论介绍
1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到： 上式中（xc，yc，zc）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u1，v1）和（u2，v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差：
双目立体视觉问题 2008-10-30 20:24 双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。现说明介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率。 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论说明 1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为 P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到: 上式中（x c，y c，z c）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u1,v1）和（u2,v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差: