下载文档原格式
中文摘要中文摘要随着工业自动化的高速发展，机器人等智能设备在工业生产中的应用日渐广泛。
对周边环境的感知是设备智能化的一项重要研究内容，目前，获取周边三维环境信息的主要技术途径以激光雷达和双目相机为主，与超声波传感器、激光雷达相比，双目相机具有获取信息丰富，价格低廉，精度高的特点，通常应用于实时测距、三维形貌恢复、缺陷诊断等领域。
智能设备在实际作业时，对周围的三维环境进行精确的三维重建有助于实际作业的安全有效进行，本文基于深度学习算法，对双目视觉系统的三维重建进行研究。
本文的主要研究内容有：(1)研究了当前摄像头标定的主流方法，对其具体算法实现进行了分析，通过对双目相机进行标定得到相机的内参数和外参数，基于相机的内外参数实现图像矫正、三维重建工作。
(2)对相机的成像和畸变原理进行分析和研究，对采集图像进行滤波、自适应伽马变换与去畸变处理，提高双目相机采集图像的质量。
(3)对双目视觉中最关键的算法——立体匹配算法进行研究，为了解决传统立体匹配算法匹配精度较低，误匹配区域较大的问题，本文基于深度学习算法，利用2D卷积神经网络对双目相机获取的左、右图进行匹配代价提取，并利用3D卷积神经网络对聚合后的匹配代价进行特征总结和匹配差异学习。
将立体匹配问题转化为一个有监督的机器学习问题，在KIIT2015数据集上训练一个端到端的神经网络模型，该卷积神经网络直接使用双目相机获取的左右两图作输入，直接输出预测的视差图。
(4)通过相机内外参数及立体匹配视差图得到周围环境的三维点云信息，并通过阈值分割算法提取特定工作范围内的稠密点云数据。
(5)搭建了综合实验平台，与其它算法的立体匹配效果进行对比，并对比标准雷达测距数据计算本文算法的精确度，验证了本文算法的有效性。
关键词：双目视觉；立体匹配；深度学习；三维重建I基于深度学习的双目视觉三维重建IIABSTRACTABSTRACTWith the rapid development of industrial automation,smart devices such as robots are increasingly used in industrial production.Perception of the surrounding environment is an important research content of device intelligence.At present,we mainly obtain three-dimensional information of the surrounding environment through lidar and binocular pared with ultrasonic sensors and lidar,binocular cameras obtain It is more abundant,the price is lower,and the accuracy is higher.It is usually used in real-time ranging, three-dimensional shape restoration,defect diagnosis and other fields.During the actual operation of the smart device,accurate3D reconstruction of the surrounding3D environment is helpful for the safe and effective operation of the actual operation.Based on the deep learning algorithm,this paper studies the3D reconstruction of the binocular vision system. The main research contents of this article are:(1)This paper studies the current mainstream camera calibration methods,analyzes its specific algorithm implementation,obtains the camera's internal and external parameters by calibrating the binocular camera,and implements image correction and3D reconstruction based on the camera's internal and external parameters.(2)This paper analyzes and studies the imaging and distortion principles of the camera, and filters,adaptive gamma transforms,and distorts the collected images to improve the quality of the images captured by the binocular camera.(3)This paper studies the most critical algorithm in binocular vision-stereo matching algorithm.In order to solve the problems of low matching accuracy and large mismatching area of traditional stereo matching algorithms,this paper uses a2D convolution neural network to extract the matching cost of the left and right images obtained by the binocular camera based on deep learning algorithms,and uses3D The product neural network performs feature summarization and matching difference learning on the aggregated matching costs. Turn the stereo matching problem into a supervised machine learning problem.Train an end-to-end neural network model on the KIIT2015dataset.The convolutional neural network directly uses the left and right images obtained by the binocular camera as input,and directly output the predicted Disparity map.(4)Obtain the three-dimensional point cloud information of the surrounding environmentIII基于深度学习的双目视觉三维重建through the internal and external parameters of the camera and the stereo matching disparity map,and extract the dense point cloud data within a specific working range through the threshold segmentation algorithm.(5)A comprehensive experimental platform was built to compare the stereo matching effect with other algorithms,and to compare the accuracy of the algorithm in this paper with standard radar ranging data to verify the effectiveness of the algorithm in this paper.Key words:Binocular vision;stereo matching;deep learning;3D reconstructionIV目录目录第一章绪论 (1)1.1课题的研究背景及意义 (1)1.2国内外研究现状 (1)1.3论文主要内容及工作 (5)第二章相机标定及图像预处理 (7)2.1单目相机数学模型 (7)2.2双目相机数学模型 (9)2.3双目相机的标定 (11)2.3.1张正友标定法 (11)2.3.2立体标定 (13)2.3.2畸变参数估计 (14)2.4双目极线矫正 (15)2.5图像预处理 (17)2.5.1图像去噪 (18)2.5.1伽马变换 (18)2.6本章小结 (20)第三章基于深度学习的立体匹配 (21)3.1传统立体匹配算法的基本理论 (21)3.2基于深度学习的立体匹配发展 (23)3.2.1深度学习的基本原理 (23)3.2.2mc-cnn与GC-net (27)3.3基于W-net的立体匹配 (29)3.3.1残差结构与通道注意模块介绍 (29)3.3.2W-ne2D模块(2D卷积网络部分) (31)3.3.3Cost Value模块(代价聚合部分) (33)3.3.4W-net3D模块(3D卷积网络部分) (34)3.3.5Prob模块(视差预测部分) (36)3.3.6数据集的选择 (37)3.3.7损失函数的选择 (37)V基于深度学习的双目视觉三维重建3.3.8权值初始化及优化算法 (38)3.3.9网络结构说明 (39)3.4本章小结 (40)第四章基于视差图的三维重建 (41)4.1整体视差图的三维点云 (41)4.2视差图处理 (44)4.3点云滤波处理 (47)4.4本章小结 (48)第五章基于双目相机的三维点云重建算法与平台的实现 (49)5.1Pytorch、Opencv、Qt简介 (49)5.2平台开发环境 (49)5.3算法流程与实验结果分析 (50)5.4本章小结 (58)第六章总结与展望 (59)参考文献 (61)致谢 (65)附录 (67)VI第一章绪论第一章绪论1.1课题的研究背景及意义计算机视觉的任务是赋予计算机“自然视觉”的能力，使计算机对输入的图像(视频)进行处理，实现对图像中内容的表达和理解。
基于双目立体视觉的三维重构研究一、本文概述随着科技的不断发展，三维重构技术在许多领域，如机器人导航、自动驾驶、虚拟现实、增强现实、医疗诊断以及工业检测等，都发挥着越来越重要的作用。
在众多三维重构技术中，基于双目立体视觉的三维重构方法因其设备简单、成本低廉、实时性强等特点而备受关注。
本文旨在探讨基于双目立体视觉的三维重构技术的研究现状、基本原理、关键技术和应用前景，以期对这一领域的研究者和实践者提供有益的参考和启示。
本文将首先介绍双目立体视觉三维重构的基本原理，包括双目视觉的成像模型、立体匹配算法以及三维坐标计算等。
接着，将详细分析当前双目立体视觉三维重构技术中的关键问题，如视差计算、图像预处理、遮挡和纹理映射等，并探讨相应的解决方法和技术。
本文还将对双目立体视觉三维重构技术在不同领域的应用案例进行介绍，分析其优势和局限性，并展望未来的发展趋势和应用前景。
通过本文的研究，我们希望能够为基于双目立体视觉的三维重构技术的发展提供新的思路和方法，推动这一领域的技术进步和应用发展。
我们也希望本文能够为相关领域的学者和工程师提供有益的参考和借鉴，共同推动三维重构技术的发展和应用。
二、双目立体视觉原理双目立体视觉是人类和许多动物天生具备的一种空间感知能力，通过两只眼睛从稍微不同的角度观察物体，然后大脑综合这两个不同的视觉信号，形成立体视觉。
这种视觉原理为三维重构提供了重要的理论基础。
在双目立体视觉系统中，两个相机（模拟双眼）从不同的位置观察同一物体，得到两幅具有视差的图像。
视差是指同一物体在左右两幅图像中的像素坐标之差。
视差的大小取决于相机的基线距离（两个相机光心之间的距离）和物体到相机的距离。
物体距离相机越近，视差越大；物体距离相机越远，视差越小。
为了从这两幅图像中恢复物体的三维形状，我们需要利用三角测量的方法。
在三角测量中，我们知道相机的内外参数（包括相机的内参矩阵、畸变系数、旋转矩阵和平移向量等），通过匹配两幅图像中的同名点（即同一物体在两个图像中的像素坐标），可以计算出这些点在世界坐标系中的三维坐标。
《基于双目立体视觉定位和识别技术的研究》篇一一、引言随着科技的飞速发展，计算机视觉技术在许多领域中得到了广泛的应用。
其中，双目立体视觉定位和识别技术以其高精度、高效率的特点，在机器人导航、工业检测、无人驾驶等领域展现出巨大的应用潜力。
本文将围绕双目立体视觉定位和识别技术进行深入的研究和探讨。
二、双目立体视觉技术概述双目立体视觉技术是一种模拟人类双眼视觉的计算机视觉技术。
通过模拟人眼的视差感知原理，双目立体视觉技术利用两个相机从不同角度获取场景的图像信息，然后通过图像处理和算法分析，得到场景中物体的三维信息。
双目立体视觉技术主要包括相机标定、图像获取、图像预处理、特征提取、立体匹配、三维重建等步骤。
三、双目立体视觉定位技术双目立体视觉定位技术是双目立体视觉技术的核心部分，它通过计算左右相机获取的图像间的视差信息，实现场景中物体的三维定位。
具体而言，双目立体视觉定位技术首先需要对相机进行精确的标定，以获取相机的内外参数。
然后通过图像预处理和特征提取，获取场景中的特征点或特征线。
接着，利用立体匹配算法，将左右相机获取的图像进行匹配，得到视差图。
最后，根据视差信息和相机的内外参数，计算得到场景中物体的三维坐标信息。
四、双目立体视觉识别技术双目立体视觉识别技术是在定位技术的基础上，进一步对场景中的物体进行分类和识别。
通过分析物体的形状、大小、纹理等特征信息，结合机器学习、深度学习等算法，实现对物体的识别和分类。
双目立体视觉识别技术可以广泛应用于无人驾驶、机器人导航、工业检测等领域。
五、双目立体视觉技术的应用双目立体视觉技术在许多领域都得到了广泛的应用。
在无人驾驶领域，双目立体视觉技术可以实现车辆的定位和障碍物识别，提高车辆的行驶安全性和自动驾驶的准确性。
在机器人导航领域，双目立体视觉技术可以帮助机器人实现精准的路径规划和导航。
在工业检测领域，双目立体视觉技术可以实现对产品的快速检测和质量控制。
六、研究展望随着计算机视觉技术的不断发展，双目立体视觉定位和识别技术将会有更广泛的应用前景。
双目立体视觉测距算法研究共3篇双目立体视觉测距算法研究1双目立体视觉测距算法研究随着机器视觉技术的不断发展，双目立体视觉测距算法逐渐成为了一种广泛应用的测距技术。
双目立体视觉测距算法是通过两个视点来获取立体信息，并计算物体真实距离的一种方法。
本文对双目立体视觉测距算法进行了研究，并分析其在应用中的优势和不足。
一、双目立体视觉测距算法原理双目立体视觉测距算法基于人眼的立体视觉原理，即通过两个视角获取物体的三维信息。
常用的双目立体视觉系统由左右两个相机组成，同时获取场景的两幅图像。
通过对这两幅图像进行处理，计算出物体在左右两幅图像上的像素位置差（视差），从而推算出物体的真实距离。
二、双目立体视觉测距算法优势1.高精度：相较于其他测距方法（如激光测距），双目立体视觉测距算法具有更高的精度，能够在一定范围内实现毫米级别的测距。
2.适用性广：该算法可以适用于多种物体，无论物体大小、形状、材质如何，都可以进行测距。
3.实时性高：双目立体视觉测距算法能够在几毫秒内完成图像处理和测距，实时性较高。
三、双目立体视觉测距算法不足1.对环境影响大：该算法对环境的变化比较敏感，如光照、颜色、纹理等变化会影响到视差计算的准确性。
2.算法复杂度高：该算法相较于其他测距方法具有更高的计算复杂度，需要较高的计算资源支持。
3.视野较小：双目立体视觉测距算法的视野范围相对较小，需要控制好摄像机的位置和摆放角度，否则会影响测距结果的准确性。
四、双目立体视觉测距算法在实际应用中的案例双目立体视觉测距算法已经在多个领域得到了成功应用，以下是一些案例：1.物流自动化：在物流自动化领域，通过双目立体视觉测距算法可以实现对货物的快速识别和分拣，提高分拣效率。
2.智能驾驶：在智能驾驶领域，通过双目立体视觉测距算法可以实现对车辆和行人的快速检测和识别，提高自动驾驶的安全性。
3.机器人制造：在机器人制造领域，通过双目立体视觉测距算法可以实现对工件和机器人的快速识别和定位，提高机器人的自动化程度和生产效率。
《基于双目视觉的立体匹配算法研究及应用》篇一一、引言随着计算机视觉技术的飞速发展，双目视觉立体匹配算法在三维重建、机器人导航、自动驾驶等领域得到了广泛应用。
本文旨在研究基于双目视觉的立体匹配算法，探讨其原理、方法及实际应用，以期为相关领域的研究提供参考。
二、双目视觉立体匹配算法原理双目视觉立体匹配算法是通过模拟人类双眼视觉原理，利用两个相机从不同角度获取场景的图像信息，通过计算两幅图像间的视差，从而恢复出场景的三维信息。
立体匹配是双目视觉的核心问题，其基本原理包括特征提取、特征匹配、视差计算等步骤。
1. 特征提取：在两幅图像中提取出具有代表性的特征点，如角点、边缘点等。
这些特征点将用于后续的匹配过程。
2. 特征匹配：利用一定的匹配算法，如基于区域的匹配、基于特征的匹配等，在两幅图像中寻找对应的特征点。
3. 视差计算：根据匹配得到的特征点，计算视差图。
视差图反映了场景中各点在两幅图像中的相对位移，从而可以恢复出场景的三维信息。
三、立体匹配算法研究针对双目视觉立体匹配算法，本文重点研究了以下几种方法：1. 基于区域的匹配算法：该类算法通过计算两幅图像中对应区域的相似性来寻找匹配点。
常见的区域匹配算法包括块匹配、窗口匹配等。
2. 基于特征的匹配算法：该类算法通过提取图像中的特征点，如角点、边缘点等，进行特征匹配。
常见的特征匹配算法包括SIFT、SURF等。
3. 视差计算优化方法：为了提高视差计算的精度和效率，研究者们提出了多种优化方法，如引入先验知识、利用多尺度信息、采用半全局匹配算法等。
四、立体匹配算法应用双目视觉立体匹配算法在多个领域得到了广泛应用，如三维重建、机器人导航、自动驾驶等。
本文将重点介绍其在以下两个领域的应用：1. 三维重建：通过双目视觉立体匹配算法，可以恢复出场景的三维信息，从而实现三维重建。
三维重建技术在游戏开发、虚拟现实、医疗影像处理等领域具有广泛应用。
2. 自动驾驶：双目视觉立体匹配算法可以用于自动驾驶系统的环境感知。
基于双目线结构光的三维重建及其关键技术研究基于双目线结构光的三维重建是一种常见的三维重建方法，在计算机视觉和图像处理领域有广泛应用。
本文将探讨双目线结构光三维重建的基本原理和关键技术。
一、基本原理双目线结构光的三维重建基于以下原理：通过投射具有特定空间编码的光线，利用摄像机捕捉图像，并对图像进行处理和分析，可以推断出场景中物体的三维形状和深度信息。
二、关键技术1. 双目成像双目成像是双目线结构光重建的基础。
通过使用两个物理上分开的相机，可以获取场景的不同视角，从而获得更多的信息，提高重建的精度和稳定性。
2. 线结构光投影线结构光投影是双目线结构光重建的核心技术。
通过投射特定编码的结构光，可以在场景中形成一系列光条或光带，从而在摄像机中产生对应的图像。
这样，可以通过分析图像中结构光的失真或形状变化，来推断物体表面的深度信息。
3. 结构光编码结构光编码是双目线结构光重建的重要组成部分。
通过在结构光中引入编码，可以增加光条或光带的区分度，从而提高重建的精度。
常见的编码方法包括灰度编码、正弦编码、校正编码等。
4. 影像获取与处理双目线结构光重建需要获取并处理图像数据。
影像获取涉及到摄像机的标定、同步和触发等技术，以确保双目系统的准确性和稳定性。
影像处理包括去噪、校准、纹理映射等步骤，以提取出有效的结构光信息，并进行后续的三维重建处理。
5. 三维重建算法三维重建算法是双目线结构光重建的核心内容。
常见的算法包括三角测量、立体匹配、点云拼接等。
这些算法通过分析不同视角的结构光图像，通过匹配和计算来推断物体的三维形状和深度信息。
6. 点云处理与可视化三维重建通常最终呈现为点云模型。
点云处理涉及到点云滤波、配准、分割等技术，以去除噪声、合并重叠点云、提取物体表面等。
点云可视化则将点云数据以直观的形式呈现，便于人们观察和理解。
综上所述，基于双目线结构光的三维重建是一种常见的三维重建方法。
它利用投射特定编码的结构光，结合双目成像和影像处理技术，通过分析图像中的结构光信息，推断物体的三维形状和深度信息。
双目视觉测距技术研究及应用随着科技的飞速发展，人类对于高精度的测距需求也越来越高。
其中，双目视觉测距技术无疑是一种重要的技术手段。
在这篇文章中，我们将探讨双目视觉测距技术的原理、优缺点、应用情况以及未来发展趋势。
1. 双目视觉测距技术原理双目视觉测距技术，顾名思义，就是通过获取物体在两个视点下的图像信息，利用视差（即两个视点下的图像差异）计算出物体的距离。
在具体实施中，需要将两个摄像头分别放置在一定距离内，在实时采集两个视点下的图像信号，并将其通过计算机进行处理，得到距离等目标参数。
2. 双目视觉测距技术优缺点与传统测距技术相比，双目视觉测距技术具有以下优点：（1）测距精度高。
双目视觉测距技术可以利用两个视点提供的图像信息，剔除光照、尺寸等因素的影响，从而实现更为准确的距离测量。
（2）测距范围广。
由于双目视觉测距技术不受光源、物体大小等因素的限制，它的测距范围比传统技术更为广泛。
（3）应用范围广泛。
双目视觉测距技术可以用于形态检测、机器人控制、医疗诊断等领域，具有很大的应用潜力。
然而，双目视觉测距技术也有一些缺点：（1）计算复杂度高。
由于需要进行多余的图像处理，双目视觉测距技术的计算复杂度比较高，需要使用高性能计算机。
（2）对环境光线敏感。
双目视觉测距技术对环境光线的变化十分敏感，需要进行相应的补偿，否则可能会影响测距精度。
3. 双目视觉测距技术应用情况目前，双目视觉测距技术已经被广泛应用于各个领域。
以下是其中一些典型应用：（1）机器人控制。
在机器人运动控制中，测量目标与机器人的距离十分重要。
双目视觉测距技术可以实现对机器人运动轨迹的高精度跟踪控制。
（2）三维成像。
在三维成像领域，双目视觉测距技术具有不可替代的地位。
通过对不同视角的图像信息进行融合处理，可以快速生成高精度的三维成像图。
（3）安防监控。
在安防监控领域，双目视觉测距技术可以快速准确地检测出目标物体距离，以及目标移动方向等相关信息，对于防范犯罪、提高治安水平具有重要的作用。
双目立体视觉三维测量原理
1.前言戏说
双目立体视觉是基于视差原理，由多幅图像获取物体三维几何信息的方法。
在机器视觉系统中，双目视觉一般由双摄像机从不同角度同时获取周围景物
的两幅数字图像，或有由单摄像机在不同时刻从不同角度获取周围景物的两
幅数字图像，并基于视差原理即可恢复出物体三维几何信息，重建周围景物
的三维形状与位置。
双目视觉有的时候我们也会把它称为体视，是人类利用双眼获取环境三维信息的主要途径。
从目前来看，随着机器视觉理论的发展，双目立体视觉在
机器视觉研究中发回来看了越来越重要的作用。
本文主要研究了双目视觉的
数学原理。
2.双目立体视觉的数学原理
双目立体视觉是基于视差，由三角法原理进行三维信息的获取，即由两个摄像机的图像平面和北侧物体之间构成一个三角形。
一直两个摄像机之间的。
基于双目视觉系统三维成像精准测量的算法研究2011年2月一、摘要用计算机双目立体视觉进行模拟人眼，对物体进行尺寸或距离的精度目视测量的研究，为解决传统设计方法如超声波、红外线、激光、光学测棒，有容易受光线、气温、震动、磁波、声波等干扰而难定位所引起的定位测量误差的问题，为此提出简化的基于竞争机制的三维立体图像匹配测量算法，具有运算速度快，硬件要求简单，硬件单位体积小的优点，通过对实时的双摄像头图像的计算，在PC机上实现双目测距功能，对阐明图象精度测量具有促进工业、建筑及军事发展的重要意义，为分析智能瞄准算法奠定了实验基础。
关键词:双目视觉；图象精度测量；视觉坐标测量；视觉；双目测距；标定1.双目测距原理人眼视觉是人类获取环境信息的主要途径，人眼立体视觉工作原理如图1：图1人眼的起看位置称之为固定点，由图一可知，固定点视差为零.如果物体点在固定点的前方即离透镜较近,图1(a)，这时的视差称为收敛视差。
如果物体点在固定点后方即图1(b),这时的视差称为发散视差。
收敛视差和发散视差共同构成了人眼的左右视觉。
视差直接反映物体点距与固定点的距离,而固定点的位置可通过改变双目光轴的人烟夹角进行调整，例如人在观察近处的物体时就需要把双目的光轴会聚在近处，物体就会变大，视野就会缩小，在观察远处的物体时就需要把双目的光轴会聚在远处，物体就会变小，视野就会变大。
如测量物体到固定点的距离，只需左、右眼切换视差，计算左右视差的差值，并能估算出大概的距离，这种算法我们在日常生活中称之为目测。
双目立体视觉正是从人的双目产生立体感视差测量中获得启示,研究如何通过两个不同位置的摄像模块得到在同一场景的两幅图像中获取深度信息的测量算法。
该算法是对物体上一个特征点，用两部固定于不同位置的摄像模块摄得物体的实像，分别获得该点在两部像机像平面上的坐标。
只要知道两部像机精确的相对位置，就可用几何的方法得到该特征点在固定一部相机的坐标系中的坐标，即确定了特征点的位置，这一过程称为图像标定。
于是对于双目定位，如何精确地确定两部像机的相对位置就是测量精度误差的关键，该算法目前面临的困难主要原因有以下几点:①成像系统通过摄像头将真实的三维图象转变成为平面观察的二维图像过程中会有大量信息损失。
例如,场景中某一点到光心连线上的所有点最后进入摄像头后只表现为一个像素点。
因此通过图像测量,二维信息恢复成三维信息过程是受约束的,须加入其它辅助信息才有可能实现。
②图像灰度信息和三维几何场景的关系非常复杂。
像素点的灰度值会受被观察物体表面反射特性参数、物体表面方向、物体类型和照明方位、环境温度，以及观测者位置等因素的影响。
③场景中的遮挡现象,图像中的噪声以及许多算法的时间度也都为立体视觉的实现带来困难。
目前立体视觉算法目前还没有统一的理论。
比较有代表性的有Marr理论、Aloimonos理论和Wechsler理论。
Marr的视觉计算理论是首位提出的阐述视觉机理的系统理论,对人类视觉和计算机视觉的研究都产生了深远的推动作用。
Marr理论提出计算机视觉系统就像一个信息处理设备,应该从三个层次来理解:①计算理论层:确定设备的功能,输入输出信号,实现功能的逻辑策略。
②表示和算法层:提出计算如何执行,例如信号的表示、算法的实现等。
③实现层:算法的物理实现,即具体应用到软件和硬件上。
图像标定的一做般做法是在一块平板上画若干个点，同时用这两部像机照像，分别得到这些点在它们像平面上的像点，利用这两组像点的几何关系就可以得到这两部相机的相对位置。
然而，无论在物平面或像平面上我们都无法直接得到没有几何尺寸的¡点¡。
实际的做法是在物平面上画若干个圆，称为靶标，它们的圆心就是几何的点。
而它们的像一般会变形，如图2所示，所以必须从靶标上的这些圆的像中把圆心的像精确地找到，精确标定才可实现。
图2在此采用透视投影模型作为精确标定的说明,如图3所示：图3图3(a)是两摄像模块观察同一点P的情况。
图中两个摄像机的成像平面xl yl、xr yr处于同一平面并且与Z轴垂直,焦距相等,光心O1、O2处于X轴.这种条件下,摄像机被称为处于平行对准状态。
图3(b)是P点在X Z平面上的投影图.xl、xr分别为点P(Xp,Yp,Zp)在左、右摄像机成像平面中的投影,称为成像点对,也即是在标定过程中所寻找的在左右两幅图像上代表空间同一点的一对标定点。
根据摄像机透射投影模型,可以求出P点坐标Z p:其中:D=xl2x r,为点P在两摄像机中成像所形成的视差,Zp就是所要求的空间点P到两摄像机中心的距离,即到观测者的距离。
d为两摄像机光心之间的距离,f 为摄像机的焦距。
构建双目视觉系统要求左右两个摄像机焦距相同。
xl、xr为摄像机成像平面坐标系下的坐标值。
f、xl、xr的单位均为像素数,Zp的单位和d相同。
根据图2(b)容易求得:将P点向YZ平面投影,同理可得:这样,P点相对于观测者的位置就可完全确定了。
从上述分析不难看出,获得障碍物的距离信息关键是需要在左、右图像中发现与同一空间点对应的成像点对,这个问题就称为标定问题。
标定问题是立体视觉中的一个难点问题,主要体现在:①计算数据量大,实时性差;②容易出现多义性问题,即对于一幅图中给定的标定基元在另一幅图中出现不止一个标定基元与之匹配。
2.立体图像标定及约束标定坐标是立体视觉中的难点问题,不是简单地把两幅图中象素的灰度作比较后找出共同点就能解决的。
搜索匹配点时的多义性问题可分两步来解决：第一步是在单幅图像作预处理时通过抽取图像局部结构较为丰富的描述来减少错误对应的可能性;第二步是在两幅图的对应点间作匹配时应用选择性规则来限制搜索空间。
以往的各种算法间的区别主要在于它们在标定时选择什么样的标定基元作为表面位置标志的基本元素,以及选用什么规则来限制搜索空间和删除不合适的标定。
根据标定基元的不同,立体标定可分为区域标定、特征标定和相位标定三大类:区域标定是考察图像局部灰度的相关程度;特征标定是提取图像边缘特征作为匹配基元;相位标定以图像中的相位信息作为标定基元。
Marr提出立体标定的三个约束条件:相容性约束,唯一性约束和连续性约束。
后来进一步归纳为两类约束:本地约束和全局约束。
本地约束中包括:①几何学约束：图3(a)中的边缘l和图3(b)中的边缘r如果匹配,则必须满足xl> xr;②斜坡约束：具有相同的梯度符号的边缘才有可能匹配。
全局约束包括:①唯一性约束：图3中某个边缘只能和右图中一个边缘匹配,反之亦然;②顺序约束：假设图3(a)图像中有两个边缘点l1、l2,图3(b)图像中有也两个边缘点r1、r2,l1与r1匹配。
如果xl1>xl2,xr1<xr2,则l2不可能与r2匹配;③连续性约束,匹配得到的视差值的变化在图像中几乎处处平滑。
立体视觉标定还必须满足外极线约束。
外极线约束原理如图4所示,P为空间一点,OL、OR分辨是左、右图像传感器光心,平面P2OL2OR分别与两个成像平面相交于直线lL、lR。
lL、lR互为外极线,P点在直线lL上像点的匹配点一定在直线lR上,反之亦然。
这就是外极线原理.运用外极线约束重整图像,可以显著减少计算的数据量。
图4外极线约束原理图3.竞争标定双目测距算法竞争标定双目测距算法首先依据外极线约束条件,对图像进行重整。
使两个摄像模块始终处于平行对准姿态,选取左图像第n行作为输入时,那么它上面某点的匹配点一定在右图像的第n行。
然后将选定的两行图像转为灰阶图像:Y=0.299R-0.148G+0.615BY为8位数据组成的向量,代表一行中各个象素点的灰度值。
利用Deriche算子对Y进行滤波、求导,提取出其中的边缘点。
以边缘点作为匹配基元,依据Marr约束条件制定竞争规则,构造匹配矩阵(如图5所示).这是个NL¡NR的矩阵,其中NL、NR分别是上面边缘提取获得的左、右图像的特征边缘数,矩阵中的元素Mlr 代表左摄像头图像中边缘l与右摄像头图像中边缘r相匹配,白圈代表有效标定,黑圈代表无效标定。
有效标定作为候选标定参加竞争。
图5标定矩阵根据Marr约束进一步推导出竞争规则:①左图中某个边缘只能和右图中一个边缘标定,反之亦然;②假设左图像中有两个边缘点l1、l2,右图像中有也两个边缘点r1、r2,l1与r1标定。
如果x1l>xl2, xr1<xr2,则l2不可能与r2标定;③标定得到的视差值的变化在图像中几乎处处平滑,根据与其它标定视差的差值判断其它标定的有效程度,并按照下面公式影响它们的标定程度值:[CSM]l′r′(n)=[CSM]l¡r¡(n-1)-(1-e-x）其中:x代表Ml¡r¡和Ml¡r¡视差差值的绝对值。
按如上规则对每个候选点进行一次判断。
最后,竞争胜出者其所对应的匹配点为最佳标定。
由标定点坐标,可以很方便地求得视差,再根据平行对准姿态下摄像机透视投影模型,就可以计算目标距观测者的距离。
4．误差分析测距时界面如图6、图7图6测距界面(一)图7测距界面(二)图6为左右两个摄像头同时拍摄的同一场景,图7为将图像进行边缘提取、滤波和竞争匹配后,找到标定点并测量距离.表1是室内简单背景下多次测量结果。
由表1可得物体距离在约70cm到270cm远时,测量误差在10%以内,超出这一范围,离这一范围越远,误差就越大.特别恶劣的情况发生在被测物体距离超过3m时,测量结果误差随着距离的增加迅速增大。
原因是距离远的目标,由于摄像头分辨率不高，图象景深模糊严重，而导致系统难以标定,而且标定稍有偏差,反映在误差上就很明显；而测量距离过近时(比如30cm)误差也较大.这是因为所拍摄的图像没有经过从两维图像到三维现实场景的¡摄像机标定¡:被测物体离摄像头过近时,在图像上形成的视差很大,导致被测部位三维场景映射到二维图像平面的非线性误差过于明显,从而造成测量误差。
为解决这一点,可以通过选用高分辨率带自动变焦的摄像头得到改进。
5.小结本文着重介绍了一种经简化的竞争匹配双目立体视觉测距算法。
实验表明,设计的算法简单快速,硬件实现方便;测距工具可以稳定地工作,选用普通的定焦相机测量距离在70cm到270cm之间,尤其是100cm到260cm之间时,测量结果相当准确,能够达到很多应用需要。
在选择定焦相机上会产生以下问题：测量距离远的物体产生的误差主要来自摄像头分辨率过低、镜头景深不够，引起的标定不准确;而对于特别近的物体,由于三维场景映射到二维平面的非线性过于明显而产生较大误差。
因此在实际运用中要采用大分辨率，自动变焦的相机来解决以上两个问题。
在一定的范围内,基于竞争机制的立体图像匹配测距算法可以实现较准确的距离测量;并且相对于其他视觉测距方法,具有代码简单,硬件要求低等优点。
