基于双目立体视觉的深度测量

基于立体标定件的双目视觉目标测量方法作者：蓝畋华云松来源：《软件》2020年第06期摘要：为了实现双目摄像机对目标物测量精度的提升，本文提出一种基于立体标定件的双目立体视觉目标物测量方法。

在摄像机标定步骤中，本方法在传统标定方法基础上，利用立體标定件的几何特性以及相邻面的图像冗余对初步标定的内外参矩阵进行修正，提升标定数据的精确性，然后利用SGBM（Semi-Global Block Matching）立体匹配算法对校正后的左右图像进行匹配，获取测量物上各点的三维坐标值，从而实现对目标物的尺寸测量。

分别用不同的物体进行测量后，实验结果证明本方法能将误差控制在1 mm以内，具有较好的准确性。

关键词：双目立体视觉测量;立体标定件;相机标定;立体匹配中图分类号： TP317.4 文献标识码： A DOI：10.3969/j.issn.1003-6970.2020.06.020本文著录格式：蓝畋，华云松. 基于立体标定件的双目视觉目标测量方法[J]. 软件，2020，41（06）：9195【Abstract】： In order to improve the measurement accuracy of the target by the binocular camera， a binocular stereo vision target measurement method based on stereo calibration parts is proposed in this paper. In the camera calibration step， based on the traditional calibration method，this method uses the geometric characteristics of the three-dimensional calibration part and the image redundancy of adjacent surfaces to modify the initial calibration internal and external parameter matrix to improve the accuracy of the calibration data. The Semi-Global Block Matching algorithm matches the corrected left and right images to obtain the three-dimensional coordinate values of the points on the measurement object， thereby achieving the measurement of the size of the target object. After measuring with different objects， the experimental results prove that the method can control the error within 1mm， and has better accuracy.【Key words】： Binocular stereo vision measurement; Stereo calibration; Camera calibration; Stereo matching0 引言人眼能够轻松的感知物体在空间中的位置，但无法实现对三维空间物体的精准测量。

中文摘要中文摘要随着工业自动化的高速发展，机器人等智能设备在工业生产中的应用日渐广泛。

对周边环境的感知是设备智能化的一项重要研究内容，目前，获取周边三维环境信息的主要技术途径以激光雷达和双目相机为主，与超声波传感器、激光雷达相比，双目相机具有获取信息丰富，价格低廉，精度高的特点，通常应用于实时测距、三维形貌恢复、缺陷诊断等领域。

智能设备在实际作业时，对周围的三维环境进行精确的三维重建有助于实际作业的安全有效进行，本文基于深度学习算法，对双目视觉系统的三维重建进行研究。

本文的主要研究内容有：(1)研究了当前摄像头标定的主流方法，对其具体算法实现进行了分析，通过对双目相机进行标定得到相机的内参数和外参数，基于相机的内外参数实现图像矫正、三维重建工作。

(2)对相机的成像和畸变原理进行分析和研究，对采集图像进行滤波、自适应伽马变换与去畸变处理，提高双目相机采集图像的质量。

(3)对双目视觉中最关键的算法——立体匹配算法进行研究，为了解决传统立体匹配算法匹配精度较低，误匹配区域较大的问题，本文基于深度学习算法，利用2D卷积神经网络对双目相机获取的左、右图进行匹配代价提取，并利用3D卷积神经网络对聚合后的匹配代价进行特征总结和匹配差异学习。

将立体匹配问题转化为一个有监督的机器学习问题，在KIIT2015数据集上训练一个端到端的神经网络模型，该卷积神经网络直接使用双目相机获取的左右两图作输入，直接输出预测的视差图。

(4)通过相机内外参数及立体匹配视差图得到周围环境的三维点云信息，并通过阈值分割算法提取特定工作范围内的稠密点云数据。

(5)搭建了综合实验平台，与其它算法的立体匹配效果进行对比，并对比标准雷达测距数据计算本文算法的精确度，验证了本文算法的有效性。

关键词：双目视觉；立体匹配；深度学习；三维重建I基于深度学习的双目视觉三维重建IIABSTRACTABSTRACTWith the rapid development of industrial automation,smart devices such as robots are increasingly used in industrial production.Perception of the surrounding environment is an important research content of device intelligence.At present,we mainly obtain three-dimensional information of the surrounding environment through lidar and binocular pared with ultrasonic sensors and lidar,binocular cameras obtain It is more abundant,the price is lower,and the accuracy is higher.It is usually used in real-time ranging, three-dimensional shape restoration,defect diagnosis and other fields.During the actual operation of the smart device,accurate3D reconstruction of the surrounding3D environment is helpful for the safe and effective operation of the actual operation.Based on the deep learning algorithm,this paper studies the3D reconstruction of the binocular vision system. The main research contents of this article are:(1)This paper studies the current mainstream camera calibration methods,analyzes its specific algorithm implementation,obtains the camera's internal and external parameters by calibrating the binocular camera,and implements image correction and3D reconstruction based on the camera's internal and external parameters.(2)This paper analyzes and studies the imaging and distortion principles of the camera, and filters,adaptive gamma transforms,and distorts the collected images to improve the quality of the images captured by the binocular camera.(3)This paper studies the most critical algorithm in binocular vision-stereo matching algorithm.In order to solve the problems of low matching accuracy and large mismatching area of traditional stereo matching algorithms,this paper uses a2D convolution neural network to extract the matching cost of the left and right images obtained by the binocular camera based on deep learning algorithms,and uses3D The product neural network performs feature summarization and matching difference learning on the aggregated matching costs. Turn the stereo matching problem into a supervised machine learning problem.Train an end-to-end neural network model on the KIIT2015dataset.The convolutional neural network directly uses the left and right images obtained by the binocular camera as input,and directly output the predicted Disparity map.(4)Obtain the three-dimensional point cloud information of the surrounding environmentIII基于深度学习的双目视觉三维重建through the internal and external parameters of the camera and the stereo matching disparity map,and extract the dense point cloud data within a specific working range through the threshold segmentation algorithm.(5)A comprehensive experimental platform was built to compare the stereo matching effect with other algorithms,and to compare the accuracy of the algorithm in this paper with standard radar ranging data to verify the effectiveness of the algorithm in this paper.Key words:Binocular vision;stereo matching;deep learning;3D reconstructionIV目录目录第一章绪论 (1)1.1课题的研究背景及意义 (1)1.2国内外研究现状 (1)1.3论文主要内容及工作 (5)第二章相机标定及图像预处理 (7)2.1单目相机数学模型 (7)2.2双目相机数学模型 (9)2.3双目相机的标定 (11)2.3.1张正友标定法 (11)2.3.2立体标定 (13)2.3.2畸变参数估计 (14)2.4双目极线矫正 (15)2.5图像预处理 (17)2.5.1图像去噪 (18)2.5.1伽马变换 (18)2.6本章小结 (20)第三章基于深度学习的立体匹配 (21)3.1传统立体匹配算法的基本理论 (21)3.2基于深度学习的立体匹配发展 (23)3.2.1深度学习的基本原理 (23)3.2.2mc-cnn与GC-net (27)3.3基于W-net的立体匹配 (29)3.3.1残差结构与通道注意模块介绍 (29)3.3.2W-ne2D模块(2D卷积网络部分) (31)3.3.3Cost Value模块(代价聚合部分) (33)3.3.4W-net3D模块(3D卷积网络部分) (34)3.3.5Prob模块(视差预测部分) (36)3.3.6数据集的选择 (37)3.3.7损失函数的选择 (37)V基于深度学习的双目视觉三维重建3.3.8权值初始化及优化算法 (38)3.3.9网络结构说明 (39)3.4本章小结 (40)第四章基于视差图的三维重建 (41)4.1整体视差图的三维点云 (41)4.2视差图处理 (44)4.3点云滤波处理 (47)4.4本章小结 (48)第五章基于双目相机的三维点云重建算法与平台的实现 (49)5.1Pytorch、Opencv、Qt简介 (49)5.2平台开发环境 (49)5.3算法流程与实验结果分析 (50)5.4本章小结 (58)第六章总结与展望 (59)参考文献 (61)致谢 (65)附录 (67)VI第一章绪论第一章绪论1.1课题的研究背景及意义计算机视觉的任务是赋予计算机“自然视觉”的能力，使计算机对输入的图像(视频)进行处理，实现对图像中内容的表达和理解。

双目立体视觉技术的实现双目立体视觉技术是指利用两个摄像机模拟人眼双目视觉，从而实现对物体的立体感知和深度信息的提取。

它已经广泛应用于计算机视觉、机器人视觉、虚拟现实、医学影像等领域。

本文将对双目立体视觉技术的实现进行详细介绍。

一、双目视觉原理人类双目视觉的原理是指两只眼睛在不同的位置观察同一物体，从而产生两个稍微不同的图像。

人脑通过类似于计算机中的算法，对两个图像进行计算，从而提取出立体信息，进而对物体进行深度和空间感知。

二、双目立体视觉技术的实现过程1.摄像机的标定由于摄像机内外参数不同，因此在使用双目立体视觉技术时需要先进行摄像机标定。

摄像机标定的过程包括对摄像机的内部参数和外部参数进行测量和计算。

内部参数包括焦距、主点以及径向和切向畸变等，外部参数包括相机的位置和朝向。

通过标定，可以得到摄像机的参数，进而进行后续的处理。

2.图像匹配图像匹配是双目立体视觉技术中最重要的步骤之一，也是最具挑战性的部分。

图像匹配的目的是找到两张图像中对应的像素点。

常用的图像匹配算法包括基于区域、基于特征和基于深度等。

3.深度计算深度计算是指根据匹配到的像素点，计算出物体的距离，即深度。

常用的深度计算方法包括三角测量法和基于视差的深度计算法。

三角测量法是指根据两个图像中对应像素点的位置关系，通过三角形相似原理计算出物体的距离。

基于视差的深度计算法是指通过计算两幅图像中对应点之间的视差（即两个像素在图像上的水平或垂直距离），从而得出物体到相机的距离。

三、双目立体视觉技术的应用1.计算机视觉双目立体视觉技术在计算机视觉领域中已经被广泛应用。

例如，在物体识别、位姿估计以及场景重建等方面，双目立体视觉技术都有重要的应用。

通过双目视觉，计算机可以更加准确地识别图像中的物体，进而进行自动化的控制和处理。

2.机器人视觉机器人视觉是指将双目视觉技术应用于机器人的感知和控制。

例如，在自主导航、抓取和操纵等方面，机器人需要通过视觉来获取场景信息和深度信息，从而实现自主决策和控制。

双目视觉目标检测算法
双目视觉目标检测算法是基于双目立体视觉技术开发的一种新型目标检测算法。

它通
过对双目视觉信息进行处理，提取图像特征信息，进而实现目标的检测、识别和跟踪等任务，可以广泛应用于机器人、自动驾驶、智能监控、虚拟现实等领域。

双目视觉目标检测算法的基本原理是通过双目摄像机获取多维图像信息，从而获得图
像的深度信息，进而实现目标检测和跟踪等功能。

这种算法基于计算机视觉的技术与理论，结合了深度学习和机器学习的算法，在目标检测方面相较于传统的单目视觉算法更具优
势。

具体来说，双目视觉目标检测算法分为以下几个步骤：
1. 图像采集。

通过双目摄像机采集图像信息，并通过双目成像的方式，生成二维图
像的深度信息。

2. 标定。

对摄像机进行标定，以获取摄像机内外部参数，从而建立双目成像模型。

3. 特征提取。

提取双目图像中的特征，可以采用传统的图像特征提取算法（如SIFT、SURF、ORB等），也可以使用深度学习模型进行特征提取（如CNN）。

4. 目标检测。

将特征信息输入到检测器中，识别出包括目标在内的物体，并标记其
位置信息。

5. 目标跟踪。

通过不断地匹配当前图像和前一时刻的图像，实现目标的跟踪和位置
预测。

双目视觉目标检测算法还有很多的改进和优化空间，例如可以将其与深度学习模型结合，以提高检测的准确率和鲁棒性。

另外，也可以采用多种传感器，如GPS、激光雷达等，与双目视觉技术相结合，以获取更丰富的环境信息。

总之，双目视觉目标检测算法是一种新型、高效的目标检测算法，应用前景十分广阔，具有很大的发展潜力。

双目立体视觉测距算法研究共3篇双目立体视觉测距算法研究1双目立体视觉测距算法研究随着机器视觉技术的不断发展，双目立体视觉测距算法逐渐成为了一种广泛应用的测距技术。

双目立体视觉测距算法是通过两个视点来获取立体信息，并计算物体真实距离的一种方法。

本文对双目立体视觉测距算法进行了研究，并分析其在应用中的优势和不足。

一、双目立体视觉测距算法原理双目立体视觉测距算法基于人眼的立体视觉原理，即通过两个视角获取物体的三维信息。

常用的双目立体视觉系统由左右两个相机组成，同时获取场景的两幅图像。

通过对这两幅图像进行处理，计算出物体在左右两幅图像上的像素位置差（视差），从而推算出物体的真实距离。

二、双目立体视觉测距算法优势1.高精度：相较于其他测距方法（如激光测距），双目立体视觉测距算法具有更高的精度，能够在一定范围内实现毫米级别的测距。

2.适用性广：该算法可以适用于多种物体，无论物体大小、形状、材质如何，都可以进行测距。

3.实时性高：双目立体视觉测距算法能够在几毫秒内完成图像处理和测距，实时性较高。

三、双目立体视觉测距算法不足1.对环境影响大：该算法对环境的变化比较敏感，如光照、颜色、纹理等变化会影响到视差计算的准确性。

2.算法复杂度高：该算法相较于其他测距方法具有更高的计算复杂度，需要较高的计算资源支持。

3.视野较小：双目立体视觉测距算法的视野范围相对较小，需要控制好摄像机的位置和摆放角度，否则会影响测距结果的准确性。

四、双目立体视觉测距算法在实际应用中的案例双目立体视觉测距算法已经在多个领域得到了成功应用，以下是一些案例：1.物流自动化：在物流自动化领域，通过双目立体视觉测距算法可以实现对货物的快速识别和分拣，提高分拣效率。

2.智能驾驶：在智能驾驶领域，通过双目立体视觉测距算法可以实现对车辆和行人的快速检测和识别，提高自动驾驶的安全性。

3.机器人制造：在机器人制造领域，通过双目立体视觉测距算法可以实现对工件和机器人的快速识别和定位，提高机器人的自动化程度和生产效率。

双目深度相机原理
双目深度相机是一种利用双目立体视觉技术来获取物体深度信息的设备。

其原理是通过两个相机的视差来计算物体在三维空间中的位置和深度信息。

双目深度相机的两个相机分别从不同的角度拍摄同一物体，形成两幅不同的图像。

由于两个相机之间的距离和角度不同，因此它们拍摄的图像中对应物体的位置也会有所不同，这种现象被称为视差。

通过计算这种视差，我们可以得到物体在三维空间中的位置和深度信息。

具体来说，双目深度相机的原理可以分为以下几个步骤：
1. 获取图像：双目深度相机的两个相机分别获取物体的两幅不同角度的图像。

2. 图像校正：由于两个相机之间的位置和角度差异，拍摄的图像可能会出现畸变或错位。

因此需要对获取的图像进行校正，使其对齐并形成一致的视角。

3. 特征点匹配：在两幅图像中寻找对应特征点的位置，这些特征点可以是边缘、角点等明显的特征。

4. 计算视差：根据特征点在两幅图像中的位置差异，计算出物体的视差。

视差的大小反映了物体在三维空间中的深度信息。

5. 生成深度图：根据计算出的视差，生成物体的深度图。

深度图是一个表示物体表面各点距离相机远近的图像，其中每个像素点的值表示该点在三维空间中的深度信息。

6. 三维重建：结合深度图和校正后的图像，利用三角测量原理，重建出物体的三维模型。

双目深度相机具有结构简单、成本低、精度高等优点，因此在机器人视觉、自动驾驶、虚拟现实等领域得到了广泛应用。

双目立体视觉三维测量原理
1.前言戏说
 双目立体视觉是基于视差原理，由多幅图像获取物体三维几何信息的方法。

在机器视觉系统中，双目视觉一般由双摄像机从不同角度同时获取周围景物
的两幅数字图像，或有由单摄像机在不同时刻从不同角度获取周围景物的两
幅数字图像，并基于视差原理即可恢复出物体三维几何信息，重建周围景物
的三维形状与位置。

 双目视觉有的时候我们也会把它称为体视，是人类利用双眼获取环境三维信息的主要途径。

从目前来看，随着机器视觉理论的发展，双目立体视觉在
机器视觉研究中发回来看了越来越重要的作用。

本文主要研究了双目视觉的
数学原理。

2.双目立体视觉的数学原理
 双目立体视觉是基于视差，由三角法原理进行三维信息的获取，即由两个摄像机的图像平面和北侧物体之间构成一个三角形。

一直两个摄像机之间的。

《基于双目视觉的三维重建关键技术研究》一、引言三维重建技术在现代社会具有广泛的应用场景，包括虚拟现实、机器人导航、无人驾驶等领域。

其中，基于双目视觉的三维重建技术因其高效、准确的特点，成为了研究的热点。

本文将深入探讨基于双目视觉的三维重建的关键技术，分析其原理、方法及挑战，旨在为相关研究提供参考。

二、双目视觉三维重建原理双目视觉三维重建技术基于人类双眼的视觉原理，通过模拟人眼的视觉系统，利用两个相机从不同角度获取同一场景的图像信息，进而计算得到场景中物体的三维结构信息。

其基本原理包括图像获取、图像预处理、特征提取、立体匹配、三维重建等步骤。

三、关键技术研究1. 图像获取与预处理图像获取是双目视觉三维重建的基础。

在获取图像时，需要保证两个相机的参数一致，以减小后续处理的难度。

预处理阶段主要包括图像去噪、灰度化、二值化等操作，以提高图像的质量，为后续的特征提取和立体匹配提供良好的基础。

2. 特征提取特征提取是双目视觉三维重建的关键步骤之一。

通过提取图像中的特征点，可以减小立体匹配的计算量，提高匹配的准确性。

目前常用的特征提取方法包括SIFT、SURF、ORB等。

这些方法可以在不同的尺度、旋转和光照条件下提取稳定的特征点，为后续的立体匹配提供可靠的基础。

3. 立体匹配立体匹配是双目视觉三维重建的核心步骤。

其目的是在两个相机的视图中找到对应的特征点，从而计算视差图。

视差图反映了场景中各点在两个相机视图中的位置差异，是计算三维结构信息的基础。

目前常用的立体匹配方法包括基于区域的匹配、基于特征的匹配和基于全局优化的匹配等。

这些方法各有优缺点，需要根据具体的应用场景选择合适的匹配方法。

4. 三维重建三维重建是根据视差图和相机参数计算场景中物体的三维结构信息的过程。

常见的三维重建方法包括深度图法、三角测量法等。

深度图法通过计算视差图与深度信息之间的关系得到深度图，进而得到物体的三维结构信息。

三角测量法则是通过两个相机的位置和视角信息，结合视差图计算得到物体的三维坐标信息。

《基于双目立体视觉定位和识别技术的研究》篇一一、引言随着科技的飞速发展，计算机视觉技术在众多领域中得到了广泛的应用。

其中，双目立体视觉定位和识别技术以其高精度、高效率的特点，在机器人导航、三维重建、无人驾驶等领域中发挥着重要作用。

本文旨在研究基于双目立体视觉的定位和识别技术，探讨其原理、方法及应用领域，以期为相关领域的研究提供参考。

二、双目立体视觉技术原理双目立体视觉技术是通过模拟人眼视觉系统，利用两个相机从不同角度获取同一场景的图像信息，再通过图像处理技术提取出场景的三维信息。

其主要原理包括摄像机标定、图像预处理、特征提取与匹配、三维信息重建等步骤。

1. 摄像机标定摄像机标定是双目立体视觉技术中的重要环节，它旨在确定摄像机的内部参数和外部参数。

内部参数包括摄像机焦距、主点坐标等，外部参数则描述了摄像机与世界坐标系之间的关系。

通过标定，可以获取到摄像机在三维空间中的位置和方向。

2. 图像预处理图像预处理包括灰度化、去噪、二值化等操作，旨在提高图像的质量，以便后续的特征提取与匹配。

其中，灰度化可以将彩色图像转换为灰度图像，降低计算复杂度；去噪可以消除图像中的噪声干扰；二值化则将图像转换为二值图像，便于特征提取。

3. 特征提取与匹配特征提取与匹配是双目立体视觉技术的核心步骤。

通过提取图像中的特征点、线、面等信息，建立场景的三维模型。

特征匹配则是根据提取的特征信息，在两个相机获取的图像之间寻找对应关系，为三维信息重建提供依据。

三、双目立体视觉定位技术双目立体视觉定位技术是利用双目立体视觉系统获取场景的三维信息，实现目标的定位。

其主要方法包括基于特征点的定位方法和基于区域匹配的定位方法。

1. 基于特征点的定位方法该方法首先在两个相机获取的图像中提取特征点，然后通过特征匹配找到对应关系，最后利用三角测量原理计算目标的三维坐标。

该方法具有较高的精度和稳定性，适用于各种复杂环境。

2. 基于区域匹配的定位方法该方法通过在两个相机获取的图像中寻找相同的区域，然后利用区域内的像素信息进行匹配，实现目标的定位。

《基于双目立体视觉定位和识别技术的研究》篇一一、引言随着科技的飞速发展，计算机视觉技术在众多领域中得到了广泛的应用。

其中，双目立体视觉定位和识别技术以其高精度、高效率的特点，在机器人导航、无人驾驶、三维重建等领域中发挥着越来越重要的作用。

本文旨在研究基于双目立体视觉的定位和识别技术，分析其原理、方法及在各领域的应用，以期为相关研究提供参考。

二、双目立体视觉原理双目立体视觉技术基于人类双眼的视觉原理，通过两个相机从不同角度获取物体的图像信息，然后利用图像处理技术对两幅图像进行匹配、计算，从而得到物体的三维空间信息。

该技术主要包括相机标定、图像预处理、特征提取与匹配、三维重建等步骤。

三、双目立体视觉定位技术双目立体视觉定位技术是利用双目相机获取的图像信息，通过图像处理算法对物体进行定位。

该技术主要包括以下步骤：1. 相机标定：确定相机内参和外参，包括相机的焦距、光心位置、畸变系数等。

2. 图像预处理：对两幅图像进行去噪、平滑等处理，以便更好地提取特征。

3. 特征提取与匹配：利用特征提取算法（如SIFT、SURF等）提取两幅图像中的特征点，并通过匹配算法（如暴力匹配、FLANN匹配等）找到对应的特征点。

4. 三维定位：根据匹配的特征点，利用三角测量法等算法计算物体的三维空间坐标。

四、双目立体视觉识别技术双目立体视觉识别技术是在定位技术的基础上，进一步对物体进行分类、识别。

该技术主要包括以下步骤：1. 特征描述与分类：根据提取的特征点，建立物体的特征描述符，并通过分类器（如支持向量机、神经网络等）进行分类。

2. 模式识别：利用机器学习等技术对物体进行识别，包括目标检测、语义分割等。

3. 深度学习应用：利用深度学习算法（如卷积神经网络等）对物体进行更精确的识别和分类。

五、应用领域双目立体视觉定位和识别技术在众多领域中得到了广泛的应用，主要包括以下几个方面：1. 机器人导航与无人驾驶：通过双目相机获取周围环境的信息，实现机器人的自主导航和无人驾驶。