基于HALCON的双目立体视觉系统实现

《基于双目视觉的立体匹配算法研究及应用》篇一一、引言随着计算机视觉技术的不断发展，双目视觉技术已成为三维重建、机器人导航、自动驾驶等领域的重要技术手段。

其中，立体匹配算法作为双目视觉技术的核心，对于实现高精度的三维重建和场景理解具有重要意义。

本文旨在研究基于双目视觉的立体匹配算法，探讨其原理、方法及应用，以期为相关领域的研究和应用提供参考。

二、双目视觉原理及立体匹配算法概述双目视觉技术通过模拟人类双眼的视觉系统，利用两个相机从不同角度获取场景的图像信息，然后通过立体匹配算法对两幅图像进行匹配，从而恢复出场景的三维信息。

立体匹配算法是双目视觉技术的核心，其主要任务是在两个视图的像素之间找到对应的匹配点，进而计算出视差图（disparity map），最终实现三维重建。

三、立体匹配算法研究立体匹配算法的研究主要包括匹配基元选择、匹配代价计算、视差计算及优化等方面。

1. 匹配基元选择：匹配基元是立体匹配算法的基础，常用的包括像素、区域、特征等。

像素级匹配精度高，但计算量大；特征级匹配计算量小，但鲁棒性较好。

针对不同场景和应用需求，选择合适的匹配基元是关键。

2. 匹配代价计算：匹配代价是衡量两幅图像中对应点相似程度的指标。

常用的匹配代价计算方法包括灰度差绝对值法、灰度差平方法、归一化互相关法等。

合理的匹配代价计算方法有助于提高匹配精度和鲁棒性。

3. 视差计算及优化：视差计算是通过匹配代价计算得到的视差图来恢复场景的三维信息。

常用的视差计算方法包括块匹配法、动态规划法、基于全局优化的方法等。

在视差计算过程中，还需要考虑噪声、遮挡等问题，通过优化算法提高视差的准确性和稳定性。

四、立体匹配算法应用双目视觉技术及立体匹配算法在许多领域得到了广泛应用，如机器人导航、自动驾驶、三维重建等。

本文将介绍几种典型的应用场景：1. 机器人导航：利用双目视觉技术实现机器人的环境感知和障碍物检测，通过立体匹配算法获取视差图，为机器人提供精确的深度信息，从而实现自主导航和避障。

基于HALCON的双目视觉系统深度信息测量技术研究基于 HALCON 的双目视觉系统深度信息技术研究立体视觉技术是机器人技术研究中最为活跃的一个分支是智能机器人的重要标志双目立体视觉是通过对同一目标的两幅图像提取识别匹配和解释进行三维环境信息的重建其过程主要包括视频捕获摄像机定标图像预处理和特征提取立体匹配以及三维重建为解决智能移动机器人工业装配机器人家用机器人公共服务机器人的视觉问题双目立体视觉技术的进一步研究可对多目视觉具有重要的启发本文对双目立体视觉测深原理和双目视觉系统的结构进行了初步研究其图象处理主要包括图像的获取摄像机标定图像预处理与特征提取立体匹配信息提取等五个部分并且应用 HALCON 软件实现了这些步骤的算法最后对基于HALCON 双目视觉系统测量深度进行了初步编程测试关键字双目视觉系统 HALCON 标定IV基于 HALCON 的双目视觉系统深度信息技术研究AbstractStereo vision technology is one of active branches in the robot technology it is animportant symbol of the intelligent robot Inthe system the three-dimensionalreconstruction environmental information is reconstructedby the objective extractionfrom images identification matching and explanation The process includes videocapture camera calibration image pre-processing and feature extractionthree-dimensional matching and three-dimensional reconstruction In order to solve theproblems about the vision of smart mobile robots industrial robot household robotsrobot visual public service problems the further study on the three-dimensional visiontechnology could inspire to more eyes visionIn the thesis the principle of binocular stereovision measuring depth and thestructure of binocular stereo vision are studied preliminarily Itsimage process includesfive parts such as image acquisition calibrationimage pre-processing and featureextraction three-dimensional matching and information extraction Thehalcon softwareto realize the algorithm of these steps have been applied Finally theexperiment of theprogramming to measure the depth based on the halcon in the binocularvision systemhave been carried and tested preliminaryKey words Binocular vision system halcon CalibrationV基于 HALCON 的双目视觉系统深度信息技术研究目录第一章绪论 111 研究的背景及意义 112 双目立体视觉系统的现状及发展方向 1com 双目视觉系统技术的国内外现状1com 双目立体视觉系统发展方向313 本文的主要研究内容 3第二章双目立体系统测量深度原理 521 双目立体视觉原理 522 体视觉系统的图象处理 6com 图像的获取 6com 摄像机的标定 7com 图像预处理与特征提取9com 图像匹配 9com 获得立体信息 1023 双目视觉系统的结构 11com 系统的结构 11com 双目测量深度的硬件组成12 第三章双目视觉系统深度测量程序设计 1431 本程序的设计思路及程序框图 1432 利用HALCON进行双目测深图像处理结果14 com 获取标定板图像 14com 处理标定板图像 15com 双目视觉系统标定 17com 获取观察物图像 17com 矫正图像 18com 获得中心点 3D信息1833 生成VC程序及制作应用软件20第四章基于halcon双目测深实验结果及误差分析21 41 实验结果 21VI基于 HALCON 的双目视觉系统深度信息技术研究42 误差分析 21第五章设计总结与展望 23参考文献 24致谢 26附录 1 27附录2 38声明 42VII基于 HALCON 的双目视觉系统深度信息技术研究第一章绪论11 研究的背景及意义双目视觉系统技术的研究一直是机器视觉中的热点和难点使用双目立体视觉系统可以确定任意物体的三维轮廓并且可以得到轮廓上任意点的三维坐标因此双目立体视觉系统可以应用在多个领域双目立体视觉系统在机器视觉领域有着广泛的应用前景双目立体视觉是机器视觉的一种重要形式它是基于视差原理并由多幅图像获取物体三维几何信息的方法双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像并基于视差原理恢复出物体的三维几何信息重建物体三维轮廓及位置HALCON是德国MVtec公司的图像处理软件是世界公认具有最佳效能的机器视觉软件这是一套图像处理库由一千多个各自独立的函数以及底层的数据管理核心构成其中包含了各类滤波色彩分析以及几何数学变换形态学计算分析校正分类辨识形状搜索等等基本的几何以及图像计算功能由于这些功能大多并非针对特定工作设计的因此只要用得到图像处理的地方就可以用HALCON强大的计算分析能力来完成工作由于机器视觉技术的发展这种可以"取代人眼"对重复工作不会疲劳精度高且稳定的特质促进了高科技业的发展例如电子业[1]产量的大幅提升本文研究了基于 HALCON 实现双目立体视觉系统以及立体视觉的基本理论方法和相关技术搭建双目立体视觉系统和提高算法效率12 双目立体视觉系统的现状及发展方向com 双目视觉系统技术的国内外现状双目视觉系统技术应用非常广泛目前主要应用于四个领域机器人导航操作系统的参数检测三维测量和虚拟现实日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统利用双目体视的原理以每幅图像中相对静止的三个标志为参考实时计算目标图像的雅可比矩阵从而预测出目标下一步运动方向实现了对运动方式未知的目标的自适1基于 HALCON 的双目视觉系统深度信息技术研究应跟踪该系统仅要求两幅图像中都有静止的参考标志无需摄像机参数而传统的视觉跟踪伺服系统需事先知道摄像机的运动光学等参数和目标的运动方式日本东京大学将实时双目立体视觉和机器人整体姿态信息集成开发了仿真机器人动态行走导航系统该系统实现分两个步骤首先利用平面分割算法分离所拍摄图像对中的地面与障碍物再结合机器人躯体姿态的信息将图像从摄像机的二维平面坐标系转换到描述躯体姿态的世界坐标系建立机器人周围区域的地图其次根据实时建立的地图进行障碍物检测从而确定机器人的行走方向华盛顿大学与微软公司合作为火星卫星探测者号研制了宽基线立体视觉系统使探测者号能够在火星上对其即将跨越的几千米内的地形进行精确的定位导航系统使用同一个摄像机在探测者的不同位置上拍摄图像对拍摄间距越大基线越宽能观测到越远的地貌系统采用非线性优化得到两次拍摄图像时摄像机的相对准确的位置利用鲁棒性强的最大似然概率法结合高效的立体搜索进行图像匹配得到亚像素精度的视差并根据此视差计算图像对中各点的三维坐标相比传统的体视系统能够更精确地绘制探测者号周围的地貌和以更高的精度观测到更远的地形东南大学电子工程系基于双目立体视觉提出了一种灰度相关多峰值视差绝对值极小化立体匹配新方法可对三维不规则物体偏转线圈的三维空间坐标进行非接触精密测量哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航将一个固定摄像机和一个可以水平旋转的摄像机分别安装在机器人的顶部和中下部可以同时监视不同方位视点体现出比人类视觉优越的一面通过合理的资源分配及协调机制使机器人在视野范围测量精度及处理速度方面达到最佳匹配双目协调技术可使机器人同时捕捉多个有效目标观测相遇目标时通过数据融合也可提高测量精度在实际比赛中其他传感器失效的情况下仅仅依靠双目协调仍然可以实现全自主足球机器人导航火星 863 计划课题人体三维尺寸的非接触测量采用双视点投影光栅三维测量原理由双摄像机获取图像对通过计算机进行图像数据处理不仅可以获取服装设计所需的特征尺寸还可根据需要获取人体图像上任意一点的三维坐标该系统已通过中国人民解放军总后勤部军需部鉴定可达到的技术指标数据采集时间小于5s人提供身高胸围腰围臀围等围度的测量精度不低于10cm[2]2基于 HALCON 的双目视觉系统深度信息技术研究com 双目立体视觉系统发展方向就目前立体视觉技术的发展现状而言要构造出类似于人眼的通用双目立体视觉系统还有很长的路要走进一步的研究方向可归纳如下1如何建立更有效的双目体视模型能更充分地反映立体视觉不确定性的本质属性为匹配提供更多的约束信息降低立体匹配的难度2 探索新的适用于全面立体视觉的计算理论和匹配策略选择有效的匹配准则和算法结构以解决存在灰度失真几何畸变透视旋转缩放等噪声干扰特殊结构平坦匹域重复相似结构等及遮掩景物的匹配问题双目立体视觉这一有着广阔应用前景的学科随着光学电子学以及计算机技术的发展将不断进步逐渐实用化不仅将成为工业检测生物医学虚拟现实等领域的关键技术还有可能应用于航天遥测军事侦察等领域目前在国外双目体视技术已广泛应用于生产生活中而我国正处于初始阶段尚需广大科技工作者共同努力为其发展做出贡献13 本文的主要研究内容立体视觉的基本原理是从两个或多个视点观察同一景物以获取在不同视角下的感知图像通过三角测量原理计算图像象素间的位置偏差即视差来获取物体的三维信息这一过程与人类视觉的立体感知过程是类似的一个完整的双目立体视觉系统一般包括图像的获取摄像机标定图像预处理与特征提取立体匹配信息提取等五个部分本文研究内容为利用 HALCON 软件对图像进行处理通过图像匹配技术得到目标视差从而转化为物体所需的深度信息程序大致关键步骤分为图像获取―摄像机标定－物体识别－深度信息确定分析了各个步骤的相应问题和处理方法并将本课题的重点集中于测量深度信息各种算法 HALCON 软件编程这一部分第一章介绍了本文的研究意义以及双目立体视觉系统的国内外现状和发展方向最后介绍了本文的主要研究内容及章节安排第二章介绍了双目立体视觉原理及结构介绍了双目视觉的技术实现包括图像获取摄像机标定图像预处理与特征提取立体匹配信息提取3基于 HALCON 的双目视觉系统深度信息技术研究第三章研究了应用 HALCON 软件编程各种算法所得的整个程序四个主要步骤标定立体摄像系统获取图像矫正图像获得 3D 信息以及制作 VC 程序和应用软件第四章对基于 HALCON 双目视觉系统测量深度进行了实验对实验结果处理并分析了实验误差第五章最后介绍了本设计的总结及对今后的工作进行了展望4基于 HALCON 的双目视觉系统深度信息技术研究第二章双目立体系统测量深度原理21 双目立体视觉原理双目立体视觉三维测量是基于视差原理图 2-1 所示为简单的平视双目立体成像原理图两摄像机的投影中心分别为O 和O 点P为观察物上的中心点基线距b21为两摄像机的投影中心的连线距离两摄像机的焦距为f且相同左边摄像机的坐标系的原点在摄像机镜头的光心O处坐标系O_ x y z 如图 1 所示左右摄像机的c c c成像平面为O uv和O uv O 和O 分别为左右图像坐标系的原点在摄像机光轴与平21 2 1面的交点实际上摄像机的成像平面在镜头的光心后面f处这里绘制在镜头的光心前面f处成像平面的u轴和v轴和摄像机坐标系O_ x y z 的x 轴和y 轴方向一致c c c c c这样可以简化计算过程图2 －1 双目立体成像原理图点P在左摄像机成像平面和右摄像机成像平面中相应的坐标分别为Pu v 和11 1P u v 假定两摄像机的图像在同一个平面上则P点坐标y 在O uv和O uv系中v2 2 2c1 2坐标相同即v v 由三角几何关系得到215基于 HALCON 的双目视觉系统深度信息技术研究x x b ycu f c u c v v1 v2 f2-11 2 1z z zc c c视差定义为某一点在两幅图像中相应点的位置差其表达式为f bd u u2-21 2zc由此可计算出空间中某点P 在左摄像机坐标系中的坐标为b u1xc db vy c 2-3db fzcd因此只要能够找到空间中某点 P 在左右两个摄像机像面上的相应点并且通过摄像机标定获得摄像机的内外参数就可以确定这个 P 点的三维坐标这样深度信息的测量变为 P 点的 Z 轴之间的差值22 体视觉系统的图象处理一个完整的双目立体视觉系统的图象处理一般包括图像的获取摄像机标定图像预处理与特征提取立体匹配信息提取等五个部分com 图像的获取双目体视的图像获取是由不同位置的两台摄像机CCD 经过移动或旋转拍摄同一幅场景获取立体图像对其模型如图 2-2 假定摄像机C 与 C 的角距和内部参12数都相等两摄像机的光轴互相平行二维成像平面u O v 和u O v 重合P 与P 分1 1 12 2 2 1 2别是空间点P在C 与C 上的成像点但一般情况下两个摄像机的内部参数不可能1 2完全相同摄像机安装时无法看到光轴和成像平面故在实际中难以应用上海交大在理论上对会聚式双目体视系统的测量精度与系统结构参数之间的关系作了详尽分析并通过试验指出对某一特定点进行三角测量该点测量误差与两CCD光轴夹角是一个复杂的函数关系若两摄像头光轴夹角一定则被测坐标系与摄像头坐标系之间距离越大测量得到点距离的误差就越大在满足测量范围的前提下应选择两CCD之间夹角在 50-80 度之间[561012]6基于 HALCON 的双目视觉系统深度信息技术研究图2-2 双摄像机模型com 摄像机的标定计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的这些几何模型参数就是摄像机参数这个过程被称为摄像机标定根据摄像机参数性质可以分为内部参数和外部参数内部参数描述摄像机的内部光学和几何特性如图像中心焦距镜头畸变以及其它系统误差参数等相对于一个世界坐标系的摄像机坐标的三维位置和方向称为外部参数摄像机标定是立体视觉研究的重要组成部分首先建立 4 个坐标系见图 2-3 1 三维世界坐标系O_X YZ Xw ww wYw Zw 为物体点 P 的三维世界坐标 2 摄像机坐标系 O_X Y Z 图中光心到图c c c像平面距离OO 为摄像机有效焦距 f 3 成像平面坐标系 O XY P X Y1 uu u表示针孔模型下 P点的理想成像坐标P X Y 是由透镜径向畸变引起的偏离 Pd d d uX Y 的实际成像平面坐标 4 图像坐标系 O uv 原点 O 在图像平面u u 0 0的左上角每一像素的坐标u v 分别是该像素在数组中的列数和行数所以uv 是以像素为单位的图像坐标系的坐标[2389]7基于HALCON 的双目视觉系统深度信息技术研究图2-3四个坐标系图摄像机内参数的标定和单目视觉系统标定一致双目立体视觉系统的标定主要是指摄像机的内部参数标定后确定视觉系统的结构参数 R 和 T 即两个摄像机之间的位置关系R 和 T 分别为旋转矩阵和平移向量一般方法是采用标准的 2D 或3D 精密靶标通过摄像机图像坐标与三维世界坐标的对应关系求得这些参数具体的标定过程如下1将标定板放置在一个适当的位置使它能够在两个摄像机中均可以完全成像通过标定确定两个摄像机的内部参数以及他们的外部参数R T 与R T1 12 2则R T 表示左摄像机与世界坐标系的相对位置R T 表示右摄像机与世界坐标1 12 2系的相对位置2 假定空间中任意一点在世界坐标系左摄像机坐标系和右摄像机坐标系下的非齐次坐标分别为Xw Xc1 Xc2 则X R X T X R X T 11 2-41 C1 1 2W2 C W 2消去XW 得到1 1 11 2-5X R R X T R R T2 2 C 1 1 2 2 C 1 12两个摄像机之间的位置关系RT可以用以下关系式表示R R R T T R R T 1 1 2-62 1 2 2 1 128基于 HALCON 的双目视觉系统深度信息技术研究com 图像预处理与特征提取由光学成像系统生成的二维图像包含了各种各样的随机噪声和畸变因此需要对原始图像进行预处理突出有用信息抑制无用信息从而改善图像质量图像预处理的目的主要有两个一是改善图像的视觉效果提高图像的清晰度二是使图像变的更有利于计算机的处理便于各种特征分析图像预处理技术包括图像对比度的增强随机噪声的去除边缘特征的加强等特征提取是为了得到匹配赖以进行的图像特征由于目前尚没有一种普遍适用的理论可运用于图像特征的提取从而导致了立体视觉研究中匹配特征的多样性目前常用的匹配特征主要有点特征线特征和区域特征等一般来讲大尺度特征含有较丰富的图像信息在图像中的数目较少易于得到快速的匹配但它们的定位精度差特征提取与描述困难而小尺度特征数目较多其所含信息较少因而在匹配时需要较强的约束准则和匹配策略以克服歧义匹配和提高运算效率良好的匹配特征应具有可区分性不变性稳定性唯一性以及有效解决歧义匹配的能力[1415]com 图像匹配由双目立体视觉系统原理可以看出双目立体视觉是建立在对应点的视差基础之上因此左右图像中各点的匹配关系成为双目立体视觉技术的一个极其重要的问题然而对于实际的立体图像对求解对应问题极富挑战性可以说是双目立体视觉中最困难的一步为了能够增加匹配结果的准确性以及匹配算法的速度在匹配过程中通常会加入下列几种约束1 极线约束在此约束下匹配点已经位于两副图像中相应的极线上2 唯一性约束两副图像中的对应的匹配点有且仅有一个3 视差连续性约束除了遮挡区域和视差不连续区域外视差的变化都是平滑的4 顺序一致性约束位于一副图像极线上的系列点在另一幅图像中极线上有相同的顺序图像匹配的方法有基于图像灰度区域的匹配基于图像特征的匹配和基于解释的匹配或者多种方法结合的匹配针对模板匹配HALCON 提供了许多不同的方法方法的选择取决于图像的数据和需要解决的任务9基于 HALCON 的双目视觉系统深度信息技术研究基于灰度值的匹配gray-value-based macthing 是典型的匹配方法如果物体中灰度值变化不大没缺损部分和混乱这种方法可以被使用这种方法能够处理单一物体实例该实例在查找图像中可以是旋转的基于形状的匹配shape-based macthing 是机器视觉中的先进技术基于形状的匹配不是使用灰度值而是提取并使用轮廓的特征来产生模板和完成匹配在照明的变化和物体灰度值的变化的情况下这种方法得到的效果都是完全一致的他能够处理物体上的缺损部分混乱和噪声而且同一模板的多个实例可被同时发现多个的不同模板也可以被同时使用这种方法允许物体被旋转和缩放基于成分的匹配component-based matching 被认为是一种更高级的基于形状的匹配增强的功能是物体能够包含若干个可旋转和平移的部分旋转和平移是相对于这些部分之间进行的一个简单的例子是一对钳子逻辑上这被认为是一个物体但物体上它包含了两部分成分匹配允许只用一个查找步骤就能处理类似这样的复合物与将各个部分处理为整个特殊模型的方法相比成分匹配的优点在于提高了执行速度和算法的健壮性基于点的匹配point-based matching 目的是为了组合两幅有两幅重叠区域的图像首先在这两幅图像上提取有效点这些点被输入到实际的匹配过程匹配的结果是从一幅图像到另一幅图像映射允许平移旋转缩放和透视失真这种映射的典型应用是把两幅图像结合成一幅更大的图像当然一幅图像也可以作为模板对待另一幅图像则被视为包含需被查找模板实例的图像对待这种方法的优点在于能够处理没有校准的透视失真缺点在于增加了执行时间时间主要被用于有[1]效点的提取com 获得立体信息立体视觉的任务就是得出感兴趣场景的三维信息对于不同的应用可以有不同的要求但最基本的就是要计算目标的深度信息得到三维坐标若需要结果的可视化则可对场景进行重建己知立体成像模型和完成立体匹配后三维信息的恢复是比较容易的重要的是如何提高计算的精确度其影响因素是多方面的如摄像机参数标定图像特征定位的精确程度和立体匹配的准确性等等因此要提高三维重建的精度还需要更深入的研究而本文研究的正是最基本的目标获得深度信息得到三维坐标10基于 HALCON 的双目视觉系统深度信息技术研究23 双目视觉系统的结构com 系统的结构由上述双目视觉系统的基本原理可知为了获得三维空间中某点P 的三维坐标需要在左右两个摄像机像面上都存在该点的相应点立体视觉系统的一般结构为交叉摆放的两个摄像机从不同角度观测同一被测物体如图 2-4 所示为系统结构的实物图图2-4 一般双目立体视觉系统结构的实物图图2-4 所示双目视觉系统中两个真彩色摄像机型号均为 SSE1616两相机光轴中心设计在同一水平面上水平间距设计为 20Omm 且两摄像机之间的为50 度摄像机的图像传感器和镜头的物理参数分别为图像有效尺寸646515晶片尺寸617 H μm617 V μm 镜头焦距 f 16 mm 考虑到本系统为双目立体视觉系统要求双摄像机能够同时采集场景图像所以本文采用的是大恒公司 DH-VT121 视频采集卡它是基于 PC104-Plus 总线开发的可双路同时操作的视频采集卡它具有高品质的图像质量和稳定性因为深度信息的测量变为 P 点在不同位置的 Z 轴之间的差11基于 HALCON 的双目视觉系统深度信息技术研究值这样我们只要识别到一个点就可以因此我设定观察物为一张带有黑圆圈白纸P 点设为黑圆圈的中心点这样通过求得观察物上点P的两个摄像机的图像中相应点的图像坐标便可以由双目立体视觉测量原理求取点P在三维空间坐标基于双摄像机的双目立体视觉系统必须安装在一个稳定的平台上在进行双目视觉系统标定以及应用该系统进行测量时要确保摄像机的内参比如焦距和两个摄像机相对位置关系不能够发生变化如果任何一项发生变化则需要重新对双目立体视觉系统进行标定com 双目测量深度的硬件组成。

基于HALCON的双目摄像机标定于春和;祁乐阳【摘要】Based on the binocular stereo vision system for the purpose of calibration. The internal and external parameters of stereo vision system of binocular camera are obtained by using HALCON calibration board and comparative experiment by software rich operator platform. The results are accurate and simple. The program is robust and efficient, and can be applied to binocular stereoscopic vision system effectively, which provides a solid foundation for 3D reconstruction of human face based on binocular stereoscopic vision.%基于对双目摄像机立体视觉系统进行标定的目的.采用HALCON标定板,通过软件丰富算子平台进行对比实验得到双目摄像机立体视觉系统的内部参数以及外部参数.算法结果准确,简单易行.其程序鲁棒性强,运算效率高,能够高效的运用到双目立体视觉系统中,为基于双目立体视觉的人脸三维重建提供了坚实的基础.【期刊名称】《电子设计工程》【年(卷),期】2017(025)019【总页数】4页(P190-193)【关键词】刚性转换;双目标定;机器视觉;HALCON标定板【作者】于春和;祁乐阳【作者单位】沈阳航空航天大学电子信息工程学院,辽宁沈阳 110136;沈阳航空航天大学电子信息工程学院,辽宁沈阳 110136【正文语种】中文【中图分类】TN391Abstract:Based on the binocular stereo vision system for the purpose of calibration.The internal and external parameters of stereo vision system of binocular camera are obtained by using HALCON calibration board and comparative experiment by software rich operator platform.The results are accurate and simple.The program is robust and efficient，and can be applied to binocular stereoscopic vision system effectively，which provides a solid foundation for 3D reconstruction of human face based on binocular stereoscopic vision.Key words:rigidity conversion；binocular calibration；machine vision；HALCON calibration plate摄像机标定是机器视觉和摄像测量领域相对基础的工作，同时也是最复杂、困难的工作。

基于Halcon的多目摄像机标定技术张芝贤;赵远方;武旭娟【摘要】The calibration method of binocular stereo vision camera is analyzed,and the internal and external parameters are quickly solved by Halcon calibration plate. Based on the extension of calibration technology,the two adjacent cameras are calibrated with binocular vision respectively. The eight cameras are unified into a unique world coordinate system by rigidity con⁃version and the function operators obtained by Halcon platform to achieve the effect of multi⁃view calibration. The feasibility and correctness of the multi⁃view calibration were confirmed by experiments,and the pattern of three⁃dimensional measurement using binocular camera system was broken. The technology lays a solid foundation for the measurement of tar get object which can′t be showed entirely in the visual field of unique binocular camera system in the particular case.%对双目立体视觉摄像机标定方法进行了分析，通过Halcon标定板快速求出双目摄像机的内参和外参。

《基于双目视觉的立体匹配算法研究及应用》篇一一、引言随着计算机视觉技术的不断发展，双目视觉技术已成为三维重建、机器人导航、自动驾驶等领域的重要技术手段。

其中，立体匹配算法作为双目视觉技术的核心，其性能的优劣直接影响到整个系统的准确性和稳定性。

本文旨在研究基于双目视觉的立体匹配算法，探讨其原理、方法及应用，以期为相关领域的研究和应用提供参考。

二、双目视觉技术概述双目视觉技术是通过模拟人类双眼的视觉系统，利用两个相机从不同角度获取场景的图像信息，然后通过计算图像间的视差，恢复出场景的三维信息。

其核心在于立体匹配算法，即从两个相机的视角出发，找到同一场景在不同视角下的对应点。

三、立体匹配算法研究1. 算法原理立体匹配算法主要通过以下步骤实现：特征提取、特征匹配、视差计算和优化。

其中，特征提取是关键步骤，它决定了算法的准确性和鲁棒性。

特征匹配则是通过计算两个图像中特征的相似性，找到对应点。

视差计算则是根据匹配结果，计算每个点的视差值。

最后，通过优化算法，进一步提高匹配的准确性和稳定性。

2. 算法方法目前，常见的立体匹配算法包括基于区域的匹配算法、基于特征的匹配算法和基于相位的匹配算法等。

其中，基于特征的匹配算法因其计算量小、抗干扰能力强等优点，得到了广泛的应用。

该类算法首先提取图像中的特征点，如SIFT、SURF等，然后通过计算特征点之间的相似性，找到对应点。

四、立体匹配算法的应用1. 三维重建通过双目视觉技术，可以获取场景的三维信息，实现三维重建。

在机器人导航、虚拟现实、游戏制作等领域，三维重建技术得到了广泛的应用。

2. 自动驾驶在自动驾驶领域，双目视觉技术可用于道路检测、车辆识别、行人检测等任务。

通过立体匹配算法，可以准确地识别道路上的障碍物和行人，为自动驾驶系统提供可靠的决策依据。

3. 医学影像处理在医学影像处理领域，双目视觉技术可用于三维重建、测量和分析等任务。

通过立体匹配算法，可以准确地提取医学影像中的特征信息，为医生提供更准确的诊断依据。

基于HALCON的双目立体视觉系统实现双目立体视觉系统是一种模拟人眼观察物体的视觉系统，通过两个摄像机模拟人眼的双眼观察物体的方式，获取物体的三维信息。

HALCON是一种广泛应用于机器视觉领域的开发工具，可以用于开发和实现双目立体视觉系统。

双目立体视觉系统通过两个距离较短的摄像机成像同一个场景，利用两个图像的差异来计算场景中物体的深度信息。

在HALCON中，实现双目立体视觉系统的关键步骤包括相机校准、图像获取、图像匹配以及深度计算。

首先，进行相机校准。

双目相机系统的校准是获取准确三维信息的基础，HALCON提供了相机标定工具来获取相机的内参和畸变参数。

通过使用标定板或者特定的标定物体拍摄一组图像，可以通过HALCON的相机标定工具获取相机的校准参数。

接下来，进行图像获取。

使用两个相机同时拍摄同一个场景的图像，获取左右两个相机的图像。

HALCON提供了图像处理的函数和工具，可以方便地读取和处理图像。

然后，进行图像匹配。

通过对左右两个相机的图像进行匹配，找到对应的视差点对。

HALCON提供了多种图像匹配算法，可以根据具体的应用需求选择合适的算法，例如基于相似度的匹配算法、基于特征点的匹配算法等。

最后，进行深度计算。

根据图像匹配得到的视差点对，可以通过三角测量方法计算物体的深度信息。

HALCON提供了三角测量的函数和工具，可以根据视差和相机间的基线距离计算出物体的深度。

除了基本的双目立体视觉系统实现，HALCON还提供了丰富的图像处理和计算机视觉函数，可以进行目标检测、目标跟踪、图像分割等进一步的应用开发。

双目立体视觉系统在智能制造、机器人导航、自动驾驶等领域具有广泛应用。

通过HALCON的支持，可以方便地实现双目立体视觉系统，并为各种应用场景提供高效可靠的解决方案。

总结来说，基于HALCON的双目立体视觉系统实现，需要进行相机校准、图像获取、图像匹配和深度计算等步骤。

HALCON提供了丰富的函数和工具，可以方便地实现这些步骤，并为双目立体视觉系统的应用提供强大的支持。

因此，只要能够找到空间中某点在左右两个摄像机像面上的相应点，并且通过摄像机标定获得图5 校正后的双目立体视觉系统1．3 双目立体视觉系统标定摄像机内参数的标定和单目视觉系统标定一致，双目立体视觉系统的标定主要是指摄像机的内部参数标定后确定视觉系统的结构参数R和T（即两个摄像机之间的位置关系，R和T分别为旋转矩阵和平移向量）。

一般方法是采用标准的2D或3D精密靶标，通过摄像机图像坐标与三维世界坐标的对应关系求得这些参数。

具体的标定过程如下:1、将标定板放置在一个适当的位置，使它能够在两个摄像机中均可以完全成像。

通过标定确定两个摄像机的内部参数以及他们的外部参数（R1、T1与R2、T2），则R1、T1表示左摄像机与世界坐标系的相对位置，R2、T2表示右摄像机与世界坐标系的相对位置。

2、假定空间中任意一点在世界坐标系、左摄像机坐标系和右摄像机坐标系下的非齐次坐标分别为xw、x1、x2，则:消去xw，得到: 两个摄像机之间的位置关系R、T可以用以下关系式表示:1．4 双目立体视觉中的对应点匹配由双目立体视觉系统原理可以看出双目立体视觉是建立在对应点的视差基础之上，因此左右图像中各点的匹配关系成为双目立体视觉技术的一个极其重要的问题。

然而，对于实际的立体图像对，求解对应问题极富挑战性，可以说是双目立体视觉中最困难的一步。

为了能够增加匹配结果的准确性以及匹配算法的速度，在匹配过程中通常会加入下列几种约束:（1）极线约束。

在此约束下，匹配点已经位于两副图像中相应的极线上。

（2）唯一性约束。

两副图像中的对应的匹配点应该有且仅有一个。

（3）视差连续性约束。

除了遮挡区域和视差不连续区域外，视差的变化都是平滑的。

（4）顺序一致性约束。

位于一副图像极线上的系列点，在另一幅图像中极线上有相同的顺序。

图像匹配的方法有基于图像灰度（区域）的匹配、基于图像特征的匹配和基于解释的匹配或者多种方法结合的匹配。

二．使用HALCON进行双目立体视觉测量本节以电路板高度测量为例，讲述在HALCON中如何方便快捷地实现高效双目立体视觉测量（图像为640*480）。

基于OpenCV的双目立体视觉测距_摄像机标定论文导读::双目立体视觉模型。

摄像机标定。

立体匹配采用OpenCV库中的块匹配立体算法。

目前的测距方法主要有主动测距和被动测距两种方法。

论文关键词:双目立体视觉，摄像机标定，立体匹配，测距(一)引言基于计算机视觉理论的视觉测距技术是今后发展的一个重要方向，它在机器人壁障系统、汽车导航防撞系统等领域有着广泛的应用前景。

目前的测距方法主要有主动测距和被动测距两种方法。

论文采用的是被动测距法。

被动测距法是在自然光照条件下，根据被测物体本身发出的信号(如光信号)来测量距离，主要包括立体视觉测距法、单目测距法、测角被动测距法等[1]。

立体视觉测距法是仿照人类利用双目感知距离信息的一种测距方法，直接模拟人的双眼处理景物，简便可靠，但该方法的难点是选择合理的匹配特征和匹配准则[2]。

双目立体视觉系统采用两台摄像机同时从两个不同视点获取同一景物的多幅图像，即立体图像对，通过测量景物在立体图像对中的视差，再利用双目视觉成像原理就可以计算出目标到摄像机的距离。

立体匹配采用OpenCV库中的块匹配立体算法，在得到摄像机参数和匹配点后再利用最小二乘法即可算出三维信息。

(二)双目立体视觉模型首先介绍双目视觉所涉及到三个坐标系:世界坐标系、摄像机坐标系和图像坐标系。

世界坐标系中的点坐标记为，摄像机坐标系用表示。

图像坐标为摄像机所拍摄到的图像的二维坐标，一般有两种表示方法:是以像素为单位的图像坐标，是以毫米为单位的图像坐标。

建立以毫米为单位的图像坐标是因为坐标只表示了像素在数字图像中的行数和列数，并没有表示出该像素在数字图像中的物理位置[3]论文范文。

图1为平行双目视觉模型，即参数相同的两个摄像机平行放置，两光轴互相平行且都平行于z 轴，x 轴共线摄像机标定，两摄像机光心的距离为B(即基线距)。

图中O1、O2为左右两摄像机的焦点，I1 、I2为左右摄像机的像平面，P1 、P2 分别是空间点P(X,Y,Z)在左右像平面上的成像点，f是摄像机的焦距。

Halcon-双目视觉系统标定1.get_image_pointer1(Image: : : Pointer, Type, Width, Height)返回第一通道的点，图像数据类型，图像尺寸。

2.disp_image(Image : : WindowHandle : )在输出窗口显示灰度图像3.visualize_results_of_find_marks_and_pose (ImageL, WindowHandle1, RCoordL, CCoordL, StartPoseL, StartCamParL)内部函数，显示初步标定的坐标系和MARKS中心，MARKS中线用十字线标出。

4.set_calib_data_observ_points( : : CalibDataID, CameraIdx, CalibObjIdx, CalibObjPoseIdx, Row, Column, Index, Pose : ) 储存以点为基础的标定观测值，将观测值储存与标定数据句柄中。

5.calibrate_cameras( : : CalibDataID : Error)根据标定数据模型中的值标定摄像机。

6.get_calib_data( : : CalibDataID, ItemType, ItemIdx, DataName : DataValue)查询储存或计算得到的标定模型中的数据。

7.write_cam_par( : : CameraParam, CamParFile : )把相机内参数写入TXT文件8.write_pose( : : Pose, PoseFile : )把相机的位姿写入TXT文件9.gen_binocular_rectification_map( : Map1, Map2: CamParam1, CamParam2, RelPose, SubSampling, Method, MapType: CamParamRect1, CamParamRect2, CamPoseRect1, CamPoseRect2, RelPoseRect)把相机参数和姿态作为输入，输出为校正图像和矫正后的参数和姿态。

现代电子技术Modern Electronics Technique2023年7月1日第46卷第13期Jul.2023Vol.46No.130引言随着生产技术发展和产业转型升级，机器人视觉在自动化和智能化的应用越来越广，工业机器人代替人工劳动是发展的趋势[1]。

视觉是机器人的“眼睛”，利用视觉可以实现对机器人的控制和定位，如基于Kinect 视觉功能的机器人控制[2]、基于双目立体视觉的目标识别定位[3]。

其中双目立体视觉是机器人视觉的一项重要研究内容，在机械制造、智能驾驶、医疗器械等领域应用广一种基于双目视觉和Halcon 的高效机器人手眼标定方法程强1，2，黄河1，2，许静静1，2，李江晗3，李迎1，2，张涛1，2（1.北京工业大学先进制造与智能技术研究所，北京100124；2.北京工业大学先进制造技术北京市重点实验室，北京100124；3.东北农业大学电气与信息学院，黑龙江哈尔滨150006）摘要：针对机器人在标定过程中追求快速、简捷、高效的特点，提出一种基于双目视觉和Halcon 的高效机器人手眼标定方法。

基于张正友棋盘格标定法和OpenCV 中亚像素角点检测算法完成对双目相机内外参数的获取，对比运用不同的立体匹配算法和三维重建生成具有三维坐标的立体空间点云，从而得到相机坐标系下目标的位置坐标，之后取机器人坐标下的10组末端位置坐标以及相机坐标系下对应的10组位置坐标后，借助Halcon 视觉软件的vector_to_hom_mat3d 算子求解出相机和机器人坐标系的转换矩阵，完成机器人手眼标定。

经过实验验证，该标定方法平均误差为3.58mm ，满足一般机器人工作要求，并且相比传统的手眼标定无需借助复杂的标定工具，且计算过程简捷高效。

关键词：机器人标定；手眼标定；双目视觉；相机标定；立体匹配；三维重建；实验分析中图分类号：TN911.73⁃34；TP242.3文献标识码：A文章编号：1004⁃373X （2023）13⁃0035⁃08An efficient robot hand⁃eye calibration methodbased on binocular vision and HalconCHENG Qiang 1,2,HUANG He 1,2,XU Jingjing 1,2,LI Jianghan 3,LI Ying 1,2,ZHANG Tao 1,2(1.Institute of Advanced Manufacturing and Intelligent Technology,Beijing University of Technology,Beijing 100124,China;2.Beijing Key Laboratory of Advanced Manufacturing Technology,Beijing University of Technology,Beijing 100124,China;3.School of Electrical and Information,Northeast Agriculture University,Harbin 150006,China)Abstract ：In view of the robot′s pursuit of fast,simple and efficient characteristics in the calibration process,an efficient robot hand ⁃eye calibration method based on binocular vision and Halcon is proposed.The acquisition of internal and external parameters of the binocular camera is completed on the basis of checkerboard calibration method proposed by Zhang zhengyou and sub⁃pixel corner detection algorithm in OpenCV.The stereo space point clouds with 3D coordinates,which are generated by different stereo matching algorithms and 3D reconstruction,are contrasted to get the coordinate of the target location under camera coordinate system.With the help of the vector_to_hom_mat3d operator of the Halcon vision software,the transformation matrix of the camera and the robot coordinate system is solved after 10groups of terminal location coordinates under camera coordinate system and corresponding 10groups of location coordinates are obtained.And the robot hand ⁃eye calibration is completed.The results of experimental verification indicate that the average error of this calibration method is 3.58mm,whichcan meet the working requirements of general robots.In comparison with the traditional hand ⁃eye calibration,this calibration method does not need complex calibration tools,and its calculation process is simple and efficient.Keywords ：robotic calibration;hand⁃eye calibration;binocular vision;camera calibration;stereo matching;3D reconstruc⁃tion;experimental analysisDOI ：10.16652/j.issn.1004⁃373x.2023.13.007引用格式：程强，黄河，许静静，等.一种基于双目视觉和Halcon 的高效机器人手眼标定方法[J].现代电子技术，2023，46（13）：35⁃42.收稿日期：2022⁃11⁃07修回日期：2022⁃11⁃23基金项目：国家自然科学基金资助项目（5197050489）35现代电子技术2023年第46卷泛[4]。

双目立体视觉问题2008-10-30 20:24双目立体视觉的研究一直是机器视觉中的热点和难点。

使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。

因此双目立体视觉系统可以应用在多个领域。

现说明介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率。

双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。

双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。

双目立体视觉系统在机器视觉领域有着广泛的应用前景。

HALCON是在世界范围内广泛使用的机器视觉软件。

它拥有满足您各类机器视觉应用需求的完善的开发库。

HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。

HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi语言访问。

另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。

一．双目立体视觉相关基本理论说明1．1 双目立体视觉原理双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。

摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。

事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。

左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。

opencv双目视觉三维重建代码双目视觉三维重建是计算机视觉领域中的一个热门研究方向，它利用由两个摄像头捕捉的图像来还原场景的三维结构信息。

OpenCV是一个广泛使用的开源计算机视觉库，它提供了丰富的算法和工具，可用于实现双目视觉三维重建。

本文将介绍一种基于OpenCV库的双目视觉三维重建代码。

首先，我们需要准备一对标定好的摄像头进行双目拍摄。

相机标定是一个关键的步骤，它用于确定摄像头的内参矩阵和外参矩阵，以及图像畸变参数。

OpenCV提供了一些函数和工具来进行相机标定，我们可以使用这些工具来标定我们的摄像头。

接下来，我们需要加载标定好的参数和校正映射。

校正映射是一个重要的步骤，它用于将摄像头采集到的图像进行畸变校正，以便后续的立体匹配。

OpenCV提供了`cv::initUndistortRectifyMap`函数来计算校正映射，并使用`cv::remap`函数来应用校正映射到图像上。

然后，我们需要通过双目立体匹配算法来计算视差图。

视差图是通过比较两个摄像头捕捉到的图像中的对应像素点的差异来计算得到的，它表示物体在不同深度上的位置差异。

OpenCV提供了几种双目立体匹配算法，比如基于块匹配的SAD （Sum of Absolute Differences）算法和基于全局优化的SGBM（Semi-Global Block Matching）算法。

我们可以根据自己的需求选择适合的算法来计算视差图。

计算完视差图后，我们可以根据相机的内参、外参和视差图来还原物体的三维结构信息。

通过三角测量的方法，我们可以将每个像素点的视差值转化为物体的深度值。

OpenCV提供了`cv::reprojectImageTo3D`函数来进行三维重建，并将结果保存在点云中。

最后，我们可以对点云进行可视化展示。

OpenCV提供了一些可视化工具，比如`cv::viz`模块和`cv::imshow`函数，可以将点云渲染成三维的视图，并在屏幕上显示出来。

Halcon-标定双目立体视觉系统1.caltab_points( : :CalTabDescrFile:X,Y,Z)从标定文件中读取标定板坐标系中的标定点坐标2.binocular_calibration( : :NX,NY,NZ,NRow1,NCol1, NRow2,NCol2,StartCamParam1,StartCamParam2,NStartPose1, NStartPose2,EstimateParams:CamParam1,CamParam2, NFinalPose1,NFinalPose2,RelPose,Errors)计算立体视觉系统的所有参数参数:NX,NY,NZ：标定点坐标数组；NRow1,NCol1,NRow2,NCol2：标定点的图像坐标数组；StartCamParam1,StartCamParam2：相机1，2的初始内参数；NStartPose1,NStartPose2：标定板在相机1，2的初始位姿；EstimateParams：选择将被计算的相机参数；CamParam1,CamParam2：计算得到的相机1，2的内参数；NFinalPose1,NFinalPose2：所有标定模型在摄像机坐标系中的位姿数组；RelPose：相机2相对于相机1的位姿；Errors：像素距离的平均错位率；3.check_epipolar_constraint(ImageRectifiedL, ImageRectifiedR: :RectCamParL,RectCamParR,WindowHandle1, WindowHandle2:EpipolarError)内部程序，检查并显示极线约束4.gen_binocular_rectification_map( :Map1,Map2: CamParam1,CamParam2,RelPose,SubSampling,Method, MapType:CamParamRect1,CamParamRect2,CamPoseRect1, CamPoseRect2,RelPoseRect)产生变换映射，该映射描述了左右相机对到图像校正后的基平面之间的映射。

基于HALCON的双目视觉株高测量作者：郝慧鹏等来源：《电子技术与软件工程》2013年第22期摘要计算机视觉技术是近几年来发展较快的信息处理技术，随着图像处理技术的专业化、计算机硬件成本的降低和速度的提高，计算机视觉的应用已变得越来越广泛。

株高是植物生长指标的重要参数，是一个物种争夺阳光能力的主要决定因素。

为此，本文基于HALCON，利用双目视觉方法对株高进行测量，通过对双目直接测量结果进行误差修正，使得实验得到的结果误差不超过2%，该方法具有一定的可行性。

【关键词】株高 HALCON 双目视觉误差修正1 引言计算机视觉技术是近几年来发展较快的信息处理技术，随着图像处理技术的专业化、计算机硬件成本的降低和速度的提高，计算机视觉的应用已变得越来越广泛，其中不乏在农业中的应用。

株高是植物生长指标的重要参数，是一个物种争夺阳光的能力的主要决定因素[1]。

对于作物来讲，株高参数是作物产量预估不可或缺的参数。

然而对于具体的利用机器视觉方法直接测量株高的研究还是比较少的，本文就是利用HALCON软件，采用双目计算机视觉方法来实现株高的测量。

2 双目视觉原理双目视觉的基本原理是从两个视点观察同一景物，获取不同视角下的两幅图像，然后根据三角测量原理计算不同图像对应像素间的视差（disparity ），获取景物的三维信息，从而实现场景三维重构。

根据两个摄像机位姿的不同，双目视觉有多种模式，常用的有双目横向模式，双目横向会聚模式以及双目纵向模式（也称双目轴向模式）。

为了增加测量精度，基线一般不能太小，但基线长度也不可太长，否则，由于物体各部分相互遮挡，两个摄像机可能不能同时观察到目标点。

图1是会聚双目成像中的视差原理图。

图中给出两镜头连线所在平面（XZ平面），两镜头中心间的距离（即基线）是B，两光轴在XZ平面相交于（0，0，Z）点，交角为（未知）。

现在来看如果已知像平面坐标点（x1， y1）和（x2， y2 ），如何求取世界点W的坐标（X，Y，Z）。

基于halcon的双目立体视觉焊缝检测基于halcon的双目立体视觉焊缝检测1 前言现代焊接生产中，对焊接技术和质量的要求愈来愈高。

自动化和智能化在焊接生产上的应用日趋广泛。

近年来图像处理技术和机器视觉技术得到空前的发展，如果把机器视觉技术用在焊缝成形质量评判中，可以提高评判效率，为焊接质量评判的智能化打下基础。

机器视觉是运用计算机来模拟人的视觉，从不同事物的图像中获取信息，进行相应处理并加以分析、理解，最终应用于实际的检测与测量等。

机器视觉检测和测量方法不但可以有效提高生产效率与自动化程度，且易于实现信息的集成，从而满足数字化自动化生产的要求。

机器视觉中的立体视觉技术把二维景物的分析推广到了三维景物，该项技术可方便实现从图像获取到三维景物表面重建的完整体系，对于整个机器视觉的发展具有重要意义。

双目立体视觉是立体视觉中的一个重要的分支，它直接模拟人视觉处理景物的方式，可以在各种条件下灵活地测量景的立体信息。

2 双目视觉检测2.1 基本理论如图1 所示，设点P为空间焊缝某一特征点，该点在两相机平面O1和O2的投影点依次为P1和P2。

图1 双目视觉原理根据空间解析几何理论，很显然，式( 3) 中的4个方程均具有平面解析式的形式，前2 方程代表2平面相交，得到的是直线O1P1P 的方程，同理直线O2P2P 的方程由后2 个方程得出。

两直线方程相交，即可求出P 点的空间三维坐标。

可见，若采用单相机模型，则理论上仅能解出一条直线的空间方程，无法得出空间点的准确三维坐标，而双目视觉理论则能够克服这个缺陷，从而使焊缝的精确测量有了可能。

2.2图像处理为实现准确测量的目的，必须对采集到的图像进行数字化处理。

首先，经过相机采集到的焊缝图像不可避免地存在一些污染痕迹，这些痕迹会对有效捕捉焊缝特征点产生影响，这在计算机图形学中被称之为噪点，要进行降噪处理以剔除噪点。

其次，初步采集到的图像为全信息图像，欲提取有效焊缝信息，必须对图像进行二值化处理，以便计算机有效区分焊缝轮面坐标系O －XlYl ，O －XrYr 的转换矩阵分别为Ml 和Mr ，那么根据透镜成像原理，针对左右相机，可得如下2 个方程:111121314112122232431323334=11111111u m mm m v m m m m m mmm llllll l l l l l l X X Y Y Z Z M ⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦ (1) 211121314r 22122232431323334=11111111u m m m m m m m m m mmmrrrr rr r rr r r r X X Y Y Z Z v M ⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦ (2) 式中: ( u1，v1，1) 和( u2，v2，1) 依次为p1和p2的齐次相机平面坐标; ( X ，Y ，Z ，1 ) 为点P 在空间绝对坐标系中的齐次坐标。