基于HALCON的双目视觉系统标定

基于Halcon标定靶的双目相机高精度标定方法
黄建;李施阳;章秀华;吴锦梦
【期刊名称】《计算机与数字工程》
【年(卷),期】2022(50)4
【摘要】基于张氏标定原理的传统双目相机标定方法在单一背景下标定精度高,但在复杂背景下不能精确提取特征点坐标,导致相机标定精度受到影响。

文中提出一
种基于Halcon标定靶感兴趣区域约束的透视变换方法,可以从复杂背景中精确提
取特征点坐标,提高双目相机标定精度。

首先通过改进的角点提取方法从背景中提
取Halcon标定靶上的感兴趣区域,利用透视变换和最小二乘法提取特征点的精确
坐标;然后匹配左、右图像中同名的特征点,利用张氏标定原理计算双目相机的参数。

实验表明,利用文中方法标定的相机参数,计算特征点平均重投影精度达0.01像素,
相比于传统方法平均重投影精度提高0.02像素,提高了双目相机参数标定的精度。

【总页数】5页(P762-766)
【作者】黄建;李施阳;章秀华;吴锦梦
【作者单位】武汉工程大学电气信息学院
【正文语种】中文
【中图分类】TP391
【相关文献】
1.基于Halcon软件的双目立体视觉系统标定
2.基于HALCON的双目视觉系统标定
3.基于HALCON的双目摄像机标定
4.基于立体标定靶的扫描仪与数码相机联合标定
5.基于HALCON双目标定的算法优化研究
因版权原因，仅展示原文概要，查看原文内容请购买。

基于Halcon 的工业机器人手眼标定方法研究Research on hand-eye calibration method of industrial robot based on halcon田春林1，陈李博1，马国庆1，侯茂盛2，刘 涛2TIAN Chun-lin 1, CHEN Li-bo 1, MA Guo-qing 1, HOU Mao-sheng 2, LIU Tao 2（1.长春理工大学 机电工程学院，2.长春理工大学 光电工程学院，长春 130022）摘 要：机器人手眼标定是机器人视觉技术的重要研究内容，基于Halcon所提供的标定板，充分考虑相机镜头径向畸变对手眼标定的影响，设计一种全新的、高精度、高效率的Eye-in-Hand手眼标定方法，该方法在标定了相机内外参数的同时也建立了相机图像坐标系与机器人基坐标系之间的相互转换关系，并通过实验进行了验证，其平移误差在1mm，旋转误差在1。

以内。

实验结果表明该方法具有较高的标定效率与较高的标定精度，可广泛应用于工业机器人视觉系统手眼标定中。

关键词：工业机器人；相机标定；Eye-in-Hand；机器视觉中图分类号：TP242.2 文献标识码：A 文章编号：1009-0134(2018)03-0016-04收稿日期：2017-10-10基金项目：国家高技术研究发展计划（863计划）资助项目（2015AA7060112）；吉林省科技发展计划资助项目 （20160204016GX ）；吉林省省级产业创新专项资金资助项目（2016C088）；吉林省教育厅“十三五”科学 技术项目（JJKH20170626KJ ）；长春理工大学青年科学基金（XQNJJ-2016-04）作者简介：田春林（1972 -），男，吉林人，博士研究生，研究方向为精密、超精密加工和检测及装备。

0 引言随着现代生产的精密化、智能化，无人智能工厂对机器人视觉的依赖程度越来越高，尤其是在航空航天和汽车制造领域中的焊接与装配，物流领域中的码垛、分拣，工业2D 、3D 自动化检测等应用中，机器人视觉比比皆是。

基于HALCON的双目视觉系统深度信息测量技术研究基于 HALCON 的双目视觉系统深度信息技术研究立体视觉技术是机器人技术研究中最为活跃的一个分支是智能机器人的重要标志双目立体视觉是通过对同一目标的两幅图像提取识别匹配和解释进行三维环境信息的重建其过程主要包括视频捕获摄像机定标图像预处理和特征提取立体匹配以及三维重建为解决智能移动机器人工业装配机器人家用机器人公共服务机器人的视觉问题双目立体视觉技术的进一步研究可对多目视觉具有重要的启发本文对双目立体视觉测深原理和双目视觉系统的结构进行了初步研究其图象处理主要包括图像的获取摄像机标定图像预处理与特征提取立体匹配信息提取等五个部分并且应用 HALCON 软件实现了这些步骤的算法最后对基于HALCON 双目视觉系统测量深度进行了初步编程测试关键字双目视觉系统 HALCON 标定IV基于 HALCON 的双目视觉系统深度信息技术研究AbstractStereo vision technology is one of active branches in the robot technology it is animportant symbol of the intelligent robot Inthe system the three-dimensionalreconstruction environmental information is reconstructedby the objective extractionfrom images identification matching and explanation The process includes videocapture camera calibration image pre-processing and feature extractionthree-dimensional matching and three-dimensional reconstruction In order to solve theproblems about the vision of smart mobile robots industrial robot household robotsrobot visual public service problems the further study on the three-dimensional visiontechnology could inspire to more eyes visionIn the thesis the principle of binocular stereovision measuring depth and thestructure of binocular stereo vision are studied preliminarily Itsimage process includesfive parts such as image acquisition calibrationimage pre-processing and featureextraction three-dimensional matching and information extraction Thehalcon softwareto realize the algorithm of these steps have been applied Finally theexperiment of theprogramming to measure the depth based on the halcon in the binocularvision systemhave been carried and tested preliminaryKey words Binocular vision system halcon CalibrationV基于 HALCON 的双目视觉系统深度信息技术研究目录第一章绪论 111 研究的背景及意义 112 双目立体视觉系统的现状及发展方向 1com 双目视觉系统技术的国内外现状1com 双目立体视觉系统发展方向313 本文的主要研究内容 3第二章双目立体系统测量深度原理 521 双目立体视觉原理 522 体视觉系统的图象处理 6com 图像的获取 6com 摄像机的标定 7com 图像预处理与特征提取9com 图像匹配 9com 获得立体信息 1023 双目视觉系统的结构 11com 系统的结构 11com 双目测量深度的硬件组成12 第三章双目视觉系统深度测量程序设计 1431 本程序的设计思路及程序框图 1432 利用HALCON进行双目测深图像处理结果14 com 获取标定板图像 14com 处理标定板图像 15com 双目视觉系统标定 17com 获取观察物图像 17com 矫正图像 18com 获得中心点 3D信息1833 生成VC程序及制作应用软件20第四章基于halcon双目测深实验结果及误差分析21 41 实验结果 21VI基于 HALCON 的双目视觉系统深度信息技术研究42 误差分析 21第五章设计总结与展望 23参考文献 24致谢 26附录 1 27附录2 38声明 42VII基于 HALCON 的双目视觉系统深度信息技术研究第一章绪论11 研究的背景及意义双目视觉系统技术的研究一直是机器视觉中的热点和难点使用双目立体视觉系统可以确定任意物体的三维轮廓并且可以得到轮廓上任意点的三维坐标因此双目立体视觉系统可以应用在多个领域双目立体视觉系统在机器视觉领域有着广泛的应用前景双目立体视觉是机器视觉的一种重要形式它是基于视差原理并由多幅图像获取物体三维几何信息的方法双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像并基于视差原理恢复出物体的三维几何信息重建物体三维轮廓及位置HALCON是德国MVtec公司的图像处理软件是世界公认具有最佳效能的机器视觉软件这是一套图像处理库由一千多个各自独立的函数以及底层的数据管理核心构成其中包含了各类滤波色彩分析以及几何数学变换形态学计算分析校正分类辨识形状搜索等等基本的几何以及图像计算功能由于这些功能大多并非针对特定工作设计的因此只要用得到图像处理的地方就可以用HALCON强大的计算分析能力来完成工作由于机器视觉技术的发展这种可以"取代人眼"对重复工作不会疲劳精度高且稳定的特质促进了高科技业的发展例如电子业[1]产量的大幅提升本文研究了基于 HALCON 实现双目立体视觉系统以及立体视觉的基本理论方法和相关技术搭建双目立体视觉系统和提高算法效率12 双目立体视觉系统的现状及发展方向com 双目视觉系统技术的国内外现状双目视觉系统技术应用非常广泛目前主要应用于四个领域机器人导航操作系统的参数检测三维测量和虚拟现实日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统利用双目体视的原理以每幅图像中相对静止的三个标志为参考实时计算目标图像的雅可比矩阵从而预测出目标下一步运动方向实现了对运动方式未知的目标的自适1基于 HALCON 的双目视觉系统深度信息技术研究应跟踪该系统仅要求两幅图像中都有静止的参考标志无需摄像机参数而传统的视觉跟踪伺服系统需事先知道摄像机的运动光学等参数和目标的运动方式日本东京大学将实时双目立体视觉和机器人整体姿态信息集成开发了仿真机器人动态行走导航系统该系统实现分两个步骤首先利用平面分割算法分离所拍摄图像对中的地面与障碍物再结合机器人躯体姿态的信息将图像从摄像机的二维平面坐标系转换到描述躯体姿态的世界坐标系建立机器人周围区域的地图其次根据实时建立的地图进行障碍物检测从而确定机器人的行走方向华盛顿大学与微软公司合作为火星卫星探测者号研制了宽基线立体视觉系统使探测者号能够在火星上对其即将跨越的几千米内的地形进行精确的定位导航系统使用同一个摄像机在探测者的不同位置上拍摄图像对拍摄间距越大基线越宽能观测到越远的地貌系统采用非线性优化得到两次拍摄图像时摄像机的相对准确的位置利用鲁棒性强的最大似然概率法结合高效的立体搜索进行图像匹配得到亚像素精度的视差并根据此视差计算图像对中各点的三维坐标相比传统的体视系统能够更精确地绘制探测者号周围的地貌和以更高的精度观测到更远的地形东南大学电子工程系基于双目立体视觉提出了一种灰度相关多峰值视差绝对值极小化立体匹配新方法可对三维不规则物体偏转线圈的三维空间坐标进行非接触精密测量哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航将一个固定摄像机和一个可以水平旋转的摄像机分别安装在机器人的顶部和中下部可以同时监视不同方位视点体现出比人类视觉优越的一面通过合理的资源分配及协调机制使机器人在视野范围测量精度及处理速度方面达到最佳匹配双目协调技术可使机器人同时捕捉多个有效目标观测相遇目标时通过数据融合也可提高测量精度在实际比赛中其他传感器失效的情况下仅仅依靠双目协调仍然可以实现全自主足球机器人导航火星 863 计划课题人体三维尺寸的非接触测量采用双视点投影光栅三维测量原理由双摄像机获取图像对通过计算机进行图像数据处理不仅可以获取服装设计所需的特征尺寸还可根据需要获取人体图像上任意一点的三维坐标该系统已通过中国人民解放军总后勤部军需部鉴定可达到的技术指标数据采集时间小于5s人提供身高胸围腰围臀围等围度的测量精度不低于10cm[2]2基于 HALCON 的双目视觉系统深度信息技术研究com 双目立体视觉系统发展方向就目前立体视觉技术的发展现状而言要构造出类似于人眼的通用双目立体视觉系统还有很长的路要走进一步的研究方向可归纳如下1如何建立更有效的双目体视模型能更充分地反映立体视觉不确定性的本质属性为匹配提供更多的约束信息降低立体匹配的难度2 探索新的适用于全面立体视觉的计算理论和匹配策略选择有效的匹配准则和算法结构以解决存在灰度失真几何畸变透视旋转缩放等噪声干扰特殊结构平坦匹域重复相似结构等及遮掩景物的匹配问题双目立体视觉这一有着广阔应用前景的学科随着光学电子学以及计算机技术的发展将不断进步逐渐实用化不仅将成为工业检测生物医学虚拟现实等领域的关键技术还有可能应用于航天遥测军事侦察等领域目前在国外双目体视技术已广泛应用于生产生活中而我国正处于初始阶段尚需广大科技工作者共同努力为其发展做出贡献13 本文的主要研究内容立体视觉的基本原理是从两个或多个视点观察同一景物以获取在不同视角下的感知图像通过三角测量原理计算图像象素间的位置偏差即视差来获取物体的三维信息这一过程与人类视觉的立体感知过程是类似的一个完整的双目立体视觉系统一般包括图像的获取摄像机标定图像预处理与特征提取立体匹配信息提取等五个部分本文研究内容为利用 HALCON 软件对图像进行处理通过图像匹配技术得到目标视差从而转化为物体所需的深度信息程序大致关键步骤分为图像获取―摄像机标定－物体识别－深度信息确定分析了各个步骤的相应问题和处理方法并将本课题的重点集中于测量深度信息各种算法 HALCON 软件编程这一部分第一章介绍了本文的研究意义以及双目立体视觉系统的国内外现状和发展方向最后介绍了本文的主要研究内容及章节安排第二章介绍了双目立体视觉原理及结构介绍了双目视觉的技术实现包括图像获取摄像机标定图像预处理与特征提取立体匹配信息提取3基于 HALCON 的双目视觉系统深度信息技术研究第三章研究了应用 HALCON 软件编程各种算法所得的整个程序四个主要步骤标定立体摄像系统获取图像矫正图像获得 3D 信息以及制作 VC 程序和应用软件第四章对基于 HALCON 双目视觉系统测量深度进行了实验对实验结果处理并分析了实验误差第五章最后介绍了本设计的总结及对今后的工作进行了展望4基于 HALCON 的双目视觉系统深度信息技术研究第二章双目立体系统测量深度原理21 双目立体视觉原理双目立体视觉三维测量是基于视差原理图 2-1 所示为简单的平视双目立体成像原理图两摄像机的投影中心分别为O 和O 点P为观察物上的中心点基线距b21为两摄像机的投影中心的连线距离两摄像机的焦距为f且相同左边摄像机的坐标系的原点在摄像机镜头的光心O处坐标系O_ x y z 如图 1 所示左右摄像机的c c c成像平面为O uv和O uv O 和O 分别为左右图像坐标系的原点在摄像机光轴与平21 2 1面的交点实际上摄像机的成像平面在镜头的光心后面f处这里绘制在镜头的光心前面f处成像平面的u轴和v轴和摄像机坐标系O_ x y z 的x 轴和y 轴方向一致c c c c c这样可以简化计算过程图2 －1 双目立体成像原理图点P在左摄像机成像平面和右摄像机成像平面中相应的坐标分别为Pu v 和11 1P u v 假定两摄像机的图像在同一个平面上则P点坐标y 在O uv和O uv系中v2 2 2c1 2坐标相同即v v 由三角几何关系得到215基于 HALCON 的双目视觉系统深度信息技术研究x x b ycu f c u c v v1 v2 f2-11 2 1z z zc c c视差定义为某一点在两幅图像中相应点的位置差其表达式为f bd u u2-21 2zc由此可计算出空间中某点P 在左摄像机坐标系中的坐标为b u1xc db vy c 2-3db fzcd因此只要能够找到空间中某点 P 在左右两个摄像机像面上的相应点并且通过摄像机标定获得摄像机的内外参数就可以确定这个 P 点的三维坐标这样深度信息的测量变为 P 点的 Z 轴之间的差值22 体视觉系统的图象处理一个完整的双目立体视觉系统的图象处理一般包括图像的获取摄像机标定图像预处理与特征提取立体匹配信息提取等五个部分com 图像的获取双目体视的图像获取是由不同位置的两台摄像机CCD 经过移动或旋转拍摄同一幅场景获取立体图像对其模型如图 2-2 假定摄像机C 与 C 的角距和内部参12数都相等两摄像机的光轴互相平行二维成像平面u O v 和u O v 重合P 与P 分1 1 12 2 2 1 2别是空间点P在C 与C 上的成像点但一般情况下两个摄像机的内部参数不可能1 2完全相同摄像机安装时无法看到光轴和成像平面故在实际中难以应用上海交大在理论上对会聚式双目体视系统的测量精度与系统结构参数之间的关系作了详尽分析并通过试验指出对某一特定点进行三角测量该点测量误差与两CCD光轴夹角是一个复杂的函数关系若两摄像头光轴夹角一定则被测坐标系与摄像头坐标系之间距离越大测量得到点距离的误差就越大在满足测量范围的前提下应选择两CCD之间夹角在 50-80 度之间[561012]6基于 HALCON 的双目视觉系统深度信息技术研究图2-2 双摄像机模型com 摄像机的标定计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的这些几何模型参数就是摄像机参数这个过程被称为摄像机标定根据摄像机参数性质可以分为内部参数和外部参数内部参数描述摄像机的内部光学和几何特性如图像中心焦距镜头畸变以及其它系统误差参数等相对于一个世界坐标系的摄像机坐标的三维位置和方向称为外部参数摄像机标定是立体视觉研究的重要组成部分首先建立 4 个坐标系见图 2-3 1 三维世界坐标系O_X YZ Xw ww wYw Zw 为物体点 P 的三维世界坐标 2 摄像机坐标系 O_X Y Z 图中光心到图c c c像平面距离OO 为摄像机有效焦距 f 3 成像平面坐标系 O XY P X Y1 uu u表示针孔模型下 P点的理想成像坐标P X Y 是由透镜径向畸变引起的偏离 Pd d d uX Y 的实际成像平面坐标 4 图像坐标系 O uv 原点 O 在图像平面u u 0 0的左上角每一像素的坐标u v 分别是该像素在数组中的列数和行数所以uv 是以像素为单位的图像坐标系的坐标[2389]7基于HALCON 的双目视觉系统深度信息技术研究图2-3四个坐标系图摄像机内参数的标定和单目视觉系统标定一致双目立体视觉系统的标定主要是指摄像机的内部参数标定后确定视觉系统的结构参数 R 和 T 即两个摄像机之间的位置关系R 和 T 分别为旋转矩阵和平移向量一般方法是采用标准的 2D 或3D 精密靶标通过摄像机图像坐标与三维世界坐标的对应关系求得这些参数具体的标定过程如下1将标定板放置在一个适当的位置使它能够在两个摄像机中均可以完全成像通过标定确定两个摄像机的内部参数以及他们的外部参数R T 与R T1 12 2则R T 表示左摄像机与世界坐标系的相对位置R T 表示右摄像机与世界坐标1 12 2系的相对位置2 假定空间中任意一点在世界坐标系左摄像机坐标系和右摄像机坐标系下的非齐次坐标分别为Xw Xc1 Xc2 则X R X T X R X T 11 2-41 C1 1 2W2 C W 2消去XW 得到1 1 11 2-5X R R X T R R T2 2 C 1 1 2 2 C 1 12两个摄像机之间的位置关系RT可以用以下关系式表示R R R T T R R T 1 1 2-62 1 2 2 1 128基于 HALCON 的双目视觉系统深度信息技术研究com 图像预处理与特征提取由光学成像系统生成的二维图像包含了各种各样的随机噪声和畸变因此需要对原始图像进行预处理突出有用信息抑制无用信息从而改善图像质量图像预处理的目的主要有两个一是改善图像的视觉效果提高图像的清晰度二是使图像变的更有利于计算机的处理便于各种特征分析图像预处理技术包括图像对比度的增强随机噪声的去除边缘特征的加强等特征提取是为了得到匹配赖以进行的图像特征由于目前尚没有一种普遍适用的理论可运用于图像特征的提取从而导致了立体视觉研究中匹配特征的多样性目前常用的匹配特征主要有点特征线特征和区域特征等一般来讲大尺度特征含有较丰富的图像信息在图像中的数目较少易于得到快速的匹配但它们的定位精度差特征提取与描述困难而小尺度特征数目较多其所含信息较少因而在匹配时需要较强的约束准则和匹配策略以克服歧义匹配和提高运算效率良好的匹配特征应具有可区分性不变性稳定性唯一性以及有效解决歧义匹配的能力[1415]com 图像匹配由双目立体视觉系统原理可以看出双目立体视觉是建立在对应点的视差基础之上因此左右图像中各点的匹配关系成为双目立体视觉技术的一个极其重要的问题然而对于实际的立体图像对求解对应问题极富挑战性可以说是双目立体视觉中最困难的一步为了能够增加匹配结果的准确性以及匹配算法的速度在匹配过程中通常会加入下列几种约束1 极线约束在此约束下匹配点已经位于两副图像中相应的极线上2 唯一性约束两副图像中的对应的匹配点有且仅有一个3 视差连续性约束除了遮挡区域和视差不连续区域外视差的变化都是平滑的4 顺序一致性约束位于一副图像极线上的系列点在另一幅图像中极线上有相同的顺序图像匹配的方法有基于图像灰度区域的匹配基于图像特征的匹配和基于解释的匹配或者多种方法结合的匹配针对模板匹配HALCON 提供了许多不同的方法方法的选择取决于图像的数据和需要解决的任务9基于 HALCON 的双目视觉系统深度信息技术研究基于灰度值的匹配gray-value-based macthing 是典型的匹配方法如果物体中灰度值变化不大没缺损部分和混乱这种方法可以被使用这种方法能够处理单一物体实例该实例在查找图像中可以是旋转的基于形状的匹配shape-based macthing 是机器视觉中的先进技术基于形状的匹配不是使用灰度值而是提取并使用轮廓的特征来产生模板和完成匹配在照明的变化和物体灰度值的变化的情况下这种方法得到的效果都是完全一致的他能够处理物体上的缺损部分混乱和噪声而且同一模板的多个实例可被同时发现多个的不同模板也可以被同时使用这种方法允许物体被旋转和缩放基于成分的匹配component-based matching 被认为是一种更高级的基于形状的匹配增强的功能是物体能够包含若干个可旋转和平移的部分旋转和平移是相对于这些部分之间进行的一个简单的例子是一对钳子逻辑上这被认为是一个物体但物体上它包含了两部分成分匹配允许只用一个查找步骤就能处理类似这样的复合物与将各个部分处理为整个特殊模型的方法相比成分匹配的优点在于提高了执行速度和算法的健壮性基于点的匹配point-based matching 目的是为了组合两幅有两幅重叠区域的图像首先在这两幅图像上提取有效点这些点被输入到实际的匹配过程匹配的结果是从一幅图像到另一幅图像映射允许平移旋转缩放和透视失真这种映射的典型应用是把两幅图像结合成一幅更大的图像当然一幅图像也可以作为模板对待另一幅图像则被视为包含需被查找模板实例的图像对待这种方法的优点在于能够处理没有校准的透视失真缺点在于增加了执行时间时间主要被用于有[1]效点的提取com 获得立体信息立体视觉的任务就是得出感兴趣场景的三维信息对于不同的应用可以有不同的要求但最基本的就是要计算目标的深度信息得到三维坐标若需要结果的可视化则可对场景进行重建己知立体成像模型和完成立体匹配后三维信息的恢复是比较容易的重要的是如何提高计算的精确度其影响因素是多方面的如摄像机参数标定图像特征定位的精确程度和立体匹配的准确性等等因此要提高三维重建的精度还需要更深入的研究而本文研究的正是最基本的目标获得深度信息得到三维坐标10基于 HALCON 的双目视觉系统深度信息技术研究23 双目视觉系统的结构com 系统的结构由上述双目视觉系统的基本原理可知为了获得三维空间中某点P 的三维坐标需要在左右两个摄像机像面上都存在该点的相应点立体视觉系统的一般结构为交叉摆放的两个摄像机从不同角度观测同一被测物体如图 2-4 所示为系统结构的实物图图2-4 一般双目立体视觉系统结构的实物图图2-4 所示双目视觉系统中两个真彩色摄像机型号均为 SSE1616两相机光轴中心设计在同一水平面上水平间距设计为 20Omm 且两摄像机之间的为50 度摄像机的图像传感器和镜头的物理参数分别为图像有效尺寸646515晶片尺寸617 H μm617 V μm 镜头焦距 f 16 mm 考虑到本系统为双目立体视觉系统要求双摄像机能够同时采集场景图像所以本文采用的是大恒公司 DH-VT121 视频采集卡它是基于 PC104-Plus 总线开发的可双路同时操作的视频采集卡它具有高品质的图像质量和稳定性因为深度信息的测量变为 P 点在不同位置的 Z 轴之间的差11基于 HALCON 的双目视觉系统深度信息技术研究值这样我们只要识别到一个点就可以因此我设定观察物为一张带有黑圆圈白纸P 点设为黑圆圈的中心点这样通过求得观察物上点P的两个摄像机的图像中相应点的图像坐标便可以由双目立体视觉测量原理求取点P在三维空间坐标基于双摄像机的双目立体视觉系统必须安装在一个稳定的平台上在进行双目视觉系统标定以及应用该系统进行测量时要确保摄像机的内参比如焦距和两个摄像机相对位置关系不能够发生变化如果任何一项发生变化则需要重新对双目立体视觉系统进行标定com 双目测量深度的硬件组成。

简述基于HALCON的四目标定方法摘要针对目前双目視觉标定技术中存在的不能覆盖目标整个视野和匹配过程中误差较大的情况而采用精度更高的四目标定技术对目标进行标定、图像采集继而三维重建。

实验结果表明：该方法能够利用HALCON内丰富的算子进行精准，快速标定。

突破了很多标定实验都需要依靠双目视觉标定技术而带来的一些问题，为以后的标定实验多了一个可参考方法。

关键词多目立体视觉；三维重建；HALCON标定前言近年来，随着计算机视觉技术的快速发展以及人们获取物体三维外形表面在诸多领域日益广泛的应用需求。

本文基于视觉领域公认的性能最好的视觉软件HALCON提出了一种四目标定的方法，并验证了结果的准确性，利用该方法可以更精确的对目标进行标定。

1 双目视觉系统原理以及标定原理1.1 双目视觉原理双目立体视觉[1-2]是立体视觉的一种基本形式，它的原理是基于双目视差原理[2]并利用相机设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点的位之间的位置偏差来获取三维几何信息的方法。

双目立体视觉原理图如图（1）所示：1.2 标定原理在计算机视觉的应用和图像测量中，为了确定空间中的物体表面某一个点的几何三维位置与其图像对应点之间的相互关系，我们必须建立相机成像的几何模型，这些几何模型参数就是相机参数[3]。

但是大多数条件下这些参数必须通过实验和计算才能得到，所以这个求解参数的过程就叫作相机的标定。

2 四目视觉扫描仪的设计方法2.1 标定流程利用HALCON里面完善的视觉集成开发环境和标准的视觉计算法[3]，从而可以快速地对相机进行标定。

用四个相机同时对标定板进行标定，必须保证标定板能够同时出现在四幅图像中。

标定主要分为4个步骤：①建立四目相机的标定数据模型；②获取并筛选出合适的图片；③把四目相机的测试数据添加到数据模型中；④执行标定2.2 建立四目相机的标定数据模型在建立标定数据模型之前，首先得调试各个相机的性能，包括相机的焦距，光圈大小等，保证每部相机在实验开始时都在最好的状态[4]。

基于HALCON的双目立体视觉系统实现双目立体视觉系统是一种模拟人眼观察物体的视觉系统，通过两个摄像机模拟人眼的双眼观察物体的方式，获取物体的三维信息。

HALCON是一种广泛应用于机器视觉领域的开发工具，可以用于开发和实现双目立体视觉系统。

双目立体视觉系统通过两个距离较短的摄像机成像同一个场景，利用两个图像的差异来计算场景中物体的深度信息。

在HALCON中，实现双目立体视觉系统的关键步骤包括相机校准、图像获取、图像匹配以及深度计算。

首先，进行相机校准。

双目相机系统的校准是获取准确三维信息的基础，HALCON提供了相机标定工具来获取相机的内参和畸变参数。

通过使用标定板或者特定的标定物体拍摄一组图像，可以通过HALCON的相机标定工具获取相机的校准参数。

接下来，进行图像获取。

使用两个相机同时拍摄同一个场景的图像，获取左右两个相机的图像。

HALCON提供了图像处理的函数和工具，可以方便地读取和处理图像。

然后，进行图像匹配。

通过对左右两个相机的图像进行匹配，找到对应的视差点对。

HALCON提供了多种图像匹配算法，可以根据具体的应用需求选择合适的算法，例如基于相似度的匹配算法、基于特征点的匹配算法等。

最后，进行深度计算。

根据图像匹配得到的视差点对，可以通过三角测量方法计算物体的深度信息。

HALCON提供了三角测量的函数和工具，可以根据视差和相机间的基线距离计算出物体的深度。

除了基本的双目立体视觉系统实现，HALCON还提供了丰富的图像处理和计算机视觉函数，可以进行目标检测、目标跟踪、图像分割等进一步的应用开发。

双目立体视觉系统在智能制造、机器人导航、自动驾驶等领域具有广泛应用。

通过HALCON的支持，可以方便地实现双目立体视觉系统，并为各种应用场景提供高效可靠的解决方案。

总结来说，基于HALCON的双目立体视觉系统实现，需要进行相机校准、图像获取、图像匹配和深度计算等步骤。

HALCON提供了丰富的函数和工具，可以方便地实现这些步骤，并为双目立体视觉系统的应用提供强大的支持。

halcon自标定方法Halcon自标定方法Halcon是一种常用的机器视觉软件，用于开发和实现各种图像处理和机器视觉应用。

在机器视觉领域，相机的标定是非常重要的一步，它能够精确地确定相机的内部参数和外部参数，从而提高图像处理的精度和准确性。

Halcon提供了自标定方法，使相机的标定过程更加简便和高效。

自标定方法基于相机的特征点，通过在图像中检测和匹配特征点来确定相机的内部参数和外部参数。

下面将详细介绍Halcon的自标定方法。

1. 特征点提取在自标定过程中，首先需要从图像中提取特征点。

Halcon提供了多种特征点提取算法，如Harris角点检测、SIFT算法等。

根据实际应用场景的需求，选择合适的算法进行特征点提取。

2. 特征点匹配特征点提取后，需要进行特征点的匹配。

Halcon提供了多种特征点匹配算法，如基于描述子的匹配算法、基于相似性变换的匹配算法等。

通过计算特征点之间的相似性，确定它们之间的对应关系。

3. 相机标定特征点匹配完成后，即可进行相机的标定。

Halcon提供了基于特征点的标定方法，通过求解相机的内部参数和外部参数，得到相机的准确标定结果。

标定过程中需要提供已知的标定板，通过测量标定板上的特征点坐标和图像中对应特征点的像素坐标，计算相机的内部参数和外部参数。

4. 标定结果评估标定过程完成后，需要对标定结果进行评估。

Halcon提供了多种评估方法，如重投影误差、畸变系数等。

通过对比实际观测值和标定结果的差异，评估标定的准确性和精度。

5. 标定结果应用标定结果可以应用于各种机器视觉应用中，如图像校正、目标检测和跟踪等。

通过应用标定结果，可以提高图像处理和机器视觉算法的准确性和稳定性。

总结：Halcon的自标定方法是一种简便高效的相机标定方法，通过特征点提取和匹配，求解相机的内部参数和外部参数，从而实现对相机的准确标定。

标定结果可以应用于各种机器视觉应用中，提高图像处理和算法的准确性和稳定性。

２０２１年４月第４９卷第８期机床与液压ＭＡＣＨＩＮＥＴＯＯＬ＆ＨＹＤＲＡＵＬＩＣＳＡｐｒ．２０２１Ｖｏｌ ４９Ｎｏ ８ＤＯＩ：１０．３９６９／ｊ ｉｓｓｎ １００１－３８８１ ２０２１ ０８ ００７本文引用格式：杨伟姣，杨先海，薛鹏，等．基于Ｈａｌｃｏｎ的固定视点手眼标定方法［Ｊ］．机床与液压，２０２１，４９（８）：３５－３７．ＹＡＮＧＷｅｉｊｉａｏ，ＹＡＮＧＸｉａｎｈａｉ，ＸＵＥＰｅｎｇ，ｅｔａｌ．Ｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎｍｅｔｈｏｄｏｆｆｉｘｅｄｖｉｅｗｐｏｉｎｔｂａｓｅｄｏｎｈａｌｃｏｎ［Ｊ］．ＭａｃｈｉｎｅＴｏｏｌ＆Ｈｙｄｒａｕｌｉｃｓ，２０２１，４９（８）：３５－３７．收稿日期：２０２０－０１－０２基金项目：国家自然科学基金青年科学基金项目（５１９０５３２０）作者简介：杨伟姣（１９９３ ），女，硕士研究生，研究方向为机器视觉及图像处理㊂Ｅ－ｍａｉｌ：１９６１５７２９５９＠ｑｑ ｃｏｍ㊂通信作者：杨先海（１９６３ ），教授，博士生导师㊂Ｅ－ｍａｉｌ：ｙｘｈ＠ｓｄｕｔ ｅｄｕ ｃｎ㊂基于Ｈａｌｃｏｎ的固定视点手眼标定方法杨伟姣１，杨先海１，薛鹏２，孙阳１，代瑞恒１，谭帅２（１ 山东理工大学机械工程学院，山东淄博２５５０４９；２ 胜利油田高原石油装备有限责任公司，山东东营２５７０００）摘要：在视觉引导机器人完成抓取的过程中，最重要的步骤是手眼标定，手眼标定的精度将直接影响后续工作的精度㊂充分考虑相机畸变对手眼标定的影响，在Ｈａｌｃｏｎ环境下，设计一种高精度的固定视点手眼标定方法，该方法在确定了机器人基础坐标系与相机图像坐标系之间关系的同时也标定了相机的内外参数，并通过实验进行验证㊂结果表明：该标定方法具有较高的精度，可广泛应用于视觉机器人的定位抓取工作㊂关键词：机器视觉；相机标定；手眼标定中图分类号：ＴＰ３９１Ｈａｎｄ⁃ｅｙｅＣａｌｉｂｒａｔｉｏｎＭｅｔｈｏｄｏｆＦｉｘｅｄＶｉｅｗｐｏｉｎｔＢａｓｅｄｏｎＨａｌｃｏｎＹＡＮＧＷｅｉｊｉａｏ１，ＹＡＮＧＸｉａｎｈａｉ１，ＸＵＥＰｅｎｇ２，ＳＵＮＹａｎｇ１，ＤＡＩＲｕｉｈｅｎｇ１，ＴＡＮＳｈｕａｉ２（１ ＳｃｈｏｏｌｏｆＭｅｃｈａｎｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，ＳｈａｎｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，ＺｉｂｏＳｈａｎｄｏｎｇ２５５０４９，Ｃｈｉｎａ；２ ＳｈｅｎｇｌｉＯｉｌｆｉｅｌｄＰｌａｔｅａｕＰｅｔｒｏｌｅｕｍＥｑｕｉｐｍｅｎｔＣｏ．，Ｌｔｄ．，ＤｏｎｇｙｉｎｇＳｈａｎｄｏｎｇ２５７０００，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｉｎｔｈｅｐｒｏｃｅｓｓｏｆｖｉｓｕａｌｌｙｇｕｉｄｉｎｇｒｏｂｏｔｔｏｃｏｍｐｌｅｔｅｇｒａｓｐｉｎｇ，ｔｈｅｍｏｓｔｉｍｐｏｒｔａｎｔｓｔｅｐｉｓｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎ．Ｔｈｅａｃ⁃ｃｕｒａｃｙｏｆｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎｗｉｌｌｄｉｒｅｃｔｌｙａｆｆｅｃｔｔｈｅａｃｃｕｒａｃｙｏｆｓｕｂｓｅｑｕｅｎｔｗｏｒｋ．Ｆｕｌｌｙｃｏｎｓｉｄｅｒｉｎｇｔｈｅｅｆｆｅｃｔｓｏｆｃａｍｅｒａｄｉｓｔｏｒｔｉｏｎｏｎｔｈｅｃａｌｉｂｒａｔｉｏｎｏｆｔｈｅｏｐｐｏｎｅｎｔ ｓｅｙｅｓ，ｉｎＨａｌｃｏｎｅｎｖｉｒｏｎｍｅｎｔ，ａｈｉｇｈ⁃ｐｒｅｃｉｓｉｏｎｆｉｘｅｄ⁃ｖｉｅｗｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎｍｅｔｈｏｄｗａｓｄｅｓｉｇｎｅｄ．Ｉｎｔｈｉｓｍｅｔｈｏｄ，ｔｈｅｒｅｌａｔｉｏｎｓｈｉｐｂｅｔｗｅｅｎｔｈｅｒｏｂｏｔ ｓｂａｓｉｃｃｏｏｒｄｉｎａｔｅｓｙｓｔｅｍａｎｄｔｈｅｃａｍｅｒａｉｍａｇｅｃｏｏｒｄｉｎａｔｅｓｙｓｔｅｍｗａｓｄｅｔｅｒｍｉｎｅｄｗｈｉｌｅｔｈｅｉｎｔｅｒｎａｌａｎｄｅｘｔｅｒｎａｌｐａｒａｍｅｔｅｒｓｏｆｔｈｅｃａｍｅｒａｗｅｒｅａｌｓｏｃａｌｉｂｒａｔｅｄ．Ｉｔｗａｓｖｅｒｉｆｉｅｄｂｙｅｘｐｅｒｉｍｅｎｔｓ．Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｃａｌｉｂｒａｔｉｏｎｍｅｔｈｏｄｈａｓｈｉｇｈａｃｃｕｒａｃｙａｎｄｃａｎｂｅｗｉｄｅｌｙｕｓｅｄｉｎｔｈｅｐｏｓｉｔｉｏｎｉｎｇａｎｄｇｒａｂｂｉｎｇｗｏｒｋｏｆｖｉｓｕａｌｒｏｂｏｔｓ．Ｋｅｙｗｏｒｄｓ：Ｍａｃｈｉｎｅｖｉｓｉｏｎ；Ｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ；Ｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎ０㊀前言机器人视觉控制是智能机器人领域的重要研究内容，也是现阶段研究的热点之一［１－２］㊂视觉与机器人的关联方式主要包括固定视点的眼到手配置模型（Ｅｙｅ－ｔｏ－Ｈａｎｄ）和非固定视点的眼在手配置模型（Ｅｙｅ－ｉｎ－Ｈａｎｄ）㊂本文作者主要针对摄像机固定安装在机械臂本体以外的Ｅｙｅ－ｔｏ－Ｈａｎｄ模型进行研究，Ｅｙｅ－ｔｏ－Ｈａｎｄ模型因其摄像机单独固定，避免了因机械臂运动造成的定位误差，在工业机器人定位抓取和装配等领域有着广泛的应用［３］㊂１㊀双目视觉系统原理双目视觉是根据视差原理，通过多幅图像获取测量物体三维信息的方法［４－５］㊂如图１所示为双目立体视觉原理图㊂其中ｘＬｙＬ表示左图像平面，ｘＲｙＲ表示右图像平面㊂对于空间任意一点ｐ，在左摄像机成像平面的投影点为ｐＬ，在右摄像机成像平面的投影点为ｐＲ，ｐＬ㊁ｐＲ相互对应㊂图１㊀双目立体视觉原理通过视差原理，可以计算空间点ｐ在相机坐标系下的三维坐标ｐ（Ｘｃ，Ｙｃ，Ｚｃ）：Ｘｃ＝ｘ－ｃｘｆＺ＝（ｘ－ｃｘ）Ｂｄ－ｃｘ＋ｃｘᶄＹｃ＝ｙ－ｃｙｆＺ＝ｙ－ｃｙ()Ｂｄ－ｃｘ＋ｃｘᶄＺｃ＝Ｂｆｄ－ｃｘ＋ｃｘᶄìîíïïïïïïïï（１）其中：Ｂ为基线距，ｍｍ；ｄ为视差，ｍｍ；ｆ为相机焦距；ｃｘ㊁ｃｘᶄ分别表示左右相机的图像中心与光心ｘ轴水平方向偏移量，ｍｍ；ｃｙ为左相机图像中心与光轴ｘ轴垂直方向偏移量，ｍｍ㊂２㊀摄像机标定坐标转换手眼标定的前提是要进行摄像机标定，求解空间中的世界坐标系与图像像素坐标系的关系，即为摄像机标定过程［６］㊂该过程中涉及的坐标系包括世界坐标系（ｘｗ，ｙｗ，ｚｗ）㊁摄像机坐标系（ｘｃ，ｙｃ，ｚｃ）㊁图像物理坐标系（ｘ，ｙ）㊁图像像素坐标系（ｕ，ｖ）㊂（１）世界坐标系与摄像机坐标系的转换ｘｃｙｃｚｃéëêêêêùûúúúú＝Ｒｘｗｙｗｚｗéëêêêêùûúúúú＋Ｔ＝ｒ１１ｒ１２ｒ１３ｒ２１ｒ２２ｒ２３ｒ３１ｒ３２ｒ３３éëêêêêùûúúúúｘｗｙｗｚｗéëêêêêùûúúúú＋ｔｘｔｙｔｚéëêêêêùûúúúú（２）其中：Ｒ为旋转变换矩阵；Ｔ为平移变换矩阵㊂（２）摄像机坐标系与图像坐标系的转换ｕ－ｕ０＝ｘ／ｄｘ＝ｓｘｘｖ－ｖ０＝ｙ／ｄｙ＝ｓｙｙ{（３）（３）世界坐标系与图像坐标系的转换Ｘｆ＝ｕ－ｕ０ｆｘ＝ｒ１１ｘｗ＋ｒ１２ｙｗ＋ｒ１３ｚｗ＋ｔｘｒ３１ｘｗ＋ｒ３２ｙｗ＋ｒ３３ｚｗ＋ｔｚＹｆ＝ｖ－ｖ０ｆｙ＝ｒ２１ｘｗ＋ｒ２２ｙｗ＋ｒ２３ｚｗ＋ｔｙｒ３１ｘｗ＋ｒ３２ｙｗ＋ｒ３３ｚｗ＋ｔｚìîíïïïï（４）将式（３）和式（４）代入式（２），可得齐次坐标为ｚｃｕｖ１éëêêêùûúúú＝ｆｘ０ｕ０００ｆｙｖ００００１０éëêêêùûúúúＲＴ０Ｔ１éëêêùûúúｘｗｙｗｚｗ１éëêêêêêùûúúúúú＝Ｍ１Ｍ２Ｘ＝ＭＸ（５）其中：ａｘ＝ｓｘｆｘ＝ｆｘ／ｄｘ，ａｙ＝ｓｙｆｙ＝ｆｙ／ｄｙ；Ｍ１为摄像机内部参数；Ｍ２为摄像机外部参数㊂３㊀固定视点手眼标定３ １㊀标定模型的建立在机器视觉中，机械手臂抓取运动过程中主要涉及机械臂基坐标系㊁工具坐标系㊁标定板坐标系㊁摄像机坐标系和世界坐标系［７－８］㊂整个过程的变换实质是将图像坐标系的坐标转换为机械臂基坐标的位姿变换㊂固定视点手眼标定模型如图２所示㊂图２㊀Ｅｙｅ－ｔｏ－Ｈａｎｄ模型㊀㊀手眼标定的目标：（１）求解摄像机坐标系下机械手基础坐标位姿ｃａｍＨｂａｓｅ；（２）求解工具坐标系下标定板坐标位姿ｔｏｏｌＨｃａｌ㊂３ ２㊀摄像机内参获取本文作者基于Ｈａｌｃｏｎ进行标定㊂Ｈａｌｃｏｎ是德国ＭＶｔｅｃ公司开发的图像处理软件，具有完善的综合标准软件库和机器视觉集成开发环境［９］㊂选用Ｈａｌｃｏｎ三维标定，该方法可以有效地消除径向畸变和视角畸变，在ｘ㊁ｙ㊁ｚ方向平移和旋转标定板，相机和镜头参数作为标定过程中算子ＳｔａｒｔＣａｍＰａｒ的初值㊂获取摄像机的内参的标定过程如图３所示㊂（１）选择标定板并初始化参数㊂标定过程选用７ˑ７的圆形阵列㊁直径为１０ｍｍ㊁圆心距为２０ｍｍ㊁厚度为０ １８ｍｍ的标定板，在标定初始选择标定文件路径和摄像机参数；（２）图像采集㊂将摄像机固定，机器人末端夹具带动标定板变换至不同空间位置，保存标定板位于㊃６３㊃机床与液压第４９卷不同位置时的摄像机图像，采集图像１５幅，由于Ｈａｌｃｏｎ图像采集对光照等条件要求较高，在实时采集过程中需要对标定板位置进行实时调整，采集满足标定要求的标定板图像；（３）提取原点中心并标定㊂提取标定板中阵列分布的原点中心并进行标定，去除图像畸变，获取校正后的摄像机内部参数㊂图４为标定图像㊂图３㊀摄像机内参的标定流程图４㊀标定图像３ ３㊀固定视点手眼标定通过机械臂末端工具带动标定板移动到不同位置，标定手眼关系同时获取摄像机内部参数，调用摄像机内参标定得到的二维图像，通过手眼关系的转换得到准确的三维信息，获取手眼标定的目标参数关系㊂获取机械臂末端工具相对于机械臂底座基坐标的位姿ｂａｓｅＨｔｏｏｌ以及标定板相对于摄像机的位姿ｃａｍＨｃａｌ，同时获取摄像机坐标系与机器人工具坐标系之间的相互关系，并得到了工具坐标系相对于相机坐标系的位姿ｃａｍＨｔｏｏｌ，从而可以得到手眼标定的结果，即基础坐标系下标定板位姿ｃａｍＨｃａｌ：ｃａｍＨｃａｌ＝ｃａｍＨｂａｓｅ㊃ｂａｓｅＨｔｏｏｌ㊃ｔｏｏｌＨｃａｌ基于Ｈａｌｃｏｎ进行手眼标定的流程如图５所示㊂图５㊀基于Ｈａｌｃｏｎ手眼标定流程标定板坐标系相对于基坐标系的位姿计算式为：ｂａｓｅＨｏｂｊ＝ｂａｓｅＨｃａｍ㊃ｃａｍＨｏｂｊ，表示出最终需要的工件位姿，得到这个位姿便可以给机器人发送运动指令，控制手抓进行抓取任务㊂４㊀实验结果及分析选用ＢＢ２双目摄像机和ＵＲ５机器人进行实验，摄像机通过支架固定于机械臂末端夹具上方，整个系统可获取摄像机内外参数以及摄像机与机械臂的相对位姿㊂通过文中提出的基于Ｈａｌｃｏｎ的标定方法，可以较为准确地获取图２中各坐标系之间的相互转换关系，满足了工业生产中对目标物体的准确抓取和定位工作，得到表１所示的标定结果㊂表１㊀手眼标定结果标定变量标定结果／ｍｍ标定变量标定结果／（ʎ）ｘ坐标０．１６２ｘ轴旋转量９０．１５９ｙ坐标０．００２ｙ轴旋转量０．２８４ｚ坐标０．０７３ｚ轴旋转量９０．０６５㊀㊀由表１可得标定结果仍存在一些误差㊂分析误差产生的主要原因有：（１）在图像采集过程中会受光照变化等噪声影响产生标定误差；（２）摄像机固有精度所带来的的实际误差；（３）各方面误差的累积影响标定结果㊂５㊀结束语本文作者提出基于Ｈａｌｃｏｎ的固定视点手眼标定方法，在获得机器人基础坐标与相机图像坐标之间关系的同时也标定了相机的内外参数㊂实验结果表明该方法标定精度较高，标定方法简便㊂该固定视点的手眼标定方法可广泛应用于流水线生产过程中的分拣和装配等工作㊂参考文献：［１］张艳芳，李倩，刘晓刚，等．基于开放平台的机器人视觉抓取控制系统设计［Ｊ］．机床与液压，２０１７，４５（２１）：３１－３４．ＺＨＡＮＧＹＦ，ＬＩＱ，ＬＩＵＸＧ，ｅｔａｌ．Ｄｅｓｉｇｎｏｆｒｏｂｏｔｖｉｓｉｏｎｇｒａｓｐｉｎｇｃｏｎｔｒｏｌｓｙｓｔｅｍｂａｓｅｄｏｎｏｐｅｎｐｌａｔｆｏｒｍ［Ｊ］．Ｍａ⁃ｃｈｉｎｅＴｏｏｌ＆Ｈｙｄｒａｕｌｉｃｓ，２０１７，４５（２１）：３１－３４．［２］丘椿荣．基于视觉伺服的机器人动态跟踪抓取技术研究［Ｄ］．武汉：华中科技大学，２０１９．ＱＩＵＣＲ．Ｓｔｕｄｙｏｎｒｏｂｏｔｉｃｄｙｎａｍｉｃａｌｔｒａｃｋｉｎｇａｎｄｇｒａｓｐｉｎｇｔｅｃｈｎｏｌｏｇｙｂａｓｅｄｏｎｖｉｓｕａｌｓｅｒｖｏｉｎｇ［Ｄ］．Ｗｕｈａｎ：ＨｕａｚｈｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，２０１９．（下转第７１页）㊃７３㊃第８期杨伟姣等：基于Ｈａｌｃｏｎ的固定视点手眼标定方法㊀㊀㊀ＴＩＡＮＪ，ＮＩＷＧ，ＺＨＵＳＸ．Ｍａｇｎｅｔｉｃｃｉｒｃｕｉｔａｎａｌｙｓｉｓａｎｄｓｉｍｕｌａｔｉｏｎｏｆｓｈｅａｒ⁃ｖａｌｖｅｍｏｄｅｍａｇｎｅｔｏｒｈｅｏｌｏｇｉｃａｌｄａｍｐｅｒ［Ｊ］．ＣｈｉｎｅｓｅＨｙｄｒａｕｌｉｃｓ＆Ｐｎｅｕｍａｔｉｃｓ，２０１５（１２）：４５－４８．［９］ＷＡＮＧＭＫ，ＣＨＥＮＺＢ，ＷＥＲＥＬＥＹＮＭ．Ｍａｇｎｅｔｏｒｈｅｏｌｏｇｉｃａｌｄａｍｐｅｒｄｅｓｉｇｎｔｏｉｍｐｒｏｖｅｖｉｂｒａｔｉｏｎｍｉｔｉｇａｔｉｏｎｕｎ⁃ｄｅｒａｖｏｌｕｍｅｃｏｎｓｔｒａｉｎｔ［Ｊ］．ＳｍａｒｔＭａｔｅｒｉａｌｓａｎｄＳｔｒｕｃ⁃ｔｕｒｅｓ，２０１９，２８（１１）：１１４００３．［１０］冯彪．飞机前起落架摆振仿真分析与参数优化［Ｄ］．南京：南京航空航天大学，２０１２．ＰＥＮＧＢ．Ｓｉｍｕｌａｔｉｏｎａｎｄｏｐｔｉｍｉｚａｔｉｏｎｏｆａｉｒｃｒａｆｔｎｏｓｅｌａｎｄ⁃ｉｎｇｇｅａｒｓｈｉｍｍｙ［Ｄ］．Ｎａｎｊｉｎｇ：ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＡｅｒｏ⁃ｎａｕｔｉｃｓａｎｄＡｓｔｒｏｎａｕｔｉｃｓ，２０１２．［１１］王功成．汽车前轮摆振系统动力学分析与评价平台开发［Ｄ］．合肥：合肥工业大学，２０１４．ＷＡＮＧＧＣ．Ａｎａｌｙｓｉｓａｎｄｅｖａｌｕａｔｉｏｎｐｌａｔｆｏｒｍｆｏｒｆｒｏｎｔｗｈｅｅｌｓｈｉｍｍｙｓｙｓｔｅｍ［Ｄ］．Ｈｅｆｅｉ：ＨｅｆｅｉＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，２０１４．［１２］许晓龙．基于磁流变减震器的起落架振动仿真平台开发［Ｄ］．天津：中国民航大学，２０１５．ＸＵＸＬ．ＤｅｖｅｌｏｐｍｅｎｔｏｆｖｉｂｒａｔｉｏｎｓｉｍｕｌａｔｉｏｎｐｌａｔｆｏｒｍｆｏｒｌａｎｄｉｎｇｇｅａｒｂａｓｅｄｏｎＭＲｄａｍｐｅｒ［Ｄ］．Ｔｉａｎｊｉｎ：ＣｉｖｉｌＡｖｉ⁃ａｔｉｏｎＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎａ，２０１５．［１３］刘照曦．基于磁流变减震器的起落架落震仿真模块开发［Ｄ］．天津：中国民航大学，２０１５．ＬＩＵＺＸ．Ｓｉｍｕｌａｔｉｏｎｍｏｄｅｌ ｓｅｘｐｌｏｉｔａｔｉｏｎｏｆＭＲｄａｍｐｅｒｏｎｌａｎｄｉｎｇｇｅａｒ［Ｄ］．Ｔｉａｎｊｉｎ：ＣｉｖｉｌＡｖｉａｔｉｏｎＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎａ，２０１５．［１４］田静，王恕浩．飞机前轮摆振影响因素分析［Ｊ］．机械设计，２０１９，３６（７）：５２－５７．ＴＩＡＮＪ，ＷＡＮＧＳＨ．Ａｎａｌｙｓｉｓｏｎｔｈｅｉｎｆｌｕｅｎｃｉｎｇｆａｃｔｏｒｏｆｓｈｉｍｍｙｏｆｔｈｅａｉｒｃｒａｆｔ ｓｎｏｓｅｗｈｅｅｌ［Ｊ］．ＪｏｕｒｎａｌｏｆＭａ⁃ｃｈｉｎｅＤｅｓｉｇｎ，２０１９，３６（７）：５２－５７．［１５］胡挺，吴立军．ＣＡＴＩＡ二次开发技术基础［Ｍ］．北京：电子工业出版社，２００６．［１６］张越．基于ＶＢ对ＣＡＴＩＡ二次开发的非标零件标准化设计研究［Ｄ］．长春：长春理工大学，２０１８．ＺＨＡＮＧＹ．Ｒｅｓｅａｒｃｈｏｎｓｔａｎｄａｒｄｉｚａｔｉｏｎｄｅｓｉｇｎｏｆｎｏｎ⁃ｓｔａｎｄａｒｄｐａｒｔｓｂａｓｅｄｏｎＶＢＣＡＴＩＡｓｅｃｏｎｄａｒｙｄｅｖｅｌｏｐ⁃ｍｅｎｔ［Ｄ］．Ｃｈａｎｇｃｈｕｎ：ＣｈａｎｇｃｈｕｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，２０１８．［１７］赵宏强，衡保利，谭青，等．利用ＭＡＴＬＡＢ与ＶＢ的传感器静态自动标定技术［Ｊ］．现代制造工程，２０１０（５）：３０－３２．ＺＨＡＯＨＱ，ＨＥＮＧＢＬ，ＴＡＮＱ，ｅｔａｌ．Ｓｅｎｓｏｒｓｔａｔｉｃａｕｔｏ⁃ｃａｌｉｂｒａｔｉｏｎｔｅｃｈｎｉｑｕｅｂａｓｅｄｏｎＭＡＴＬＡＢａｎｄＶＢ［Ｊ］．ＭｏｄｅｒｎＭａｎｕｆａｃｔｕｒｉｎｇＥｎｇｉｎｅｅｒｉｎｇ，２０１０（５）：３０－３２．［１８］冯雪．基于ＭＡＴＬＡＢ与ＶＢ的工频波形分析系统［Ｄ］．上海：上海交通大学，２００９．ＦＥＮＧＸ．ＰｏｗｅｒｆｒｅｑｕｅｎｃｙｗａｖｅｆｏｒｍａｎａｌｙｓｉｓｓｙｓｔｅｍｂａｓｅｄｏｎＭＡＴＬＡＢａｎｄＶＢ［Ｄ］．Ｓｈａｎｇｈａｉ：ＳｈａｎｇｈａｉＪｉａｏＴｏｎｇＵｎｉｖｅｒｓｉｔｙ，２００９．［１９］ＬＯＲＤＣｏｒｐｏｒａｔｉｏｎ．ＭＲＦ－１３２ＤＧｍａｇｎｅｔｏ⁃ｒｈｅｏｌｏｔｉｃａｌｆｌｕｉｄ［Ｚ］．ＵＳＡ：ＬＯＲＤＣｏｒｐｏｒａｔｉｏｎ，２０１１．［２０］ＭＡＮＪＥＥＴＫ，ＳＵＪＡＴＨＡＣ．ＭａｇｎｅｔｏｒｈｅｏｌｏｇｉｃａｌｖａｌｖｅｓｂａｓｅｄｏｎＨｅｒｓｃｈｅｌ－Ｂｕｌｋｌｅｙｆｌｕｉｄｍｏｄｅｌ：ｍｏｄｅｌｌｉｎｇ，ｍａｇ⁃ｎｅｔｏｓｔａｔｉｃａｎａｌｙｓｉｓａｎｄｇｅｏｍｅｔｒｉｃｏｐｔｉｍｉｚａｔｉｏｎ［Ｊ］．ＳｍａｒｔＭａｔｅｒｉａｌｓａｎｄＳｔｒｕｃｔｕｒｅｓ，２０１９，２８（１１）：１１５００８．（责任编辑：张艳君）（上接第３７页）［３］谢小鹏，彭泽林．一种固定视点的机器人手眼关系标定方法［Ｊ］．中国测试，２０１８，４４（６）：１－５．ＸＩＥＸＰ，ＰＥＮＧＺＬ．Ａｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｒｏｂｏｔｗｉｔｈｓｔａｔｉｏｎａｒｙｖｉｅｗｐｏｉｎｔ［Ｊ］．ＣｈｉｎａＭｅａｓｕｒｅｍｅｎｔ＆Ｔｅｓｔ，２０１８，４４（６）：１－５．［４］王之凤，张文君，许键．双目智能眼镜视差快速测试系统设计［Ｊ］．光学技术，２０１８，４４（１）：３０－３４．ＷＡＮＧＺＦ，ＺＨＡＮＧＷＪ，ＸＵＪ．Ｒａｐｉｄ⁃ｔｅｓｔｉｎｇｓｙｓｔｅｍｏｆｂｉｎｏｃｕｌａｒｓｍａｒｔｇｌａｓｓｏｐｔｉｃａｌｐａｒａｌｌａｘ［Ｊ］．ＯｐｔｉｃａｌＴｅｃｈ⁃ｎｉｑｕｅ，２０１８，４４（１）：３０－３４．［５］李长春，胡炜，顾寄南，等．上下料机器人视觉测量系统关键技术的研究［Ｊ］．机床与液压，２０１８，４６（１５）：６８－７０．ＬＩＣＣ，ＨＵＷ，ＧＵＪＮ，ｅｔａｌ．Ｒｅｓｅａｒｃｈｏｎｋｅｙｔｅｃｈｎｏｌｏｇｙｏｆｂｉｎｏｃｕｌａｒｖｉｓｉｏｎｍｅａｓｕｒｅｍｅｎｔｓｙｓｔｅｍｏｆｌｏａｄｉｎｇａｎｄｕｎｌｏａ⁃ｄｉｎｇｒｏｂｏｔ［Ｊ］．ＭａｃｈｉｎｅＴｏｏｌ＆Ｈｙｄｒａｕｌｉｃｓ，２０１８，４６（１５）：６８－７０．［６］胡松，王道累．摄像机标定方法的比较分析［Ｊ］．上海电力学院学报，２０１８，３４（４）：３６６－３７０．ＨＵＳ，ＷＡＮＧＤＬ．Ｃｏｍｐａｒａｔｉｖｅａｎａｌｙｓｉｓｏｆｃａｍｅｒａｃａｌｉｂｒａ⁃ｔｉｏｎｍｅｔｈｏｄｓ［Ｊ］．ＪｏｕｒｎａｌｏｆＳｈａｎｇｈａｉＵｎｉｖｅｒｓｉｔｙｏｆＥｌｅｃｔｒｉｃＰｏｗｅｒ，２０１８，３４（４）：３６６－３７０．［７］舒奇，黄家才．基于Ｈａｌｃｏｎ的机器人手眼标定方法研究［Ｊ］．南京工程学院学报（自然科学版），２０１９，１７（１）：４５－４９．ＳＨＵＱ，ＨＡＵＮＧＪＣ．Ａｓｔｕｄｙｏｎｒｏｂｏｔｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎＨａｌｃｏｎ［Ｊ］．ＪｏｕｒｎａｌｏｆＮａｎｊｉｎｇＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ），２０１９，１７（１）：４５－４９．［８］陆艺，沈添秀，郭小娟，等．线结构光视觉传感器机器人手眼关系标定［Ｊ］．中国测试，２０１９，４５（１０）：６－９．ＬＵＹ，ＳＨＥＮＴＸ，ＧＵＯＸＪ，ｅｔａｌ．Ｒｏｂｏｔｈａｎｄ⁃ｅｙｅｒｅｌａｔｉｏｎ⁃ｓｈｉｐｃａｌｉｂｒａｔｉｏｎｂａｓｅｄｏｎｌｉｎｅｓｔｒｕｃｔｕｒｅｄｌｉｇｈｔｖｉｓｉｏｎｓｅｎｓｏｒ［Ｊ］．ＣｈｉｎａＭｅａｓｕｒｅｍｅｎｔ＆Ｔｅｓｔ，２０１９，４５（１０）：６－９．［９］田春林，陈李博，马国庆，等．基于Ｈａｌｃｏｎ的工业机器人手眼标定方法研究［Ｊ］．制造业自动化，２０１８，４０（３）：１６－１８．ＴＩＡＮＣＬ，ＣＨＥＮＬＢ，ＭＡＧＱ，ｅｔａｌ．Ｒｅｓｅａｒｃｈｏｎｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎｍｅｔｈｏｄｏｆｉｎｄｕｓｔｒｉａｌｒｏｂｏｔｂａｓｅｄｏｎＨａｌｃｏｎ［Ｊ］．ＭａｎｕｆａｃｔｕｒｉｎｇＡｕｔｏｍａｔｉｏｎ，２０１８，４０（３）：１６－１８．（责任编辑：张艳君）㊃１７㊃第８期田静等：基于磁流变减摆器的摆振仿真平台开发㊀㊀㊀。

halcon双目测距原理摘要：一、引言二、Halcon双目测距原理1.双目视觉基本概念2.双目测距的计算方法3.Halcon软件在双目测距中的应用三、Halcon双目测距的实际应用1.自动驾驶2.机器人视觉3.无人机导航四、Halcon双目测距的发展趋势与挑战1.提高测距精度2.应对复杂环境3.与其他深度估计算法的比较五、总结正文：一、引言随着计算机技术、图像处理技术和人工智能技术的快速发展，双目测距技术在众多领域得到了广泛应用。

Halcon作为一款功能强大的图像处理软件，也在双目测距领域发挥着重要作用。

本文将详细介绍Halcon双目测距的原理及其在实际应用中的表现。

二、Halcon双目测距原理1.双目视觉基本概念双目视觉系统是指通过两个相机从不同的角度拍摄同一场景，然后通过计算机处理这两幅图像来获取场景中物体的三维信息。

2.双目测距的计算方法双目测距主要利用视差原理，通过比较两幅图像中的对应点，计算出物体在空间中的距离。

3.Halcon软件在双目测距中的应用Halcon提供了丰富的图像处理功能，包括图像预处理、特征提取、匹配以及三维重建等，为双目测距提供了强大的支持。

三、Halcon双目测距的实际应用1.自动驾驶Halcon双目测距技术可以实时获取车辆周围环境的三维信息，为自动驾驶提供可靠的安全保障。

2.机器人视觉双目测距技术在机器人领域也有广泛应用，如导航、抓取、避障等任务，都需要准确获取物体的距离信息。

3.无人机导航无人机在执行任务时，需要实时获取地形和障碍物的三维信息，Halcon双目测距技术可以帮助无人机实现这一目标。

四、Halcon双目测距的发展趋势与挑战1.提高测距精度随着深度学习技术的发展，可以通过深度神经网络对双目测距结果进行优化，提高测距精度。

2.应对复杂环境在复杂环境下，如强光照、遮挡、纹理缺失等情况下，双目测距的性能会受到影响，需要研究针对性的解决方案。

3.与其他深度估计算法的比较Halcon双目测距技术需要与其他深度估计算法进行比较，以找到最适合特定应用场景的解决方案。

Halcon-双目视觉系统标定1.get_image_pointer1(Image: : : Pointer, Type, Width, Height)返回第一通道的点，图像数据类型，图像尺寸。

2.disp_image(Image : : WindowHandle : )在输出窗口显示灰度图像3.visualize_results_of_find_marks_and_pose (ImageL, WindowHandle1, RCoordL, CCoordL, StartPoseL, StartCamParL)内部函数，显示初步标定的坐标系和MARKS中心，MARKS中线用十字线标出。

4.set_calib_data_observ_points( : : CalibDataID, CameraIdx, CalibObjIdx, CalibObjPoseIdx, Row, Column, Index, Pose : ) 储存以点为基础的标定观测值，将观测值储存与标定数据句柄中。

5.calibrate_cameras( : : CalibDataID : Error)根据标定数据模型中的值标定摄像机。

6.get_calib_data( : : CalibDataID, ItemType, ItemIdx, DataName : DataValue)查询储存或计算得到的标定模型中的数据。

7.write_cam_par( : : CameraParam, CamParFile : )把相机内参数写入TXT文件8.write_pose( : : Pose, PoseFile : )把相机的位姿写入TXT文件9.gen_binocular_rectification_map( : Map1, Map2: CamParam1, CamParam2, RelPose, SubSampling, Method, MapType: CamParamRect1, CamParamRect2, CamPoseRect1, CamPoseRect2, RelPoseRect)把相机参数和姿态作为输入，输出为校正图像和矫正后的参数和姿态。

现代电子技术Modern Electronics Technique2023年7月1日第46卷第13期Jul.2023Vol.46No.130引言随着生产技术发展和产业转型升级，机器人视觉在自动化和智能化的应用越来越广，工业机器人代替人工劳动是发展的趋势[1]。

视觉是机器人的“眼睛”，利用视觉可以实现对机器人的控制和定位，如基于Kinect 视觉功能的机器人控制[2]、基于双目立体视觉的目标识别定位[3]。

其中双目立体视觉是机器人视觉的一项重要研究内容，在机械制造、智能驾驶、医疗器械等领域应用广一种基于双目视觉和Halcon 的高效机器人手眼标定方法程强1，2，黄河1，2，许静静1，2，李江晗3，李迎1，2，张涛1，2（1.北京工业大学先进制造与智能技术研究所，北京100124；2.北京工业大学先进制造技术北京市重点实验室，北京100124；3.东北农业大学电气与信息学院，黑龙江哈尔滨150006）摘要：针对机器人在标定过程中追求快速、简捷、高效的特点，提出一种基于双目视觉和Halcon 的高效机器人手眼标定方法。

基于张正友棋盘格标定法和OpenCV 中亚像素角点检测算法完成对双目相机内外参数的获取，对比运用不同的立体匹配算法和三维重建生成具有三维坐标的立体空间点云，从而得到相机坐标系下目标的位置坐标，之后取机器人坐标下的10组末端位置坐标以及相机坐标系下对应的10组位置坐标后，借助Halcon 视觉软件的vector_to_hom_mat3d 算子求解出相机和机器人坐标系的转换矩阵，完成机器人手眼标定。

经过实验验证，该标定方法平均误差为3.58mm ，满足一般机器人工作要求，并且相比传统的手眼标定无需借助复杂的标定工具，且计算过程简捷高效。

关键词：机器人标定；手眼标定；双目视觉；相机标定；立体匹配；三维重建；实验分析中图分类号：TN911.73⁃34；TP242.3文献标识码：A文章编号：1004⁃373X （2023）13⁃0035⁃08An efficient robot hand⁃eye calibration methodbased on binocular vision and HalconCHENG Qiang 1,2,HUANG He 1,2,XU Jingjing 1,2,LI Jianghan 3,LI Ying 1,2,ZHANG Tao 1,2(1.Institute of Advanced Manufacturing and Intelligent Technology,Beijing University of Technology,Beijing 100124,China;2.Beijing Key Laboratory of Advanced Manufacturing Technology,Beijing University of Technology,Beijing 100124,China;3.School of Electrical and Information,Northeast Agriculture University,Harbin 150006,China)Abstract ：In view of the robot′s pursuit of fast,simple and efficient characteristics in the calibration process,an efficient robot hand ⁃eye calibration method based on binocular vision and Halcon is proposed.The acquisition of internal and external parameters of the binocular camera is completed on the basis of checkerboard calibration method proposed by Zhang zhengyou and sub⁃pixel corner detection algorithm in OpenCV.The stereo space point clouds with 3D coordinates,which are generated by different stereo matching algorithms and 3D reconstruction,are contrasted to get the coordinate of the target location under camera coordinate system.With the help of the vector_to_hom_mat3d operator of the Halcon vision software,the transformation matrix of the camera and the robot coordinate system is solved after 10groups of terminal location coordinates under camera coordinate system and corresponding 10groups of location coordinates are obtained.And the robot hand ⁃eye calibration is completed.The results of experimental verification indicate that the average error of this calibration method is 3.58mm,whichcan meet the working requirements of general robots.In comparison with the traditional hand ⁃eye calibration,this calibration method does not need complex calibration tools,and its calculation process is simple and efficient.Keywords ：robotic calibration;hand⁃eye calibration;binocular vision;camera calibration;stereo matching;3D reconstruc⁃tion;experimental analysisDOI ：10.16652/j.issn.1004⁃373x.2023.13.007引用格式：程强，黄河，许静静，等.一种基于双目视觉和Halcon 的高效机器人手眼标定方法[J].现代电子技术，2023，46（13）：35⁃42.收稿日期：2022⁃11⁃07修回日期：2022⁃11⁃23基金项目：国家自然科学基金资助项目（5197050489）35现代电子技术2023年第46卷泛[4]。

双目立体视觉问题2008-10-30 20:24双目立体视觉的研究一直是机器视觉中的热点和难点。

使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。

因此双目立体视觉系统可以应用在多个领域。

现说明介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率。

双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。

双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。

双目立体视觉系统在机器视觉领域有着广泛的应用前景。

HALCON是在世界范围内广泛使用的机器视觉软件。

它拥有满足您各类机器视觉应用需求的完善的开发库。

HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。

HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi语言访问。

另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。

一．双目立体视觉相关基本理论说明1．1 双目立体视觉原理双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。

摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。

事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。

左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。

使用halcon相机标定初始值确定富士伺服富士伺服初始参数是0.0195,注意halcon里单位是m k是畸变系数，可以初始为0 sx和sy是相邻像元的水平和垂直距离，1/4"可以查得分别宽和高尺寸是3.2和2.4mm，用320×240去除，得到sx和sy分别是0.01mm，那么应该初始为sx=1.0e-005和sy=1.0e-005,Cx和Cy分别是图像中心点行和列坐标，可以初始化为160和120，最后两个参数是ImageWidth和ImageHeight直接就用320和240。

Halcon 摄像机标定流程摄像机分两种，一种是面扫描摄像机（Area Scan Camera），一种是线扫描摄像机（Line Scan Camera）。

准确来说，叫摄像机系统比较正确。

所谓的面扫描摄像系统是指可以通过单纯曝光取得面积影像，而线扫描摄像机，必须利用运动速度才能取得影像。

两种不同的摄像系统由于成像的过程有区别，所以标定的过程也有区别，这里仅讨论面扫描摄像系统。

流程如下：1、初始摄像机参数：startCamPar：＝[f,k,Sx,Sy,Cx,Cy,NumCol,NumRow]f 焦距k 初始为0.0Sx 两个相邻像素点的水平距离Sy 两个相邻像素点的垂直距离Cx、Cy 图像中心点的位置NumCol NumRow图像长和宽2、caltab_points读取标定板描述文件里面描述的点到X[],Y[],z[],描述文件由gen_caltab生成。

3、fin_caltab找到标定板的位置4、find_marks_and_pose 输出标定点的位置和外参startpose5、camera_calibration输出内参和所有外部参数到第五步时，工作已经完成了一半，计算出各个参数后可以用map_image来还原形变的图像或者用坐标转换参数将坐标转换到世界坐标中。

halcon手眼标定例程详解Halcon手眼标定例程介绍本文将详细解释Halcon手眼标定例程的相关内容。

手眼标定是一种重要的计算机视觉技术，用于确定相机和机器人末端执行器之间的关系，从而实现准确的机器人视觉定位和姿态控制。

步骤以下是进行Halcon手眼标定的典型步骤：1.提前准备：确保相机、机器人和标定物之间存在良好的通信和连接。

确定标定物的大小和形状，选择合适的标定方法。

2.数据采集：在机器人的工作空间内，通过控制机器人探针或相机进行一系列的位姿采集。

位姿采集应尽可能覆盖工作范围内的不同姿态。

3.数据处理：将采集到的位姿数据导入Halcon软件中，使用相应的图像处理算法提取特征点，并关联每个特征点对应的机器人末端执行器位姿。

4.标定计算：通过使用Halcon的标定工具，根据采集到的位姿数据计算出相机和机器人末端执行器之间的变换矩阵。

5.验证和调试：使用标定得到的变换矩阵进行机器人视觉定位和姿态控制，进行验证和调试，确保标定结果的准确性和可靠性。

6.维护和更新：当环境、设备或应用需求发生变化时，需要重新进行手眼标定。

定期维护和更新手眼标定以确保系统的精度和性能。

注意事项在进行Halcon手眼标定时，需要注意以下几点：•标定物的合适性：标定物应具有高对比度、明确的特征和稳定的形状，以便于特征点的提取和匹配。

•位姿采集的准确性：机器人末端执行器位姿采集应准确无误，采集时要注意避免姿态重叠或重复采集的情况。

•数据处理的稳定性：在处理位姿数据时，要注意选择合适的图像处理算法和参数，保证特征点的稳定性和准确性。

•标定计算的可靠性：使用Halcon标定工具时，要选择合适的标定算法和参数，并进行恰当的结果验证和分析，确保标定结果的可靠性和准确性。

•维护和更新的及时性：定期检查和更新手眼标定，特别是在环境、设备或应用发生变化时，要及时进行标定更新，以确保系统的稳定性和性能。

结论Halcon手眼标定例程是实现机器人视觉定位和姿态控制的重要工具。

Halcon-标定双目立体视觉系统1.caltab_points( : :CalTabDescrFile:X,Y,Z)从标定文件中读取标定板坐标系中的标定点坐标2.binocular_calibration( : :NX,NY,NZ,NRow1,NCol1, NRow2,NCol2,StartCamParam1,StartCamParam2,NStartPose1, NStartPose2,EstimateParams:CamParam1,CamParam2, NFinalPose1,NFinalPose2,RelPose,Errors)计算立体视觉系统的所有参数参数:NX,NY,NZ：标定点坐标数组；NRow1,NCol1,NRow2,NCol2：标定点的图像坐标数组；StartCamParam1,StartCamParam2：相机1，2的初始内参数；NStartPose1,NStartPose2：标定板在相机1，2的初始位姿；EstimateParams：选择将被计算的相机参数；CamParam1,CamParam2：计算得到的相机1，2的内参数；NFinalPose1,NFinalPose2：所有标定模型在摄像机坐标系中的位姿数组；RelPose：相机2相对于相机1的位姿；Errors：像素距离的平均错位率；3.check_epipolar_constraint(ImageRectifiedL, ImageRectifiedR: :RectCamParL,RectCamParR,WindowHandle1, WindowHandle2:EpipolarError)内部程序，检查并显示极线约束4.gen_binocular_rectification_map( :Map1,Map2: CamParam1,CamParam2,RelPose,SubSampling,Method, MapType:CamParamRect1,CamParamRect2,CamPoseRect1, CamPoseRect2,RelPoseRect)产生变换映射，该映射描述了左右相机对到图像校正后的基平面之间的映射。

halcon双目测距原理Halcon是一款强大的计算机视觉开发平台，广泛应用于工业自动化、机器人、品质检测等领域。

在其中，双目测距作为一项重要的技术，被广泛应用于三维重建、机器人导航、物体检测和位置定位等方面。

双目测距是指通过两个相互平行的相机，通过分析相机拍摄到的物体图像之间的位移关系，在图像上计算出物体的三维坐标。

这样的技术有助于解决单目视觉无法准确估计物体大小和深度的问题。

双目测距的原理主要基于视差法，即通过对比左右两幅图像上的像素颜色值差异来计算物体的深度。

视差是指在双目摄像头所拍摄的图像中，同一物体在左右两幅图像上的像素点之间的水平偏移量。

根据视差，可以通过三角测量原理推导出物体的距离。

在识别物体之前，首先需要进行立体标定。

立体标定是根据摄像机内外参数来对两个相机进行标定，以便后续的深度计算。

求解相机的内外参数可以通过标定棋盘格的方法进行。

标定棋盘格时，需要将棋盘格放置在不同位置，并利用两个相机分别拍摄图像。

通过分析棋盘格图像上的角点坐标，可以求解出摄像机的内参矩阵、畸变参数和外参矩阵。

在标定完成后，可以开始进行双目测距的计算。

首先，通过两个相机同时拍摄同一场景的图像，得到左右两幅图像。

然后，通过立体匹配算法，在两幅图像之间搜索对应的像素点。

立体匹配算法可以分为区域匹配算法和特征匹配算法两种。

区域匹配算法是基于图像亮度的像素级匹配。

该算法首先选取一定大小的区域，在左图像上找到对应的右图像的区域，并计算两个区域之间的亮度差异。

通过找到使亮度差异最小的区域，确定两个像素点之间的匹配关系。

特征匹配算法是基于图像特征的点级匹配。

该算法通过检测图像中的特征点，如角点、边缘点等，然后在两幅图像中寻找对应的特征点。

通过特征点之间的关系，确定两个像素点之间的匹配关系。

在确定了左右图像上的匹配关系后，可以计算视差。

视差的计算可以通过像素级或子像素级的方法进行。

像素级的视差计算是将图像上的像素点直接的水平偏移量作为视差值，而子像素级的计算则是通过对比两个像素点之间的灰度值的差异，来对视差进行精确的估计。

基于HALCON的双目立体视觉工件尺寸测量张如如;葛广英;申哲;秦腾飞;董腾【摘要】In order to achieve the precision measuring for the mass production of parts dimensions.A real-time measurement system for parts dimensions based on the principle of binocular stereo vision parallax is designed.The system acquires two real-time images of parts from different angles through two industrial digital cameras,and then acquire the regions of interest of two images after a series of pretreatments based on HDevelop development environment of machine vision software HALCON.A sub-pixel edge detection based on Canny,edge thinning,least square method based on atukey weight function to fit edge and edge uniform picking algorithm are proposed to obtain accurate edge feature points,and an non-contact binocular vision measurement method combining binocular measurement system calibration,stereo correction,stereo matching of polar constraints combining with gray correlation,world coordinate transformation and geometric calculation for size measurement.Through a large number of experiments show that this method can effectively obtain the 3D coordinate value of parts feature points,high precision real time inspection of key parts of parts without external measuring instruments,the measuring accuracy is above plus or minus 0.2 mm.Simple and fast,the proposed method has a good accuracy and real-time.%为了实现对大批量生产工件尺寸的精密测量,该文基于双目立体视觉视差原理,设计了一种工件尺寸实时测量系统;系统通过两个工业数字摄像头实时采集工件不同角度的两幅图像,并基于机器视觉软件HALCON的HDevelop开发环境,对两幅图像进行相关预处理,获取感兴趣区域;提出一种基于canny的亚像素边缘检测、边缘细化、基于atukey权重函数的最小二乘法边缘拟合及边缘均匀取点算法获取精确的边缘特征点,并通过双目系统标定、立体校正、极线约束与NCC 相结合的立体匹配、世界坐标转换、几何计算相结合的非接触式双目视觉方法进行尺寸测量;通过大量实验证明,该方法可有效地获取工件特征点的三维坐标值,不借助外部测量仪器实现工件关键尺寸的高精度实时检测,检测精度达士0.2 mm以上,简单快捷,具有较好的准确性和实时性.【期刊名称】《计算机测量与控制》【年(卷),期】2018(026)001【总页数】5页(P59-63)【关键词】双目立体视觉测量;系统标定;特征点提取;立体匹配;Halcon【作者】张如如;葛广英;申哲;秦腾飞;董腾【作者单位】聊城大学物理科学与信息工程学院,山东聊城252059;山东省光通信科学与技术重点实验室,山东聊城252059;聊城大学物理科学与信息工程学院,山东聊城252059;山东省光通信科学与技术重点实验室,山东聊城252059;聊城大学物理科学与信息工程学院,山东聊城252059;山东省光通信科学与技术重点实验室,山东聊城252059;聊城大学物理科学与信息工程学院,山东聊城252059;山东省光通信科学与技术重点实验室,山东聊城252059;聊城大学物理科学与信息工程学院,山东聊城252059;山东省光通信科学与技术重点实验室,山东聊城252059【正文语种】中文【中图分类】TN919.80 引言随着先进制造业自动化生产技术的发展，对在线测量技术提出了更高的要求。