基于激光双目视觉的接缝三维重建
- 格式：pdf
- 大小：186.68 KB
- 文档页数：4
收稿日期：2005-06-03
基金项目：江苏省青蓝工程学科带头人基金资助项目；江苏省自然科学基金资助项目（BK2006570）
基于激光双目视觉的接缝三维重建王克鸿，曹慧，刘永，张德库（南京理工大学材料科学与工程系，南京210094）
摘要：设计研制了结构激光双目视觉传感器，该传感器加入结构激光，很好地解决了立体视觉中对应点的匹配问题。利用该传感器采集接缝图像，开发了图像采集处理程序，实现接缝图像处理和特征分析，识别并提取了二维平面上接缝特征点的图像坐标。采用MATLAB软件实现了三维重建标定算法，根据双目视觉原理，由接缝特征点的图像
坐标计算出其三维坐标，进行了三维重建，抽取了接缝三维几何尺寸、坡口类型、角度、间隙等焊接特征信息。关键词：接缝重建；双目视觉；三维重建；图像处理；结构激光视觉中图分类号：TG741.2TG409文献标识码：A文章编号：0253-360X（2006）08-001-04
王克鸿
0序言弧焊机器人在车辆、兵器、钢结构、船舶等大型构件领域的应用越来越广泛，但目前普遍使用的示教再现型弧焊机器人对大型厚大工件的示教需占用大量生产时间，操作不便且示教质量较难保证，因而研究接缝结构和参数自动识别等机器人智能化技术是十分必要和迫切的。以视觉系统为传感器的弧焊机器人，可以先通过识别接缝二维图像，由接缝二维图像重建其三维信息，再根据接缝三维信息结合焊接CAPP（计算机辅助工艺规划）技术生成机器人的
焊接程序，实现机器人在线智能焊接。就视觉系统而言，虽然相关领域已有较多的研究工作，但三维视觉的问题仍未很好解决［1］。文中采用条形激光和双
CCD（电荷耦合器件）组成双目视觉系统，并采用该系统研究接缝坡口参数的特征提取三维重建技术。
1双目视觉原理及设计思路假设空间任意点P由摄像机C1和C2拍摄的
两幅图像上的图像点P1和P2已经从图像中分别找出，即已知P1和P2为空间同一点P的对应
点［2］。并且假设摄像机C1和C2的投影变换矩阵
分别为!1和!
2。根据摄像机成像的线性理论可得
"c1u1v11=!1XYZ1=m111m121m131m141m211m221m231m241m311m321m331m341XYZ1，（1）
"c2u2v21=!2XYZ1=m112m122m132m142m212m222m232m242m312m322m332m342XYZ1，（2）式中：（u
1，v1，1）与（u2，v2，1）分别为P1点与P2点
在各自图像中的图像齐次像素坐标；（X，Y，Z，1）为
P点在世界坐标系下的齐次坐标；mki，j（其中k=1，2；i=1，2，3；j=1，2，3，4）分别为C1和C2的投影变
换矩阵的第i行和第j列元素。消去Z
c1和Zc2
，得到关于X，Y，Z的四个线性
方程组成的方程组
（u1m311-m111）X+（u1m321-m121）Y+（u1m331-m131）Z=m141-u1m
34
1，
（v1m311-m211）X+（v1m321-m221）Y+（v1m331-m231）Z=m241-v1m341。（3）（u2m312-m112）X+（u2m322-m122）Y+（u2m332-m132）Z=m
142-u2m34
2，
（v2m312-m212）X+（v2m322-m222）Y+（v2m332-m232）Z=m242-v2m342。（4）
由于空间点P是O1P1与O2P2的交点，它应同时满足式（3）与式（4）。因而可求出P点的坐标（X，Y，Z）。文中设计研制的双目视觉传感控制系统如图1
所示，激光二极管发出650nm的线性条形激光，视
第27卷第8期2006年8月焊接学报
TRANSACTIONSOFTHECHINAWELDINGINSTITUTIONVol.27No.8
August2006图1双目视觉传感控制系统示意图Fig.1SchematicconfigurationofBinocuIarvisioninrobot
觉传感器的两个CCD分别采集接缝激光条图像，由图像采集卡输入主计算机，经图像处理软件后得到接缝特征点的图像坐标，利用三维重建算法计算接缝特征点的三维坐标，从而重建接缝，计算得到接缝的坡口尺寸信息，并由工艺规划系统根据接头设计工艺及规范传给机器人控制器，具体信息传输框图如图2所示。
2接缝图像处理与摄像机标定结构激光双目视觉传感器技术指标如下，光源：650nm的线状结构激光；CCD摄像机：近红外MTV-1881EX，分辨率为512×512×8bit；镜头：焦距12mm的日本精工镜头；光学系统：复合窄带滤光减光片；图像采集卡：大恒公司的DH-CG400。采用Visu-
alC++6.0在Windows2000系统平台上开发了图像采集与处理系统。以60ºV形坡口为例，CCD1，CCD
2
采集到的图像分别如图3、图4所示。
图2总体思路框图Fig.2FIowchartofsystemdesign
图3CCD1采集的图像Fig.3ImageofCCD1
图4CCD2采集的图像Fig.4ImageofCCD2
激光双目视觉传感器不是直接采集接缝图像，而
是采集结构激光在工件接缝上的反射光。利用典型接缝的光条特征即激光条的吩应变形，能方便地匹配变形激光条的拐点，即匹配接缝的特征点，解决了双目视觉中对应点的匹配问题。先对采集到内存的接缝图像进行预处理（如平滑、滤波、锐化、二值化等），滤除噪声干扰信息，再经过轮廓提取和细化得到结构激光条的中心线，进而得到接缝特征点的图像坐标，并进行接缝图像的分析和识别，获得焊缝接头的特征信息，包括接头类型、坡口角度及间隙等。文中传感器的结构参数为：CCD镜头距离工作
平台高度h=248mm；两个CCD间距为93mm；激光器到工作平台垂直高度为105mm；激光器与工作台平面法向的夹角为65º；激光器投射激光到标定物体的长度为100mm；在该传感器结构参数下标定［3］得到CCD1的投影矩阵!1和CCD2的投影矩阵!2为
2焊接学报第27卷!1=-3.9585-0.0293-1.5403179.6258-0.0402-3.2604-1.1740476.8867-1.3229×105-6.8134×104-0.00541，!2=-4.64460.0037-1.2002475.7100-0.0902-3.4783-0.7968497.6699-3.9650×10-4-2.2195×10-5-0.00401。3接缝的三维重建和坡口尺寸提取以间隙为4mm的60ºV形接缝为例，其接缝特征点如图5所示。采集接缝图像，经过图像处理得到六个特征点b，c，d，e，f，g的图像坐标（u，v）、（i，j），并根据两个CCD的投影矩阵得到对应特征点的世界坐标值，如表1所示。
图5接缝特征点示意图Fig.5SchematicconfigurationofweIdfeature表1有间隙60ºV形图像坐标及计算得到的世界坐标TabIe1WorIdcoordinatecaIcuIatedbyimageof60ºVweId
时刻CCD1拍摄图像特征点图像坐标CCD2拍摄图像
特征点图像坐标计算得到世界坐标
uvijXYZ
1b112234091016.2758137.568510.2964c18266469562.1863126.67651.8502d18378468692.1320123.24340.0903e2037748970-2.5185122.99670.3848f2016548957-2.1913126.41242.2461g2612255815-15.7594137.030610.0567
2b113464103616.0274130.507710.1294c18189469802.2130119.80522.1705d183101469921.9315116.62070.3792e20310148981-2.6390116.4752-0.1990f2018948981-2.3079119.66201.6895g2604655841-15.7815129.827810.0743
3b113734105915.9894124.25589.9243c1821154711031.7788113.25392.3643d1831274691141.8287110.3770-0.1685e202127489115-2.6320110.1344-0.0358f200115489102-2.2991113.65321.8565g2607055960-16.0203124.570910.0662采用UG软件根据特征点的世界坐标值绘出接缝的三维形状，如图6所示，通过与实际接缝三维信息比较得出重建的接缝三维形状板厚和钝边高度在z方向上最大误差在±0.5mm以内，在x、y方向上得到的各个特征点的（X，Y）坐标误差在1mm以内。由接缝特征点的三维坐标可精确计算出接缝的坡口尺寸。计算可得到，该V形接缝坡口角度约为
60.29º，其中bc边倾斜角度为29.17º，gf边倾斜角度为30.24º，钝边高度为2.2mm，工件板厚为10.05mm，坡口间隙为4.536mm。
图6采用uG绘出的接缝三维图Fig.6Reconstructed3DmodeIofweIdingseambyuG
对其它几种典型接缝进行了三维重建［4］，分别绘出其三维图，如图7所示。
第8期王克鸿，等：基于激光双目视觉的接缝三维重建3
