用BP神经网络构成三维视觉测量系统的新方法

收稿日期:2001-12-17.作者简介:吕乃光(1944-),男,教授;北京:北京机械工业学院电子信息工程系(100085).基金项目:北京市教育委员会科技发展计划资助项目(99K J43).用BP 神经网络构成三维视觉测量系统的新方法吕乃光 冯 迪 邓文怡 桑新柱(北京机械工业学院电子信息工程系)摘要:提出一种基于人工神经网络的新的三维视觉测量方法.建立在三角测量原理上的传统的三维立体视觉测量技术会带入成像畸变非线性误差,这种新方法可以消除非线性因素的影响.采用正弦函数作为传递函数加快了网络的训练速度,提高了学习精度,对空间点位和尺寸测量的结果验证了方法的可行性.对影响系统测量精度的因素进行了讨论,并与传统立体视觉测量方法进行了比较.关 键 词:三维测量;三维视觉;人工神经网络中图分类号:T P391.41 文献标识码:A 文章编号:1671-4512(2002)05-0019-03传统的立体视觉方法基于三角测量原理,在考虑到透镜的径向、切向畸变后,该方法将带来很复杂的非线性系统误差[1,2].本文提出的基于神经网络[3]的立体视觉系统方法,是一种新的研究方法,不仅能在一定程度上消除非线性因素的影响,而且降低了对系统的要求.训练好的网络几乎可以进行实时测量,获取物体的三维信息.该方法是对非接触、大尺寸物体实时测量的立体视觉系统研究方法的有益探索.1 系统原理若忽略透镜畸变影响,立体视觉是基于小孔成像原理的.从三维物空间到二维像空间是一个投影变换关系,通过两个摄像机,由投影逆变换可以从两幅二维图像中获得物体的三维信息.考虑透镜径向、切向畸变等非线性因素后,这一问题将变成一复杂的非线性方程求解问题.基于人工神经网络的立体视觉系统就是用三层前向型BP 网络来模拟物、像对应关系,而畸变、环境因素所带来的非线性误差都将通过网络的学习被分散到各神经元之间的连接权值上,当网络的输出值与学习样本值的均方误差满足系统精度要求时,即可认为学习成功.对于学成的网络可通过其自回忆功能进行实时的物体三维信息获取工作.本研究选用三层前向型BP 网络,输入矩阵为两摄像机的二维像面坐标,输出矩阵为物体的空间三维坐标.神经元的输入X i 都赋以权值矩阵W 中的相应权值,加权的输入和经传递函数f 作用得到输出矩阵Y ,即Y kj =fiW ij X ki.(1)按网络输出均方误差最小原则进行权值修正,误差函数为E k =12j(Y kj -Y kj )2,(2)式中,Ykj 表示第k 个训练模式输出节点j 的期望输出;Y k j 为相应的实际输出.BP 算法的权值修正公式可表示为W i j (t +1)=W ij (t )+ kkj X ki ,(3)式中, kj =(Y kj -Y kj )f (iW ij X ki )(对输出节点); rkr W rj f ( rW i j X k i ) (对输入节点).此外,为了防止一个训练样本转化为另一个样本时,由于开始误差值很大而引起权系数的过调,往往引入一惯性项以减小过调量,因此权值公式又可写成W ij (t +1)=W ij (t)+ kkj X ki +[W ij (t)-W ij (t -1)],(4)式中, 为学习效率; 为动量因子.二者可根据训练情况在0~1之间动态调节.第30卷第5期 华 中 科 技 大 学 学 报(自然科学版) V ol.30 No.52002年 5月 J.Huazhong U niv.of Sci.&T ech.(Nature Science Editio n) M ay 20022 系统组成本系统采用的靶标由一金属平板上伸出的长短不一的等直径金属圆柱体构成,空间范围约为240mm 400mm 130mm,靶点的空间坐标已在三坐标测量机上精确测量.通过前后、左右平移靶标,以获得平移重叠区高的点密度.本视觉系统组成见图1,其中CCD 摄像机用于获取视频图像;图像采集卡,用于将视频信号转换为8bit数图1 测量系统组成示意图字信号;微型计算机,用于图像处理、网络学习和三维信息测量;利用靶标上已知坐标的特征点进行网络训练和测量.靶标放在二维精密移动平台上,沿y 方向移动 10mm ,沿z 方向移动 5mm 后,靶标上四列18个点将变成90个点,除用于验证测量精度的两点,共有88个样本点用于学习,在输出误差满足要求后,认为网络学习成功,其各连接权值调节完毕,之后即可进入测量工作.3 实验3.1 提高BP 网络训练精度和速度的新方法传统的BP 神经网络的传递函数为Sigmoid函数和分段线性函数[3].本实验采用了非线性的正弦函数作为各神经元的传递函数,大大提高了网络的训练精度和收敛速度.函数形式为:y =1sin (x )-1 (x /2);(- /2<x < /2);(x - /2).(5)其修正的一阶导数为:y =0.00009cos (x )0.00009 (x /2);(- /2<x < /2);(x - /2).(6)3.2 学习结果采用88个点进行训练,其中80%的点的误差在x 方向集中在1.1mm 之间,y 和z 方向集中在0.7mm 之间.x 方向点的密度较小,所以误差也较大.图2是x 方向的误差分布曲线.图2 误差曲线3.3 测量结果用经88个空间点训练所得的网络去测量在此空间内未经学习的其他点,测量结果见表1.可以看出,测量精度基本上在学习精度的范围内.同时用网络去测量空间两点的距离,根据空间距离的平移不变性,选择未平移时某两点对角线间的距离(其实际空间距离为238.816mm )进行测量,其在平移的四个位置和原位共五个位置中的测量距离,如表2所示,可以看出距离误差基本与点位误差相当.表1 空间点位测量结果(mm )点号真实值测量值误差(绝对值)x y z x y z | x || y || z |1-0.942199.77075.0260.479200.39175.2371.4210.6210.2112199.787319.49225.960201.035318.83326.3671.2480.6590.4373199.320200.64540.256198.165201.46640.6251.1550.8210.3694-1.366319.21040.217-0.001319.62240.0101.3650.4120.2075199.787329.49225.960198.729329.79026.5221.0580.2980.562表2 空间尺寸测量结果(mm)测量值误差(绝对值)237.9910.825 237.005 1.811 240.269 1.453 238.2470.569240.0911.2754 关于系统精度的讨论对于三维空间点位或距离的测量,影响系统测量精度的主要因素如下.4.1 CCD 摄像机和图像采集卡的分辨率CCD 摄像机和图像采集卡的分辨率对点位20 华 中 科 技 大 学 学 报(自然科学版) 第30卷在空间的测量精度影响较大,应用于测量目的的CCD 摄像机和图像采集卡应尽可能采用高分辨率.但因硬件分辨率造成的像面像点的定位误差可通过软件补偿进一步减小,使其达到亚像素级.4.2 特征点像斑的中心定位在系统学习和测量两个步骤中,CCD 像面上特征点像斑的中心定位精度是影响测量精度的主要原因.特征点像斑边缘的平滑、像斑灰度不均匀、形状不规则以及环境光和电路噪声引起的图像噪声等都影响中心定位精度.通常需要采用图像处理技术对像斑进行边缘锐化等处理,确定像斑中心坐标的算法主要有对称法、几何中心法、能量中心法、二次曲面拟合法等.采用定向反射点(retro -reflective point),用灯光在摄像机处照明,可提高特征点像斑亮度,减少环境光的干扰,提高定心精度.4.3 网络训练样本网络训练样本的空间带宽积应接近测量对象的空间带宽积,即在三维方向上的尺度和采样点密度方面,训练样本应和测量对象相互匹配,相差愈远,测量误差愈大,采样密度的依据是申农抽样定理.4.4 网络算法BP 网络的梯度下降规则要求学习效率足够小,这样才能使网络收敛到全局最小点,但这无疑会大大延长收敛时间.而高的学习效率会导致学习过程产生震荡,在局部小点附近徘徊而难以收敛.可以采用模拟退火法、遗传算法以及各种改进的BP 算法.在实验中发现通过改变网络的传递函数也可显著地提高训练效果.与传统立体视觉测量方法相比较,二者的系统模型不同.传统的视觉测量方法,在标定时确定系统的变换矩阵,是一种基于线性变换的方法.对于光学系统畸变等非线性因素的影响,解决起来比较麻烦.而神经网络系统本质上是非线性动力学系统,因此它在解决非线性映射等问题时表现出相当大的优势.而且网络固有的并行处理能力将使网络的测量速度非常快,可达到实时测量的要求,这是传统立体视觉测量方法无法比拟的.神经网络的三维视觉测量方法目前的缺点主要是所需的训练点数相对较多,训练过程相对较慢.参考文献[1]邓文怡,吕乃光,董明利等.数字摄影测量技术在三维测量中的应用.光电子 激光,2001,12(7):697~700[2]Sid -Ahmed M A ,Borale M T.Dual camera calibrationfor 3-D machine vision metrolo gy.IEEE T ransactions on Instrumentat ion and M easurement.1990,39(3):551~560[3]L u N aiguang,Deng Wenyi.3-D Pr ofile measurementbyusinganartificialneuralnetw ork.SPI E,1998(3558):256~261A new method for 3-D vision measurement systemby the use of BP neural networkL u N aiguang Feng Di Deng Weny i Sang X inz huAbstract:A new method using an artificial neural netw ork for 3-D v ision measurement is presented.The traditional method for 3-D vision measurement based on the principle of trigonometry introduces the nonlin -ear error because of imaging distortion,and the new method can avoid the influence of nonlinearity.The training speed and precision are im proved through the introduction of sine function as transfer function.The experiments have been completed.From the results the feasibility of this method is proved.The factors af -fecting accuracy of measurement system are discussed and the comparison w ith the traditional stereo vision system is presented.Key words:3-D measurement;3-D vision;artificial neural networkLu Naiguang Prof.;Dept.of Electronic Information Eng.,Beijing Institute of M achinery,Beijing100085,China.21第5期 吕乃光等:用BP 神经网络构成三维视觉测量系统的新方法。