文章编号 1004-924X (2000)02-0192-06
工件特征点三维坐标视觉测量方法综述
祝世平1
,强锡富
2
(1.北京航空航天大学第五研究室北京 100083;
2.哈尔滨工业大学计算机科学与电气工程学院自动化测试与控制系,黑龙江哈尔滨 150001)
摘要:针对工件上特征点的三维坐标视觉测量方法进行了综述,其中包括结构光方法、激光自动聚焦法、双目视觉方法、三目视觉方法、单目视觉方法等。对每种方法的特点及其测量精度进行了详细的分析,并介绍了目前的发展及应用现状。
关 键 词:特征点;三维坐标测量;计算机视觉中图分类号:T B92 文献标识码:A
1 引 言
基于计算机视觉方法的检测系统,是指利用CCD 摄像机作为图像传感器,综合运用图像处理、精密测量等技术进行非接触二维或者三维坐
标测量的检测系统。计算机视觉检测方法具有精度高、效率高、自动化程度高、造价较低等优点。用于三维场景信息获取的计算机视觉方法,按照其测量过程中所采用照明方式的不同主要可以分为以下两大类:
1.主动式方法:是指向被测物体发射可控制的光束,然后拍摄光束在物体表面上所形成的图像,通过几何关系计算出被测物体距离的方法。主要可以分为结构光方法和激光自动聚焦法两类。根据投影光束形态的不同,结构光方法又可以分为光点式结构光方法、光条式结构光方法、光面式结构光方法等;
2.被动式方法:是指不向被测物体发射可控制的光束,而根据直接拍摄的物体的图像进行距离测量的方法。主要可以分为双目视觉、三目视觉、单目视觉等方法。
另外,在计算机视觉中用来求取距离的参数还很多,例如纹理、遮挡、光流、阴影等。利用纹理
的方法只能获得物体表面上的点与摄像机光学中
心之间的相对距离,而且要求物体表面有一定的
纹理;利用遮挡的方法所获得的物体表面上的点与摄像机光学中心之间的距离信息只是“在…前面”、“在…后面”、“与…等距”等一些定性的描述;目前利用光流和阴影的研究还很不成熟,用于测量则误差较大。所以在实际的视觉检测中较少采用基于纹理、遮挡、光流以及阴影的四种方法,因而下面的讨论就着重于在视觉检测系统中应用较多的主动式与被动式两种方法。
2 结构光方法
对于没有制作特征点的工件表面,可以用结构光方法形成特征点。特别是对于平坦的、无明显灰度、纹理和形状变化的表面区域,用结构光可形成明显的光条纹,便于作图像分析和处理,这一点对于较平坦表面工件的测量是相适应的。结构光方法还具有计算简单、测量精度较高的优点,因而在实际视觉测量系统中被广泛使用。
结构光方法中由激光投射器和CCD 摄像机共同作为结构光图像传感器,其测量过程主要包括两个步骤:
收稿日期:1999-09-20;修订日期:1999-11-01
第8卷 第2期 光学 精密工程
Vol .8,No .22000年4月
OP T ICS A N D PR ECI SION EN GI NEER IN G
Apr.,2000
第一步:由激光投射器根据测量需要投射可控制的光点、光条或光面结构光到物体表面形成特征点,并由CCD摄像机拍摄图像;
第二步:按物体表面投射光图案的几何形态特征解释投影模式,利用三角法测量原理可求得特征点与CCD摄像机镜头主点之间的距离,即特征点的深度信息。在标定出激光投射器和CCD摄像机在世界坐标系中的空间方向、位置参数后,即可求得特征点在世界坐标系中的三维坐标、下面分别对几种方法进行具体的分析。
2.1 光点式结构光方法
在光点式结构光方法(激光三角法)中,激光器发出的光束投射到被测物体表面上产生一个光点,光点的部分反射光通过摄像机镜头成像在位置敏感器件(PSD)或电荷耦合器件(CCD)的像面上。如果被测物体沿着激光束方向发生位移,则PSD或CCD像面上的像点位置也会随之移动,根据像点的移动距离和经过标定后的激光器与PSD器件或CCD器件之间的相互方向、位置参数,即可求出被测物面的移动距离。作为一种独具特色的非接触式测量方法,它满足在线检测中快速、实时的要求。实用中采用较多的是激光单光点式单三角法测头[1],例如在机器人手眼激光测距传感器中的应用[2]。
为了增大测量范围又不依赖于坐标测量机,可以采用测量头固定而用光线扫描的双三角法装置进行三维曲面轮廓测量。两个CCD摄像机分别与激光束构成一个单三角测量装置,整体则构成对称的双三角测量装置。同时激光束通过扩束聚焦系统成为发散角较小的光束入射到多面体转镜上,利用转镜的旋转实现激光束在被测物面垂直与水平两个方向上的扫描,这样即可完成对整个三维轮廓表面的测量。其测量范围与摄像机镜头的焦距、被测物面对激光的漫反射程度等有关。根据该测量原理所研制的复杂曲面轮廓激光测量系统,在1700mm×1200mm×200mm测量范围内测量精度优于1mm,提高CCD摄像机的定位精度或缩小激光束的直径可以进一步提高测量精度[3]。
Kazuhiro Yoshida研制的功率为1mW、可以在室外对自然景物进行测量的激光测距系统,在5m范围内相对测量误差为2%。该系统由多个(偶数)摄像机和单激光束投射器所组成,以减小匹配错误的可能性。并通过延迟和微分的双信号提取方法,以及脉冲相位微分法从很强的自然光照明背景下提取反射回来的微弱激光信号[4]。
G.C.Bakos等应用轮廓扫描法来克服测量中的“盲区”问题,并建立了一个长距离、非接触、高精度结构光扫描测量系统,在距被测物体约500mm处测量精度为±0.1mm[5]。
Shinichi Tamura等采用两个电流计和迭代搜索法对三维激光扫描系统进行标定,并建立了相应的误差模型。另外该系统采用沿X和Y两方向转动的平面反射镜反射激光光束使之投射到被测物体上,以此获得足够强的激光信号,使得即使在日光直射下也可以进行测量,在1m范围内其相对测量误差小于2%[6]。
2.2 光条式结构光方法
该方法也是基于三角测量原理,但是采用线光源代替点光源,这样可以减少对物体表面的扫描时间,而且通过简单的运算就能够进行图像匹配。文献[7]中利用双目视觉测量原理,采用双光源光切法使整个被测物体均处于结构光场中,从而减少测量“盲区”。另外采用步进电机带动旋转平台,实现对第三维的扫描,可以获取被测物体的全轮廓信息,对实际物体的测量结果表明其相对误差平均值为±0.2%[7]。
美国Perceptr on公司的 D.Gr eer和R. Dew ar指出了利用“金标定靶”与“银标定靶”进行标定的困难,并给出了结构光截面传感器的一种新的标定方法。采用四根半透明的弹性纤维细丝紧固在金属框架上形成四条空间分布呈L型的平行线,其与光截面相交时形成四个目标光点。测量出目标光点在摄像机坐标系中的三维坐标,然后用电子经纬仪测量目标光点在经纬仪坐标系(相当于世界坐标系)中的三维坐标,这样即可求出由摄像机坐标系到世界坐标系的转换矩阵,该方法简单实用,提高了标定精度[8-9]。
Tsugito M ar uy am a等将多光条方法和单光条方法结合起来,减小了多光条方法的匹配难度。该方法用于电子元件生产线上机器人的手眼在线插拔系统,在100mm×100m m范围内,测量精度优于0.2m m,在500mm深度范围内,测量精度优于1m m,测量20个位置所用时间为1.2秒[10]。
K.Araki等采用位置敏感器件PSD作为图像传感器,用转镜实现光条在被测物体上的扫描,在60cm距离处相对测量误差为±0.3%,每幅图像获取与处理的时间为1/32秒[11]。
光条式结构光方法的一种变化形式是采用衍射光栅进行测距[12]。
193
2期 祝世平等:工件特征点三维坐标视觉测量方法综述
2.3 光面式结构光方法
由于光点式结构光方法或光条式结构光方法都需要进行连续扫描才能完成对整个表面的测量,所以降低了测量效率。而如果将编码结构光(光栅式、网格式等)投射到被测物体表面上则无须进行连续扫描测量。根据标定出的摄像机和光投射器的内部几何参数以及外部方向、位置参数和结构光的编码方式,利用三角法即可测量出被测物体表面各点的三维坐标[13-14]。
S.R.Yee采用具有容错机能的平面结构光编码方式对头像模型进行测量,平均测量误差为0.488mm,标准差为0.423m m[15]。P.K. Comm ean和A.Godhw anl采用圆环编码光和多视觉传感器方法对头像模型进行360°圆周测量,避免了由于机械扫描过程而降低测量效率和引入测量误差的问题,提高了数据采集与处理的速度(数据采集时间少于1s,数据处理时间少于2min),同时给出了多视觉传感器测量系统的详细结构设计方案以及摄像机和光投射器的标定方法。该系统在330mm范围内测量误差小于0. 25m m[16-17]。
Z.Chen等应用相互垂直网格的编码结构光测量半径35m m、高度125mm的圆柱体,半径平均相对测量误差为4.16%,高度平均相对测量误差为3.5%[18]。
M inoru Ito等提出了投射空间TCP(A Three-Level Checkerboard Pattern)模式编码光面的测量方法,同时给出了摄像机和光投射器的快速、准确的标定方法。在距离摄像机0.8m处,相对测量误差为0.2%,整个测量与标定工作所用时间为40秒[19]。
文献[20]中用于Audi-100轿车白车身检测的在线视觉检测系统,采用光条结构光法和网格结构光法分别构成轮廓传感器和表面传感器完成对车身侧围的测量,取得了令人满意的结果。2.4 采色结构光法
K.L.Boyer等提出了基于彩色编码的光条结构光方法,由于采用彩色结构光编码,简化了编码光的识别与匹配过程,提高了测量效率和精度[21]。
3 激光自动聚焦法
T.Akuta等研制了新的采用自动调焦控制原理的三维形状测量系统,该系统由激光光点投射器、快速响应的Z轴伺服控制工作台以及安装在其上的高灵敏度位置敏感器件(PSD)聚焦探测装置所组成。测量时用PSD聚焦探测装置拍摄光点图像并使之相对于光点始终处于聚焦位置,即保持PSD聚焦探测装置到光点的距离为常量,并通过Z轴伺服控制工作台的位移量反映到被测物体表面的高度变化。在与量块的比对测量中,该系统在50m m高度范围内测量精度为±4 m,标准偏差( )为2 m,测量20,000个点所需时间为20m in[22]
文献[23]中基于激光自动聚焦测量原理,提出了用激光自动聚焦测头代替坐标测量机的接触式测头,以实现快速、精密、非接触三维形状连续扫描的测量系统以及变扫描速度控制算法。测量系统中激光测头安装在Z轴上,采用模拟位置敏感(相敏检测)线路作为Z轴伺服机构的误差传感器。CNC控制系统每20毫秒检测一次激光测头的焦距变化,并根据这一变化量控制Z轴运动(自动聚焦)使相敏检测器输出为零,即始终保持测头与被测物体表面光斑的距离(焦距)不变。应用该系统扫描测量一个 60mm的标准球面,测量精度为±6 m,标准偏差( )为2 m,最大测量速度为3000点/min,适应被测面角度变化为0°～65°。此外,该系统对四种汽车样车及其主模型进行了实测,以较高的效率获得了满意的型面、轮廓线和特征线尺寸的测量结果,满足了汽车制造业实际生产的需要。
4 双目视觉方法
双目视觉方法是人类获取距离信息的主要方式,属于被动式的视觉方法。该方法根据立体视差进行测距,所谓立体视差就是被测点在左、右摄像机CCD像面上成像点位置的差异。设x
PL和x
PR 分别是被测点在左、右摄像机CCD像面坐标系中的X轴坐标(坐标原点取为CCD像面中心),x
PL +x
PR相当于P点在左、右摄像机CCD像面坐标系中X方向的视差(设x
PL和x
PR均为标量),b表示左、右摄像机镜头中心之间的距离,v表示像距,则物距u可由下式得到[24]
u=
b v
x
PL+x
P R
(1)双目视觉方法的测量过程可以分为如下几步:
1)从左(或右)图像中选出某些特征点;
2)找出它在右(或左)图像中的匹配点,这个
194
光学 精密工程 8卷
过程一般称为立体匹配;
3)根据以上点对匹配关系,就可以计算出匹配点在摄像机坐标系中的空间三维坐标;
4)由于在第三步中只能计算出匹配点的三维坐标,对于其它点则需要用插值的方法来获得。
立体匹配问题始终是双目视觉测量的一个主要难点所在,国内外众多学者对此进行深入而持久的研究,提出了大量的匹配算法并进行了实验验证。例如利用外极线约束、相容性约束、唯一性约束、连续性约束、形状连续性约束、偏差梯度约束等约束条件减小匹配搜索范围和确定正确对应关系的原则,以及很有影响和代表性的MPG匹配方法和多通道结构匹配方法[25]。
M.Herman提出了多视点匹配算法,首先利用局部性质进行初步匹配,然后利用Waltz滤波过程获得拓扑约束,最后根据拓朴和几何约束进行树型搜索而获得全局的最后匹配点[26]。
J.Y.Weng采用窗口傅立叶变换相位曲线(WFP)作为匹配特征,采用适合于并行处理的神经网络方法进行匹配,减少了匹配错误和迭代次数,提高了匹配速度和准确度[27-28]。Y.N.Zhang 将分割和匹配两个相对独立的过程结合起来,用分割技术减小匹配过程中的不确定性,并以中间匹配结果帮助分割,这样多次反复进行,由粗取精,最后再考虑各种约束条件进行全局匹配。该方法为将不同的视觉方法相结合而解决复杂、困难的匹配问题提供了一个有指导意义的研究方向。[29]。
S.B.Marapane等提出的M PH匹配算法,基于多层次、多匹配特征元素并利用分级控制策略,从而优于单层次、单匹配特征元素的匹配算法,该算法的匹配正确率为85%～100%,深度测量误差小于2%,其标准差为1.68%[30];类似地,S.D. Cochran等综合“区域”和“特征”作为匹配特征元素,取得了96.27%的匹配正确率[31]。
T.Kanade等提出了基于自适应地选择模板窗口形状、大小的迭代匹配算法,该算法为每一个像素选择一个窗口,在视差估计不确定性最小的意义下,通过对窗口内灰度以及视差变化的评价,利用统计模型对窗口进行优化。该算法是完全局部化算法,不包含全局优化,相对于固定模板尺寸的算法具有灵活和自适应的优点[32]。
此外,还有基于金字塔图像结构的匹配算法、多方向通道的立体匹配算法、基于小波变换相位基元的立体匹配算法、应用图像分形特征的匹配算法等。
目前也有不少实际应用的双目视觉测量系统,例如Y.C.Kim的双目视觉方法以零交叉点作为匹配特征,采用松弛方法进行匹配,经过4次迭代90%的点被匹配,经过7次迭代98%的点被匹配,在300cm距离处测量误差为2.6cm,在700cm距离处测量误差为31.9cm[33]。
S.F.El-Hakim等给出了基于双目视觉原理的VCM多视觉传感器三维坐标自动测量系统,在30cm×30cm×20cm的测量空间内其测量精度为8 m,均方根误差(RM S)为13 m[34]。
鉴于立体匹配的复杂性,可以利用双目影像各自独立形成的光流求解空间物体的运动参数,避免了在基于立体匹配的运动分析方法中进行精确匹配带来的困难[35]。另外利用并行立体摄像机产生的图像流作为输入,通过求解系数由图像速度矩和两图像内坐标构成的线性系统方程式,不需要知道左、右两幅图像流场间特征点与特征点的对应关系就可以求解物体的3-D运动参数[36]。
5 三目视觉方法
引入三目视觉方法的主要目的是为了增加几何约束条件,减小双目视觉中立体匹配的困难,但结构上的复杂性也引入了测量误差,降低了测量效率,所以在实际测量中应用较少[37-38]。
6 单目视觉方法
单目视觉方法只采用一个摄像机,所以结构简单,相应的对摄像机的标定也较为简单,同时避免了双目视觉中立体匹配的困难。单目视觉方法又可以分为聚焦法和离焦法:
1)聚焦法:就是使摄像机相对于被测点处于聚焦位置,然后根据透镜成像公式可求得被测点相对于摄像机的距离。摄像机偏离聚焦位置会带来测量误差,寻求精确的聚焦位置是关键所在[39]。
2)离焦法:这种方法不要求摄像机相对于被测点处于聚焦位置,而是根据标定出的离焦模型计算被测点相对于摄像机距离。这就避免了由于寻求精确的聚焦位置而降低测量效率的问题,但离焦模型的准确标定是该方法的主要难点[40]。
195
2期 祝世平等:工件特征点三维坐标视觉测量方法综述
参考文献:
[1] 张吉华等.激光三角法轮廓测量[J].天津大学学报,1995,28(2):265-269.
[2] 王晓东.空间机器人激光测距传感器系统的研制[D].哈尔滨:哈尔滨工业大学博士学位论文:1995.[3] 唐朝伟等.三维曲面激光精密测量技术[J ].计量学报,1994,15(2):99-103.
[4] Y oshida K ,et al .La ser T r iangulatio n R ang e Finder A vailable U nder D irect Sunlight[C].P ro c.of the 1988IEEE
I nter natio nal Co nf .on Ro botics and Auto -mat ion ,1988:1702-1708.[5] Ba ko s G C,et al .L o ng distance non-co nt act hig h precisio n measurements [J ].Inter nat ional Jour nal of
Electr o nics,1993,75(6):1269-1279.
[6] T amura S ,et al .Er r or co rr ectio n in laser scanner thr ee -dimensional measur ement by tw o -a xis mo del and coar se -fine par ameter sear ch[J].Patt ern Reco gnition,1994,27(3):331-338.
[7] 陈伟民等.双光源光切法三维轮廓测量的误差分析[J ].仪器仪表学报.1996,17(2):149-153.
[8] G reer D.O n-L ine machine vision sensor measur ements in a co or dinate system [C].P ro c.of SM E Ro bots 12and
V ision ′88,Detr oit,M icig an,June 5-9,1988,1(5):43-50.
[9] Dewar R .Self -g enerated targ ets fo r spa tial calibra tio n of structured -lig ht o ptical sectio ning sensor s w ith respect t o
an ext ernal co or dinate system [C].Pr oc.of SM E R obot s 12a nd V isio n ′88,Detr oit,M ichiga n,June 5-9,1988,1(5):13-21.
[10] M ar uyama T ,et al .Hand -ey e sy stem w ith thr ee -dimensional v ision and micr og ripper f or handling flex ible w ir e
[J].M a chine V ision and A pplications,1990,3(4):189-199.
[11] A raki K ,et al .A hig h -speed and continuous 3D measurement system [J ].M achine V isio n and A pplications .
1995,8(2):79-84.
[12] Dew it t T D,et al .Rang e-finding metho d using diffraction gr ating s[J].Applied Optics,1995,34(14):2501-2521.
[13] Bha tna gar D ,et al .Stat ic scene analysis using str uct ur ed light [J].Imag e and V ision Co mputing,1991,9(2):82-87.
[14] M ar uy ama M ,et al .R ange sensing by pr ojecting mult iple slit s w ith random cuts [J ].IEEE T r ans o n Patt ern
Analysis and M achine Intellig ence,1993,15(6):647-651.
[15] Yee S R ,et al .T hr ee -dimensional imag ing sy stem [J ].O ptica l Engineer ing ,1994,33(6):2070-2075.
[16] Commean P K ,et al .G eomet ric design of a multisensor str uct ur ed lig ht r ange digitizer [J].O pt ical Engineer ing ,
1994,33(4):1349-1358.
[17] Go dhw anl A ,et al .Calibr atio n of a multisensor str uctur ed lig ht r ang e scanner [J ].O ptical Eng ineering ,1994,
33(4):1359-1367.
[18] Chen Z ,et al .M easur ing 3-D lo catio n and shape paramet ers of cy linder s by a spatial enco ding technique [J ].
IEEE T rans.o n Robo tics and A utomat ion,1994,10(5):632-647.
[19] Ito M ,et al .A t hr ee-level checker boar d pat tern (T CP )pr ojection metho d for cur ved surface measur ement [J].
Patter n Recog nition ,1995,28(1):27-40.
[20] Zo u D H,et al .Str uctur ed-lighting sur face senso r and its calibr atio n[J].Optica l Eng ineering,1995,34(10):
3040-3043.
[21] Bo yer K L ,et al .Co lo r -enco ded str uctur ed lig ht for rapid activ e ra ng ing [J ].IEEE T r ans .on P atter n A nalysis
and M a chine Intelligence,1987,9(1):14-28.
[22] A kuta T ,et al .D evelopment of an auto matic 3-D sha pe measuing system using a new auto -focusing method [J ].
M eausrement,1991,9(3):98-103.
[23] 吴晓峰.激光自动聚焦三维形状测量系统的研究[J].仪器仪表学报.1996,17(2):129-131.
[24] Shan Y C ,et al .A new technique to ext ract r ang e infor mation fro m st ereo images [J ].IEEE T r ans .on Patt ern
A nalysis and M achine Intelligence,1989,11(7):768-773.
[25] 吴立德.计算机视觉[M ].上海:复旦大学出版社,1993.
[26] Herman M .M atching three-dimensional sym bo lic descr iptions o btained fr om multiple v iew s o f a scene[C].IEEE
Computer So ciety Co https://www.doczj.com/doc/5e7002042.html, puter Vision and Patter n Recog nition,1985.585-590.
[27] W eng J Y .A theor y o f im age m atching [C ].IEEE Co mputer Society Co nf .Co mputer V isio n and Patt ern
196 光学 精密工程 8卷
Recg nitio n .1990.200-209.[28] W eng J Y,et al .M a tching tw o per spectiv e view s [J ].IEEE T r ans.on Pat tern A naly sis and M achine
Intelligence,1992,14(8):806-825.
[29] Zhang Y N.Integ r atio n o f segmentation and ster eo m atching[C].P ro c.SPI E,1993,2094:848-857.
[30] M ar apa ne S B ,et al .M ulti -primitive hierar chical (M PH )stereo analysis [J ].I EEE T r ans .o n Patt ern A nalysis
and M a chine Intelligence,1994,16(3):227-240.
[31] Cochr an S D,et al .3-D sur face descr iptio n fr om bino cular ster eo [J].IEEE T rans.o n P atter n A naly sis and M achine Intelligence ,1992,14(10):981-994.
[32] K anade T ,et al .A ster eo matching alg or ithm w ith an adaptive w indo w :T heo ry a nd Exper iment [J ].IEEE
T rans.o n P atter n Analysis and M achine Intellig ence ,1994,16(9):920-932.
[33] K im Y C,et al .P osit ioning t hree-dimensio na l objects using ster eo imag es [J ].IEEE Jo urnal o f Ro bo tics and A utoma tio n ,1987,3(4):361-373.[34] EL -Hakim S F ,et al .T he V CM a uto mated 3-D measur ement system ,theor y ,applicatio n and perfo rmance
ev aluation[C].P ro c.SPI E,1992,1708:460-482.
[35] 林宗坚等.由双目序列影像解求运动参数的非立体匹配方法[J].武汉测绘科技大学学报,1994,19(1):1-6.[36] 杨敬安.由双目图像流无对应地估计3-D 运动参数[J ].计算机学报,1995,18(11):849-857.[37] Dhond U R ,et al .A Co st -benefit analy sis of a thir d camer a for ster eo cor r espo ndence [J ].Inter natio nal Jour nal
of Co mputer V isio n,1991,6(1):39-58.
[38] A yache N ,et al .T rino cular stereo vision fo r ro bo tics [J ].I EEE T r ans.on P atter n Analysis a nd M achine
Intelligence ,1991,13(1):73-85.[39] Subbar ao M ,et al .D epth r ecov ery fr om blur r ed edg e[J].IEEE Computer Society https://www.doczj.com/doc/5e7002042.html,puter V isio n and
Patt ern Reco gnition,1988:498-503.
[40] Ens J,et al .A n investigation o f metho ds fo r det ermining depth fr om fo cus [J].I EEE T r ans.o n Patt ern
A naly sis and M achine Intelligence ,1993,15(2):97-
108.Analysis of 3-D coordinate vision measuring methods
with feature points on workpiece
ZHU Shi-ping 1,QIANG Xi-fu 2
(1.T he 5th R esearch Unit ,Beij ing University of A eronautics and A stronautics ,Beij ing 100083,China ;
2.Dep artment o f A utomatic Measurement &Contr ol ,S chool of Comp uter Science and Electrical Engineering ,H arbin I nstitute of Technology ,H ar bin 150001,China )Abstract :3D coor dinate vision m easuring m ethods w ith feature po ints o n w or kpiece ar e dem onstrated ,such as structured-light metho d,laser auto -focusing metho d,bino cular visio n m ethod,trinocular vision method,monocular vision method,etc.T he characteristics and measuring precisio n of each metho d are analyzed in detial ,meanw hile the present development and application status are also intro duced .
Key words :feature points;3-D coo rdinates measurement;co mputer vision
作者简介:祝世平(1970-),男,陕西西安市人。分别于1991年和1994年在西安理工大学测试计量技术及仪器学科获得工学学士和硕士学位。1997年在哈尔滨工业大学精密仪器及机械学科获得工学博士学位。目前在北京航空航天大学“航空与宇航技术”博士后流动站从事博士后研究工作。主要研究领域为精密测试计量技术、计算机视觉在精密测量中的应用等。获得中国航空工业总公司部级科技进步二等奖一项(排名第三),发表论文二十余篇。
197
2期 祝世平等:工件特征点三维坐标视觉测量方法综述
Artificial Intelligence and Robotics Research 人工智能与机器人研究, 2015, 4(3), 17-22 Published Online August 2015 in Hans. https://www.doczj.com/doc/5e7002042.html,/journal/airr https://www.doczj.com/doc/5e7002042.html,/10.12677/airr.2015.43003 A Survey on Object Tracking Jialong Xu Aviation Military Affairs Deputy Office of PLA Navy in Nanjing Zone, Nanjing Jiangsu Email: pugongying_0532@https://www.doczj.com/doc/5e7002042.html, Received: Aug. 1st, 2015; accepted: Aug. 17th, 2015; published: Aug. 20th, 2015 Copyright ? 2015 by author and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). https://www.doczj.com/doc/5e7002042.html,/licenses/by/4.0/ Abstract Object tracking is a process to locate an interested object in a series of image, so as to reconstruct the moving object’s track. This paper presents a summary of related works and analyzes the cha-racteristics of the algorithm. At last, some future directions are suggested. Keywords Object Tracking, Track Alignment, Object Detection 目标跟踪相关研究综述 徐佳龙 海军驻南京地区航空军事代表室，江苏南京 Email: pugongying_0532@https://www.doczj.com/doc/5e7002042.html, 收稿日期：2015年8月1日；录用日期：2015年8月17日；发布日期：2015年8月20日 摘要 目标跟踪就是在视频序列的每幅图像中找到所感兴趣的运动目标的位置，建立起运动目标在各幅图像中的联系。本文分类总结了目标跟踪的相关工作，并进行了分析和展望。
双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L和C R上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。 图1：立体视觉系统 3.双目立体视觉相关基本理论说明 3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐
1引言 目标跟踪可分为主动跟踪和被动跟踪。视频目标跟踪属于被动跟踪。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。这些优点使得视频目标跟踪测量在靶场光电测量、天文观测设备、武器控制系统、激光通信系统、交通监控、场景分析、人群分析、行人计数、步态识别、动作识别等领域得到了广泛的应用[1-2]。 根据被跟踪目标信息使用情况的不同，可将视觉跟踪算法分为基于对比度分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。基于对比度分析的跟踪算法主要利用目标和背景的对比度差异，实现目标的检测和跟踪。基于匹配的跟踪主要通过前后帧之间的特征匹配实现目标的定位。基于运动检测的跟踪主要根据目标运动和背景运动之间的差异实现目标的检测和跟踪。前两类方法都是对单帧图像进行处理，基于匹配的跟踪方法需要在帧与帧之间传递目标信息，对比度跟踪不需要在帧与帧之间传递目标信息。基于运动检测的跟踪需要对多帧图像进行处理。除此之外，还有一些算法不易归类到以上3类，如工程中的弹转机跟踪算法、多目标跟踪算法或其他一些综合算法。2基于对比度分析的目标跟踪算法基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。这类算法按照跟踪参考点的不同可以分为边缘跟踪、形心跟踪和质心跟踪等。这类算法不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合（如要求跟踪目标的左上角或右下角等）有其独到之处。缺点是跟踪点易受干扰，跟踪随机误差大。重心跟踪算法计算简便，精度较高，但容易受到目标的剧烈运动或目标被遮挡的影响。重心的计算不需要清楚的轮廓，在均匀背景下可以对整个跟踪窗口进行计算，不影响测量精度。重心跟踪特别适合背景均匀、对比度小的弱小目标跟踪等一些特殊场合。图像二值化之后，按重心公式计算出的是目标图像的形心。一般来说形心与重心略有差别[1-2]。 3基于匹配的目标跟踪算法 3.1特征匹配 特征是目标可区别与其他事物的属性，具有可区分性、可靠性、独立性和稀疏性。基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的 文章编号：1002－8692（2010）12-0135-04 视频目标跟踪算法综述* 蔡荣太1，吴元昊2，王明佳2，吴庆祥1 （1.福建师范大学物理与光电信息科技学院，福建福州350108； 2.中国科学院长春光学精密机械与物理研究所，吉林长春130033） 【摘要】介绍了视频目标跟踪算法及其研究进展，包括基于对比度分析的目标跟踪算法、基于匹配的目标跟踪算法和基于运动检测的目标跟踪算法。重点分析了目标跟踪中特征匹配、贝叶斯滤波、概率图模型和核方法的主要内容及最新进展。此外，还介绍了多特征跟踪、利用上下文信息的目标跟踪和多目标跟踪算法及其进展。 【关键词】目标跟踪；特征匹配；贝叶斯滤波；概率图模型；均值漂移；粒子滤波 【中图分类号】TP391.41；TN911.73【文献标识码】A Survey of Visual Object Tracking Algorithms CAI Rong-tai1,WU Yuan-hao2,WANG Ming-jia2,WU Qing-xiang1 （1.School of Physics,Optics,Electronic Science and Technology,Fujian Normal University,Fuzhou350108,China; 2.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Science,Changchun130033,China）【Abstract】The field of visual object tracking algorithms are introduced,including visual tracking based on contrast analysis,visual tracking based on feature matching and visual tracking based on moving detection.Feature matching,Bayesian filtering,probabilistic graphical models,kernel tracking and their recent developments are analyzed.The development of multiple cues based tracking,contexts based tracking and multi-target tracking are also discussed． 【Key words】visual tracking;feature matching;Bayesian filtering;probabilistic graphical models;mean shift;particle filter ·论文·*国家“863”计划项目（2006AA703405F）；福建省自然科学基金项目（2009J05141）；福建省教育厅科技计划项目（JA09040）
双目视觉成像原理
双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L和C R上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。
图1：立体视觉系统 3.双目立体视觉相关基本理论说明 3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目 立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b 。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f 处，这个虚拟的图像平面坐标系O1uv 的u 轴和v 轴与和摄像机坐标系的x 轴和y 轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P 在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P 图像坐标的Y 坐标相同，即v1=v2。由三角几何关系得到: c c 1z x f u = c c 2z ）b -x （f u = v 1 c c 21z y f v v ==
视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设f k（x, y）和f（k i）（x, y）分别为图像序列中的第k帧和第k+1帧中象素点（x，y）的象素值,则这两帧图像的差值图像就如公式2-1所示： Diff ki f k（x, y） f（k 1）（x, y）（2-1）2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1式得到第k帧和第k+1帧的差值图像Diff k 1；2、对所得到的差值图像Diff k 1二值化（如 式子2-2示）得到Qk+1 ；3、为消除微小噪声的干扰，使得到的运动目标更准 确，对Q k 1进行必要的滤波和去噪处理，后处理结果为M k 1。 1
双目立体视觉的水下应用 从图像预处理、相机标定、立体匹配三个方面论述了双目视觉在水下场景的应用，比较了与空气环境中应用的不同，对水下双目视觉发展趋势做了分析。 标签：水下双目视觉；相机标定；立体匹配 Abstract：This paper discusses the application of binocular vision in underwater scene from three aspects of image preprocessing，camera calibration and stereo matching，compares the application of binocular vision with that in air environment，and analyzes the development trend of underwater binocular vision. Keywords：underwater binocular vision；camera calibration；stereo matching 引言 双目立体视觉技术利用视差理论恢复像素的深度信息和三维坐标，通过获取左右两个视角下同时采集的两幅图像恢复三维场景信息，还原真实的三维世界，为导航提供目标的位置信息描述，是被动式视觉测量技术的一种。作为计算机视觉的一个重要分支，双目立体视觉技术模型简洁，运算高效，有着广阔的应用前景。而随着海洋科学技术的发展和人类对海洋资源探索的逐渐深入，双目视觉技术逐渐被应用到海洋探测，在对水下目标的监控、海底地形测绘、海流测量、水下军事设施的探测和侦查等方面都有着广泛的应用。 双目立体视觉系统模拟人眼，通过三角测量原理来获取图像的视差，进而得到目标三维信息，一般由以下几个功能模块组成：图像采集，相机标定，立体匹配，三维重建。常规的双目视觉大多是在单一介质的空气中，而由于水下环境的特殊性，往往存在光的散射，吸收效应等不利因素的干扰，相关技术方法也应随环境作适应性调整。本文从图像处理，相机标定，立体匹配这三个方面在水下场景的应用做了论述，阐明了与单一空气介质环境中的不同，并对水下双目立体视觉技术的发展做了展望。 1 成像模型 双目立体视觉用到的模型一般是线性的针孔模型，该模型是双目立体视觉中成像的基本模型，将相机理想化，并把空间点投影视为中心，投影未考虑镜头畸变和环境等其他因素，所以也叫线性摄像机模型。而水下成像模型则是考虑到折射的影响，对此做相应补偿和修正。 在双目立体视觉系统中，为了研究空间点和像点的投影关系，通常会用到4个坐标系：世界坐标系OW-XWYWXW、相机坐标系O-xyz、图像物理坐标系O-XY和图像像素坐标系Of-uv。
双目立体视觉技术的实现及其进展 摘要：阐述了双目立体视觉技术在国内外应用的最新动态及其优越性。指出双目体视技术的实现分为图像获取、摄像机标定、特片提取、立体匹配和三维重建几个步骤，详细分析了各个步骤的技术特点、存在的问题和解决方案，并对双目体视技术的发展做了展望。 关键词：双目立体视觉计算机视觉立体匹配摄像机标定特征提取 双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅国像中的视差，获得该点的三维坐标值。80年代美国麻省理工学院人工智能实验室的Marr提出了一种视觉计算理论并应用在双睛匹配上，使两张有视差的平面图产生在深度的立体图形，奠定了双目立体视觉发展理论基础。相比其他类的体视方法，如透镜板三维成像、投影式三维显示、全息照相术等，双目本视直接模拟人类双眼处理景物的方式，可靠简便，在许多领域均极具应用价值，如微操作系统的位姿检测与控制、机器人导航与航测、三维测量学及虚拟现实等。 1 双目体视的技术特点 双目标视技术的实现可分为以下步骤：图像获取、摄像机标定、特征提取、图像匹配和三维重建，下面依次介绍各个步骤的实现方法和技术特点。 1.1 图像获取 双目体视的图像获取是由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，获取立体图像对。其针孔模型如图1。假定摄像机C1与C2的角距和内部参数都相等，两摄像机的光轴互相平行，二维成像平面X1O1Y1和X2O2Y2重合，P1与P2分别是空间点P在C1与C2上的成像点。但一般情况下，针孔模型两个摄像机的内部参数不可能完成相同，摄像机安装时无法看到光轴和成像平面，故实际中难以应用。 上海交大在理论上对会摄式双目体视系统的测量精度与系统结构参数之间的关系作了详尽分析，并通过试验指出，对某一特定点进行三角测量。该点测量误差与两CCD光轴夹角是一复杂的函数关系；若两摄像头光轴夹角一定，则被测坐标与摄像头坐标系之间距离越大，测量得到点距离的误差就越大。在满足测量范围的前提下，应选择两CCD之间夹角在50℃～80℃之间。 1.2 摄像机的标定 对双目体视而言，CCD摄像机、数码相机是利用计算机技术对物理世界进行重建前的基本测量工具，对它们的标定是实现立体视觉基本而又关键的一步。通常先采用单摄像机的标定方法，分别得到两个摄像机的内、外参数；再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。目前常用的单摄像机标定方法主要有： （1）摄影测量学的传统设备标定法。利用至少17个参数描述摄像机与三维物体空间的结束关系，计算量非常大。 （2）直接线性变换性。涉及的参数少、便于计算。 （3）透视变换短阵法。从透视变换的角度来建立摄像机的成像模型，无需初始值，可进行实时计算。 （4）相机标定的两步法。首先采用透视短阵变换的方法求解线性系统的摄像机参数，再以求得的参数为初始值，考虑畸变因素，利用最优化方法求得非线性解，标定精度较高。 （5）双平面标定法。 在双摄像机标定中，需要精确的外部参数。由于结构配置很难准确，两个摄像机的距离
经过近４０多年的深入研究和发展，多目标跟踪技术在许多方面都有着广泛应用和发展前景，如军事视觉制导、机器人视觉导航、交通管 制、 医疗诊断等［１－２］。目前，虽然基于视频的多运动目标跟踪技术已取得了很大的成就，但由于视频中图像的变化和物体运动的复杂性，使得对多运动目标的检测与跟踪变得异常困难，如多目标在运动过程中互遮挡、监控场景的复杂性等问题，解决上述难题一直是该领域所面临的一个巨大挑战，因此，对视频中多目标跟踪技术研究仍然是近年来一个热门的研究课题［３－５］。 １、多目标跟踪的一般步骤 基于视频的多目标跟踪技术融合了图像处理、模式识别、人工智能、 自动控制以及计算机视觉等众多领域中的先进技术和核心思想。不同的多目标跟踪方法其实现步骤有一定的差异，但多目标跟踪的主要 流程是相同的，如图１所示，其主要包括图像预处理、 运动目标检测、多目标标记与分离、多目标跟踪四个步骤。 图１多目标跟踪基本流程图 ２、多目标跟踪方法 多目标跟踪方法可以根据处理图像或视频获取视点的多少分为两大类，一类是单视点的多目标跟踪，另一类就是多视点的多目标跟踪。 ２．１单视点的方法 单视点方法是针对单一相机获取的图像进行多目标的检测和跟踪。该方法好处在于简单且易于开发，但由于有限的视觉信息的获取，很难处理几个目标被遮挡的情况。 块跟踪（Ｂｌｏｂ－ｔｒａｃｋｉｎｇ）是一种流行的低成本的跟踪方法［６－７］。这种方法需要首先在每一帧中提取块，然后逐帧寻找相关联的块，从而实现跟 踪。 例如ＢｒａＭＢＬｅ系统［８］就是一个基于已知的背景模型和被跟踪的人的外表模型计算出块的似然性的多块跟踪器。这种方法最大的不足之处在于：当由于相似性或者遮挡，多个目标合并在一起时，跟踪将导致失败。因此，可以取而代之的方法是通过位置、外观和形状保留清晰目标的状态。文献［９］利用组合椭圆模拟人的形状，用颜色直方图模拟不同人的外观，用一个增强高斯分布模拟背景以便分割目标，一旦场景中发现对应于运动头部的像素，一个ＭＣＭＣ方法就被用于获取多个人的轮廓的最大后验概率，在单相机的多人跟踪应用中取得了非常有意义的结果。Ｏｋｕｍａ等人提出了一种将Ａｄａｂｏｏｓｔ算法和粒子滤波相结合的方法［１０］。该方法由于充分利用了两种方法的优点，相比于单独使用这两种方法本身，大大降低了跟踪失败的情形，同时也解决了在同一框架下检测和一致跟踪的问题。Ｂｒｏｓｔｏｗ等人提出了一个用于在人群中检测单个行人的特征点轨迹聚类的概率框架［１１］。这个框架有一个基本假设是一起运动的点对可能是同一个个体的一部分，并且把它用于检测和最终的跟踪。对于完全和部分遮挡目标以及外观变化，这些方法和另外一些相似的方法都有很大的局限性。 为了解决遮挡问题，一系列单视点跟踪技术应运而生。典型的方法 是利用块合并来检测遮挡的发生［１２］。当被跟踪的点消失， 跟踪特征点的方法就简单的将其作为一个被遮挡特征点。近年来，基于目标轮廓和外观的跟踪技术利用隐含的目标到相机的深度变化来表示和估计目标间的遮挡关系。但大多数方法都只能解决部分遮挡，不能解决完全被遮挡 的情况。 另外，小的一致运动被假设为是可以从遮挡视点中可以预测运动模式的，这些给没有预测运动的较长时间的遮挡的处理带来问题。尽管这些单视点的方法有较长的研究历史，但这些方法由于不能明锐的 观察目标的隐藏部分，因此不能很好地解决有２或３个目标的遮挡问题。 ２．２多视点的方法 随着复杂环境中对检测和跟踪多个被遮挡的人和计算他们的精确 位置的需要，多视点的方法成为研究的热点。 多视点跟踪技术的目的就是利用不同视点的冗余信息，减少被遮挡的区域，并提供目标和场景的３Ｄ信息。尽管通过相机不能很好地解决目标跟踪问题，但却提出了一些很好的想法，如选择最佳视点，但这些方法都以实际环境模型和相机校正为特征。 ９０年代后半期，在很多文献中给出了多视点相关的多目标跟踪方法。 比如利用一个或多个相机与观察区域相连的状态变化映射，同时给出一系列的行为规则去整合不同相机间的信息。利用颜色在多个视点中进行多目标的跟踪的方法，该方法模拟了从基于颜色直方图技术的 背景提取中获得的连接块并应用其去匹配和跟踪目标。 除此之外，也有在原来的单视点跟踪系统进行扩展的多视点跟踪方法。该方法主要是通过一个预测，当预测当前的相机不在有一个好的视点时，跟踪就从原来凯斯的那个单相机视点的跟踪转换到另外一个相机，从而实现多视点的跟踪。基于点与它对应的极线的欧氏距离的空间匹配方法、贝叶斯网络和立体相对合并的方法都是多目标多视点跟踪的常见方法。尽管这些方法都试图去解决遮挡问题，但由于遮挡的存在，基于特征的方法都不能根本解决，其次，这些方法中的遮挡关系的推理一般都是根据运动模型，卡尔曼滤波或者更普遍的马尔科夫模型的时间一致性来进行的。因此，当这个过程开始发散，这些方法也不能恢复遮挡关系。 最近一种基于几何结构融合多个视点信息的Ｈｏｍｅｇｒａｐｈｉｃｏｃｃｕｐａｎｃｙｃｏｎｓｒｒａｉｎｔ（ＨＯＣ）［１２］方法，可以通过在多场景平台对人的定位来解决遮挡问题。仅采用随时间变化的外表信息用于从背景中检测前景，这使得在拥挤人流的场景中的外表遮挡的解决更健壮。利用多视点中的前景信息，主要是试图找到被人遮挡的场景点的图像位置，然后这些被遮挡的信息用于解决场景中多个人的的遮挡和跟踪问题。在这种思想指导下，Ｍｉｔｔａｌ，Ｌｅｉｂｅ，Ｆｒａｎｃｏ等的研究工作和机器人导航中基于遮挡网格的距离传感器的并行工作是相似的，这些方法在融合３Ｄ空间信息的时候需要进行校正相机。但ＨＯＣ方法是完全基于图像的，仅需要２Ｄ结构信息进行图像平面的融合。当然也有另外一些不需要进行相机校正的算法被提出，但需要学习一个与相机最小相关的信息。在目标跟踪过程中，由于这些方法依赖于单个相机的场景，对于拥挤场景中目标分布密度增加九无能为力了。在ＨＯＣ的多视点的目标跟踪中，对于任何单一相机的场景，或者相机对的场景，都不需要进行定位和跟踪目标，而是从所有相机的场景中收集证据，形成一个统一的框架，由于该方法能够从多个时间帧的场景中进行场景被遮挡概率的全局轨迹优化，因此可以同时进行检测和跟踪。 ３、总结 动态目标检测与跟踪是智能监控系统的重要组成部分，它融合了图像处理、模式识别、自动控制及计算机应用等相关领域的先进技术和研究成果，是计算机视觉和图像编码研究领域的一个重要课题，在军事武器、工业监控、交通管理等领域都有广泛的应用。尤其是对于多目标检测与跟踪中的遮挡与被遮挡的处理，对提高智能监控中目标的行为分析有着重要的意义。随着监控设备的发展和设施的铺设，多视点的场景图像是很容易得到的，因此借助信息融合的思想，充分利用不同角度对目标的描述信息，可以很大地改进目前基于单视点的多目标检测和跟踪的精度，能够很好地解决单视点方法中不能很好解决的遮挡问题。参考文献 ［１］胡斌，何克忠．计算机视觉在室外移动机器人中的应用．自动化学报，２００６，３２（５）：７７４－７８４． ［２］Ａ．Ｏｔｔｌｉｋ，Ｈ．－Ｈ．Ｎａｇｅｌ．ＩｎｉｔｉａｌｉｚａｔｉｏｎｏｆＭｏｄｅｌ－ＢａｓｅｄＶｅｈｉｃｌｅＴｒａｃｋｉｎｇｉｎＶｉｄｅｏＳｅｑｕｅｎｃｅｓｏｆＩｎｎｅｒ－ＣｉｔｙＩｎｔｅｒｓｅｃｔｉｏｎｓ．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２００８，８０（２）：２１１－２２５．多目标跟踪方法研究综述 苏州联讯图创软件有限责任公司 陈宁强 ［摘要］文章对目前现有的多目标跟踪方法从信息获取的不同角度进行了综述。主要分析比较了目前单视点和多视点目标跟踪方 法对于目标遮挡问题的处理性能，并指出多视点的基于多源信息融合的思想，可以较好地解决场景中目标的遮挡问题。［关键词］单视点多视点目标跟踪信息融合基金项目：本文系江苏省自然科学基金（ＢＫ２００９５９３）。 作者简介：陈宁强（１９７３－），男，江苏苏州人，工程师，主要研究方向：ＧＩＳ、模式识别和图像处理与分析。 目标跟踪多目标标记与分离 匹配 目标模型 运动检测当前帧图像 背景提取 去噪 ＲＯＩ 预处理 视频序列 （下转第２６页）
万方数据
万方数据
万方数据
万方数据
单目视觉定位方法研究综述 作者：李荣明， 芦利斌， 金国栋 作者单位：第二炮兵工程学院602教研室,西安,710025 刊名： 现代计算机：下半月版 英文刊名：Modem Computer 年，卷(期)：2011(11) 参考文献(29条) 1.R.Horaud;B.Conio;O.Leboullcux An Analytic Solution for the Perspective 4-Point Problem 1989(01) 2.任沁源基于视觉信息的微小型无人直升机地标识别与位姿估计研究 2008 3.徐筱龙;徐国华;陈俊水下机器人的单目视觉定位系统[期刊论文]-传感器与微系统 2010(07) 4.邹伟;喻俊志;徐德基于ARM处理器的单目视觉测距定位系统[期刊论文]-控制工程 2010(04) 5.胡占义;雷成;吴福朝关于P4P问题的一点讨论[期刊论文]-自动化学报 2001(06) 6.Abdel-Aziz Y;Karara H Direct Linear Transformation from Comparator to Object Space Coordinates in Close-Range Ph- togrammetry 1971 7.Fishier M A;Bolles R C Random Sample Consensus:A Paradigm for Model Fitting with Applications to Image Analy-s~s anu Automated tartograpny 1981(06) 8.祝世平;强锡富用于摄像机定位的单目视觉方法研究[期刊论文]-光学学报 2001(03) 9.沈慧杰基于单目视觉的摄像机定位方法的研究 2009 10.任沁源;李平;韩波基于视觉信息的微型无人直升机位姿估计[期刊论文]-浙江大学学报（工学版） 2009(01) 11.刘立基于多尺度特征的图像匹配与目标定位研究[学位论文] 2008 12.张治国基于单目视觉的定位系统研究[学位论文] 2009 13.张广军;周富强基于双圆特征的无人机着陆位置姿态视觉测量方法[期刊论文]-航空学报 2005(03) 14.Zen Chen;JenBin Huang A Vision-Based Method for theCircle Pose Determination with a Direct Geometric Interpre- tation[外文期刊] 1999(06) 15.Safaee-Rad;I.Tchoukanov;K.C.Smith Three-Dimension of Circular Features for Machine Vision 1992 16.S.D.Ma;S.H.Si;Z.Y.Chen Quadric Curve Based Stereo 1992 17.D.A.Forsyth;J.L.Munday;A.Zisserman Projective In- variant Representation Using Implicit Algebraic Curves 1991(02) 18.吴朝福;胡占义PNP问题的线性求解算法[期刊论文]-软件学报 2003(03) 19.降丽娟;胡玉兰;魏英姿一种基于平面四边形的视觉定位算法[期刊论文]-沈阳理工大学学报 2009(02) 20.Sun Fengmei;Wang Weining Pose Determination from a Single Image of a Single Parallelogram[期刊论文]-Acta Automatica Sinica 2006(05) 21.吴福朝;王光辉;胡占义由矩形确定摄像机内参数与位置的线性方法[期刊论文]-软件学报 2003(03) 22.王晓剑;潘顺良;邱力为基于双平行线特征的位姿估计解析算法[期刊论文]-仪器仪表学报 2008(03) 23.刘晓杰基于视觉的微小型四旋翼飞行器位姿估计研究与实现 2009 24.刘士清;胡春华;朱纪洪一种基于灭影线的无人直升机位姿估计方法[期刊论文]-计算机工程与应用 2004(9) 25.Mukundan R;Raghu Narayanan R V;Philip N K A Vision Based Attitude and Position Estimation Algorithm for Rendezvous and Docking 1994(02)
双目立体视觉 双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。现说明介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率。 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi 语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论说明 1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到: 上式中（xc，yc，zc）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u1，v1）和（u2，v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差: 图1 双目立体成像原理图图3 一般双目立体视觉系统原理图
。 目标跟踪算法综述 大连理工大学卢湖川一、引言 目标跟踪是计算机视觉领域的一个重 要问题，在运动分析、视频压缩、行为识 别、视频监控、智能交通和机器人导航等 很多研究方向上都有着广泛的应用。目标 跟踪的主要任务是给定目标物体在第一帧 视频图像中的位置，通过外观模型和运动 模型估计目标在接下来的视频图像中的状 态。如图1所示。目标跟踪主要可以分为5 部分，分别是运动模型、特征提取、外观 模型、目标定位和模型更新。运动模型可 以依据上一帧目标的位置来预测在当前帧 目标可能出现的区域，现在大部分算法采用的是粒子滤波或相关滤波的方法来建模目标运动。随后，提取粒子图像块特征，利用外观模型来验证运动模型预测的区域是被跟踪目标的可能性，进行目标定位。由于跟踪物体先验信息的缺乏，需要在跟踪过程中实时进行模型更新，使得跟踪器能够适应目标外观和环境的变化。尽管在线目标跟踪的研究在过去几十年里有很大进展，但是由被跟踪目标外观及周围环境变化带来的困难使得设计一个鲁棒的在线跟踪算法仍然是一个富有挑战性的课题。本文将对最近几年本领域相关算法进行综述。 二、目标跟踪研究现状 1. 基于相关滤波的目标跟踪算法 在相关滤波目标跟踪算法出现之前，大部分目标跟踪算法采用粒子滤波框架来进行目标跟踪，粒子数量往往成为限制算法速度的一个重要原因。相关滤波提出了 一种新颖的循环采样方法，并利用循环样 本构建循环矩阵。利用循环矩阵时域频域 转换的特殊性质，将运算转换到频域内进 行计算，大大加快的分类器的训练。同时， 在目标检测阶段，分类器可以同时得到所 有循环样本得分组成的响应图像，根据最 大值位置进行目标定位。相关滤波用于目 标跟踪最早是在MOSSE算法[1]中提出 的。发展至今，很多基于相关滤波的改进 工作在目标跟踪领域已经取得很多可喜的 成果。 1.1. 特征部分改进 MOSSE[1] 算法及在此基础上引入循 环矩阵快速计算的CSK[2]算法均采用简单 灰度特征，这种特征很容易受到外界环境 的干扰，导致跟踪不准确。为了提升算法 性能，CN算法[3]对特征部分进行了优 化，提出CN（Color Name）空间，该空 间通道数为11（包括黑、蓝、棕、灰、绿、 橙、粉、紫、红、白和黄），颜色空间的引 入大大提升了算法的精度。 与此类似，KCF算法[4]采用方向梯度 直方图（HOG）特征与相关滤波算法结合， 同时提出一种将多通道特征融入相关滤波 的方法。这种特征对于可以提取物体的边 缘信息，对于光照和颜色变化等比较鲁棒。 方向梯度直方图（HOG）特征对于运 动模糊、光照变化及颜色变化等鲁棒性良 好，但对于形变的鲁棒性较差；颜色特征 对于形变鲁棒性较好，但对于光照变化不 够鲁棒。STAPLE算法[5]将两种特征进行 有效地结合，使用方向直方图特征得到相 关滤波的响应图，使用颜色直方图得到的 统计得分，两者融合得到最后的响应图像 并估计目标位置，提高了跟踪算法的准确 度，但也使得计算稍微复杂了一些。 图1 目标跟踪算法流程图
双目立体视觉技术简介 1. 什么是视觉 视觉是一个古老的研究课题，同时又是人类观察世界、认知世界的重要功能和手段。人类从外界获得的信息约有75%来自视觉系统，用机器模拟人类的视觉功能是人们多年的梦想。视觉神经生理学，视觉心里学，特别是计算机技术、数字图像处理、计算机图形学、人工智能等学科的发展，为利用计算机实现模拟人类的视觉成为可能。在现代工业自动化生产过程中，计算机视觉正成为一种提高生产效率和检验产品质量的关键技术之一，如机器零件的自动检测、智能机器人控制、生产线的自动监控等;在国防和航天等领域，计算机视觉也具有较重要的意义，如运动目标的自动跟踪与识别、自主车导航及空间机器人的视觉控制等。人类视觉过程可以看作是一个从感觉到知觉的复杂过程，从狭义上来说视觉的最终目的是要对场景作出对观察者有意义的解释和描述；从广义上说，是根据周围的环境和观察者的意愿，在解释和描述的基础上做出行为规划或行为决策。计算机视觉研究的目的使计算机具有通过二维图像信息来认知三维环境信息的能力，这种能力不仅使机器能感知三维环境中物体的几何信息(如形状、位置、姿态运动等)，而且能进一步对它们进行描述、存储、识别与理解，计算机视觉己经发展起一套独立的计算理论与算法。 2. 什么是计算机双目立体视觉 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像，如图一。 图一、视差（Disparity）图像 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。 双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系
计算机双目立体视觉 双目立体视觉技术是仿照人类利用双目线索感知深度信息的方法，实现对三维信息的感知。为解决智能机器人抓取物体、视觉导航、目标跟踪等奠定基础。 双目立体视觉（Binocular Stereo Vision ）是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点之间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获取的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作为视差（Disparity ）图像。 双目立体视觉系统 立体视觉系统由左右两部摄像机组成，如图，世界空间中的一点A(X,Y ,Z)在左右摄像机的成 像面1C 和r C 上的像点分别为）（111,v u a 和） （r r r v u a ,。这两个像点是世界空间中同一个对象点A 的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心1O 和r O 的连线，即投影线11O a 和r r O a ，它们的交点即为世界空间中的对象点A 。这就是立体视觉的基本原理。 双目立体视觉智能视频分析技术 恢复场景的3D 信息是立体视觉研究中最基本的目标，为实现这一目标，一个完整的立体视觉系统通常包含六个模块：图像获取、摄像机标定、特征提取、立体匹配、三维恢复和视频
分析（运动检测、运动跟踪、规则判断、报警处理）。 图像获取（Image Acquisition ） 数字图像的获取是立体视觉的信息来源。常用的立体视觉图像一般为双目图像，有的采用夺目图像。图像的获取方式有很多种，主要有具体运用的场合和目的决定。立体图像的获取不仅要满足应用要求，而且考虑视点差异、光照条件、摄像机的性能和场景特点等方面的影像。 摄像机标定（Camera Calibration ） 图像上每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空 间物体表面相应点的几何位置有关。这些位置的相互关系由摄像机成像几何模型来决定。该几何模型的参数称为摄像机参数，这些参数必须由实验与计算来确定，实验与计算的过程称为摄像机定标。 立体视觉系统摄像机标定是指对三维场景中对象点在左右摄像机图像平面上的坐标位置）（111,v u a 和） （r r r v u a ,与其世界空间坐标A （X, Y , Z ）之间的映射关系的确立，是实现立体视觉三维模型重构中基本且关键的一步。 特征提取（Feature Acquisition ） 特征提取的目的是获取匹配得以进行的图像特征，图像特征的性质与图像匹配的方法选择有着密切的联系。目前，还没有建立起一种普遍适用的获取图像特征的理论，因此导致了立体视觉研究领域中匹配特征的多样化。像素相位匹配是近二十年才发展起来的一类匹配算法。相位作为匹配基元，本身反映着信号的结构信息，对图像的高频噪声有很好的一直作用，适于并行处理，能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题，需加入自适应滤波器解决。或者是像素的集合，也可以是它们的抽象表达，如图像的结构、图像的目标和关系结构等。常用的匹配特征主要有点状特征、线装特征和区特征等几种情形。 一般而言，尺度较大的图像特征蕴含较多的图片信息，且特征本身的数目较少，匹配效率高；但特征提取和描述过程存在较大的困难，定位精度也较差。而对于尺度较小的图像特征来说，对其进行表达和描述相对简单，定位的精度高；但由于特征本身数码较多，所包含的图像信息少，在匹配时需要采用较为严格的约束条件和匹配策略，一尽可能的减少匹配歧义和提高匹配效率。总的来说，好的匹配特征应该具有要可区分性、不变性、唯一性以及有效解决匹配歧义的能力。 图像匹配（Image Matching ） 在立体视觉中，图像匹配是指将三维空间中一点A （X, Y , Z ）在左右摄像机的成像面1C 和r C 上的像点）（111,v u a 和） （r r r v u a ,对应起来。图像匹配是立体视觉中最重要也是最困难的问题，一直是立体视觉研究的焦点。当空间三维场景经过透视投影（Perspective Projection ）变换为二维图像时，同一场景在不同视点的摄像机图像平面上成像会发生不同程度的扭曲和变形，而且场景中的光照条件、被测对象的几何形状和表面特性、噪声干扰和畸变、摄像机特性等诸多因素的影响都被集中体现在单一的图像灰度值中。显然，要包含了如此之多不利因素的图像进行精准的匹配是很不容易的。