第33卷增刊2007年11月 光学技术OPTICAL TECHN IQU E Vol.33Suppl.Nov. 2007 文章编号:100221582(2007)S 20069203目标检测与跟踪方法在自动跟踪装置中的应用Ξ伍翔,霍炬,杨明,董红红(哈尔滨工业大学控制与仿真中心,哈尔滨 150082)摘 要:介绍了一种应用于自动跟踪装置上的运动背景下目标检测与跟踪的方法,采用仿射模型作背景运动估计进行检测以及mean 2shift 算法跟踪目标,并将该方法应用到一套自动跟踪系统实验平台上。
关键词:仿射模型;mean 2shift 算法;自动跟踪装置中图分类号:TP751 文献标识码:AApplication of a moving target detecting and trackingmethod in the automatic 2tracking equipmentWU X iang ,H UO J u ,Y ANG Ming ,DONG H ong 2hong(Control and Simulation Center ,Harbin Institute of Technology ,Harbin 150082,China )Abstract :This paper presents a moving target detecting and tracking method in moving background for the automatic 2tracking equipment.It uses affine model to estimate the moving character of the background for detecting ,and uses mean 2shift algorithm for tracking.An automatic 2tracking experimental system is realized by using this method.K ey w ords :affine model ;mean 2shift algorithm ;automatic 2tracking equipment0 引 言基于图像处理的运动目标检测与跟踪,作为图像处理技术的一个分支,由于其在民用和军用上的广泛应用[1,2],也逐渐成为研究的热点。
本文主要针对自动跟踪装置,研究与设计一种图像处理的方法,实现运动背景下运动目标检测与跟踪,并应用到所搭建的自动跟踪仿真系统中。
1 自动跟踪系统实验平台利用图像处理的方法实现自动跟踪功能的跟踪系统一般由摄像机、图像采集卡、计算机、伺服系统几部分组成。
摄像机、图像采集卡以及计算机都装载在伺服系统上,当摄像机的视野中出现运动目标时,计算机对图像采集卡采集到的图像进行处理分析,得出运动目标的位置等信息,传递给伺服系统,伺服系统带动相机跟踪目标,使得目标始终保持在视野的中心。
图1 自动跟踪系统实验平台结构框图图1即为所搭建的自动跟踪系统实验平台的结构框图,该平台是专门根据自动跟踪装置的结构和特点设计的,对自动跟踪装置进行模拟。
由图1可知,在计算机上实现的图像处理部分,是整个系统的关键。
它所要完成的功能是从采集图2 图像处理部分基本流程到的每幅视频图像中找出运动目标的位置,即运动目标的检测与跟踪。
它主要包括两方面:第一,运动目标的检测与提取;第二,目标跟踪。
其处理流程图如图2所示。
2 运动目标检测2.1 背景模型选取根据摄像机相对于场景的运动情况可以将运动目标检测分为静止背景下运动目标检测和运动背景下运动目标检测两种。
由自动跟踪装置的特性可知,在跟踪目标的过程中,摄像机随着伺服系统一起运动,所以应该考虑的是运动背景下运动目标的检测。
本文采用的是运用背景运动估计进行建模的思想,将两帧图像之间的背景运动关系用仿射变换表示,建立一个仿射运动参数模型。
如x k +1=a 1x k +a 2y k +d x y k +1=a 3x k +a 4y k +d y(1)96Ξ收稿日期:2006212211 E 2m ail :wuxiang602@基金项目:国家自然科学基金资助(60434010)作者简介:伍翔(19842),男,苗族,湖南省人,哈尔滨工业大学硕士研究生,从事图像处理研究。
式中(x k ,y k )为第k 帧图像背景中一像素坐标;(x k +1,y k +1)是其在第k +1帧中的坐标;a 1,a 2,d x ,a 3,a 4,d y 为模型参数。
假设背景做三维刚体运动,那么三维空间中一个刚体位置的运动,在笛卡尔坐标系中可以用仿射变换式(2)来建模[3]X ′=R X +T =R x αRy βRz θ+T(2)式中R 为3×3的旋转矩阵;α、β、θ分别表示绕X 、Y 、Z 轴按右手定则方向的旋转角度,R x α、Ry β、Rz θ分别是绕X Y Z 轴的旋转变换矩阵;T 是三维平移运动矢量。
由式(2)可知空间中一刚性三维物体的运动可以分别沿着三个坐标轴的旋转和空间中三个方向的平移运动叠加而成。
由此,我们可知,在背景做慢速三维运动时,两帧之间背景图像的变化主要是由背景沿轴的平移和围绕轴的旋转引起的。
另外,在自动跟踪装置跟踪过程中,伺服系统的运动速度相对于摄像机的拍摄速度而言,通常较慢,背景图像的运动体现出的是一种慢背景运动。
所以,用仿射模型(1)式去表示背景运动并应用于自动跟踪装置是完全合适的。
2.2 模型的建立模型参数的建立采用块匹配法,基于在跟踪瞄准过程中,目标基本是出现在视野的中心区域,因此可以在如式(3)描述的四个小区域内各选取一个待匹配块,式中M ax dx ,M ax dy 分别为背景图像在X ,Y 方向最大可能位移,i H ,iW 分别为帧图像的高和宽,R 为小区域的大小。
Rgn 1:{x ∈(Maxdx ,Maxdx +R ),y ∈(Maxdy ,Maxdy +R )}Rgn 2:{x ∈(iW -M ax dx ,iW ),y ∈(M ax dy ,M ax dy +R )}Rgn 3:{x ∈(M ax dx ,M ax dx +R ),y ∈(i H -M ax dy ,i H )}Rgn 4:{x ∈(iW -M ax dx ,iW ),y ∈(i H -M ax dy ,i H )}(3) 考虑到当随意选择一个块作为待匹配块时,如果该块含有的细节信息较少,并且由于图像在一定的小范围内通常会相对较为平滑或相似,这样使用该块在下一帧(k +1)图像中寻找匹配块时就很容易出现错误匹配,因此为了减少由此带来的错误匹配,本文选择上述四个区域中方差最大的块作为匹配块。
寻找方式如式为B i (x k ,y k )=max Bk ,i∈Rgni{V ar[B k ,i (x ,y ,w ,h )]}=max {∑m ,n ∈Bk ,i[fk((m ,n )-m )2]}i =1,2,3,4(4)其中(x k ,y k )为块B i (x k ,y k )中心坐标;m 为块B k ,i (x ,y ,w ,h )的均值;w ,h 分别为代匹配块的宽和高。
2.3 模型的求解选定好四个匹配块B i 后,用这四个匹配块与第k +1帧如式(3)的所描述的四个区域相匹配,计算匹配距离,计算公式为B ′i (x ,y )=C s ・∑m ,n ={-1,0,1}(w s (n ,m )・B i (x +n ,y +m ))Π(x ,y )∈B i(5)D i (x k +1,y k +1)=minfk +1∈Bi1w h・∑m ,n ∈Bi{wl(m ,n )[f ′k +1(x k +1+m ,y k +1+n )-B ′i (m ,n )]2}(6)其中w l ,w s 为窗函数,使用的目的是为了消弱由于背景图像旋转而引起块匹配时的误差,同时该窗也起到对图像进行平滑消除噪声影响的作用,本文选用的是三角窗。
当计算完四个待匹配块相对应的匹配块的中心坐标后,在四个中选取匹配距离最小的三个,代入仿射模型(1),构造一方程组,然后求解方程组,便可得到仿射模型式(1)的参数。
2.4 建立匹配图像及检测首先将第k +1帧的图像f k +1拷贝到匹配图像f ^k +1,然后利用模型(1),将第k 帧的图像f k 逐像素计算其在第k +1帧的新坐标(x ′,y ′),若计算得到的新坐标超出图像的大小范围,则将这一点抛弃,否则用该像素的值代替匹配图像f ^k +1的值,具体的计算公式见(7),计算完匹配图像后,匹配图像f ^k +1的背景图像与第k +1帧f k +1的背景图像已经匹配对准,这样就可以利用匹配图像f ^k +1与第k +1帧图像f k +1的差来进行变换检测,不符合背景运动特性的部分就会凸现出来,即运动目标被检测出来[4]。
a :f ^k +1=f k +1(x ,y );Πx ∈(0,Width );Πy ∈(0,Height )b :x ′=a 1x +a 2y +d x y ′=a 3x +a 4y +d yc :if (x ′∈(0,Width )and y ′∈(0,Height )) then f ^k +1(x ′,y ′)=f k (x ,y )(7)3 目标跟踪目标跟踪是自动跟踪功能的一个重要方面,考虑到自动跟踪装置要求定位精度高的特点,本文选取的是mean 2shift 的跟踪方法,mean 2shift 算法是利用目标图像像素灰度距离中心点的距离和作为特征。
将候选目标的特征与模板特征进行比较,再通过mean 2shift 过程使得跟踪算法收敛于平衡点。
该方法具有如下优点:(1)mean 2shift 算法是利用迭代的算法收敛到平衡点,所以相对耗时较少。
(2)由于mean 2shift 算法对各像素点灰度按到中心点的距离加权,距离中心点越远,权值越小,通常目标的边缘(距离中心点较远)最容易受到干扰,所以,mean 2shift 算法的抗干扰能力较强。
(3)mean 2shift 算法中对跟踪框进行了归一化处理,在目标的形状发生缩放、旋转的情况下仍然能够得到很好的跟踪效果。
(4)mean 2shift 算法对于刚体目标和非刚体目标都具有很好的跟踪性能[4]。
Dorin C 对mean 2shift 算法在文献[5]中作了详细的介绍与推导,证明其可以用于跟踪。
完整的跟踪算法总结如下:如果目标具有特征{q ^u }u =1,…,m ,在前一帧图中位于y ^0,那么重复以下步骤可得到目标新位置y ^1:1.估计当前帧中在y ^0处候选目标的特征{p ^u (y ^)0}u =1,…,m,计算ρ[p ^(y ^0),q ^]=∑mu =1p ^u (y 0)q ^u 。
