万方数据
万方数据
第2期刘富强。等:一种基于视觉的车道线检测与跟踪算法利用式(2求得的X便是车道线参数模型(1
中的h:.此外,利用消隐点可进行坐标变换,即将图
像坐标系内的点映射到世界坐标系中,这样便可得
到实际场景下的车道线.变换原理L15]如下简述:
如图2,设矩形QABC宽为Ⅳ,长为L,它经过
摄影变换投影为四边形oabc,d为平面oabc上任意
一点,已知0,a,b,e,d摄影变换后的坐标,求d变
换前的对应点D在QABC上的坐标.
由于A B//oc,推出口c与曲的交点秽。即为所
有与AB平行的直线摄影变换后对应的消隐点;同
理,oa与6c的交点口z也是所有与OA平行的直线变
换后对应的消隐点.
根据消隐点可求出Vzd与口6的交点m,即为
D点在All上投影M摄影变换后的对应点;可。d与
伽的交点n,即为D点在OA上的投影Ⅳ的对应点.
图2基于消隐点的坐标变换图示
Fig.2Calibration based On vanishing point
根据交比不变性,有:
(诹;栅2=(04;N%(bm;avl=(跚;AVl
可以分别得到:
,、0n×a',2
0N×A V2
‘0口;n移22二=:l—_==2二==——===2 a n x o',2A』v×0K
=O三N:(OA;毗
A N
,.、b a×m l,】BA×M V1
(mn;avl2二==—==三2====_—_===2 m a×b l,1MA x B VI
些:(BM;AV2
朋A
变换得到:一ON:A~N×竺娑
(3
a n×o耽
而:丽×竺些(4
b口×m v1
根据式(3和式(4,便可将图像中的车道线转换成实际车道线,效果如图3所示.
图3利用坐标变换对车道线图像进行转换
Fig.3Calibration of lane ill[1a曙e
2车道线检测算法分析
2.1图像预处理
首先,将彩色图像(见图4a转换为灰度图像(见图4b.本文选用如式(5的色彩特征空间:
F={t1R+t2G+t3B},ti={一2,一1,0,1,2},
i=1,2,3(5式中,R,G,B分别为红色、绿色和蓝色分量.
实验表明,t1=1,t2=1,和t3=0的这种形式最适合于车道线的检测.因为采用该形式进行灰度提取后的图像可以使得:车道线场景图片中的红色和绿色信道对于白线和黄线均具有很好的对比特性.
为了获取图像的边缘信息,输入图像.厂(∞,可的梯度值用3×3的Sobel算子以很低的阈值计算得出.因此,可以得到两幅图片:一幅灰度边缘幅度图,m(z,可(见图4c,表示输入图像的方向幅度值,和一幅灰度边缘方向图厂g(刃,∥(见图4d,表示输入图像垂直和水平方向的梯度幅度值的比值.
fx(∞,可={,(∞+1,可一1+2f(刃+l,秒+
,(∞+1,可+1一,(∞一1,可一1+
2f(刃,Y一1+,(刃一1,∥+1(6 f口(∞,可={-厂(∞一1,可+1+2f(∞,Y+1+
,(z+1,∥+1}一{/’(刃一1,可一1+
2f(∞,Y一1+,(∞+1,可一1(7 ,m(∞,可=￣/(^(∞,可2+(,Ⅳ(∞,可2≈
{f。(∞,可l+I fⅣ(∞,可I(8 ^(∞,可=^(刃,y/f。(∞,可(9 2.2自适应随机霍夫变换算法
霍夫变换(Hough transform,HT是从图像中提取出曲线的一种很普遍的方法,它被广泛用来进行车道线的检测.
本文采用了一种自适应的随机霍夫变换(random Hough transform,RHT[16l,用来计算车道
线参数模型中的参数曲率c和切线方向ta的值.这
万方数据
同济大学学报(自然科学版第38卷
种方法兼顾了霍夫变换和随机霍夫变换的优点.
图4图像预处理效果图示
Fig.4Image pre-processing
根据推导,一对像素点P1(z1,Y1和P2(z2, Y2,从灰度边缘图中被随机地采样出来,当点P。和P2的灰度方向值满足一定条件,即j arc tan(91一arc tan(92I<￡hre时,认为该两点有可能位于车道线上,这时,参数曲率C和切线方向t。的值可以按照如下的公式计算出来:
(∞l一∞2+以(z1,Y1(Yl—h:一,g(∞2,耽(Y2一h:
2(1/(Y1一h:一1/(Y2一h:
(10 td=刃1—2c/(yl—h。+^(∞1,Y1(Yl—h:
(11
在进行了大量的随机点采样后,需要选取可能性最大的一组参数值作为本次自适应随机霍夫变换的结果.不妨建立一个分别以参数c和参数ta为横纵坐标的二维坐标系,每次采样的参数计算结果都对应于该坐标系中的一个点,当一次自适应随机霍夫变换迭代结束时,该坐标系下已经存在很多个点,而可以找到一个圆心位置合适并且半径满足误差需求的圆,这个圆内容纳了该坐标系下尽可能多的点,这时,这个圆心对应的坐标(C,ta便作为本次自适应随机霍夫变换的最终参数结果.
2.3禁忌搜索算法
本文采用了基于最大后验概率的禁忌搜索(Tabu search,TS算法[17]来求解参数O的值.TS算法是一种交互式的全局最优搜索方法.它从当前解8开始,据定义好的移动准则产生一个邻域集合s7.对于产生的每一个解s7都需要计算其对应的最优化的目标函数的函数值,且选择最好的s7作为新的当前解,即使它比s要差.因此,这样可避免目标函数
的局部最优值.接着,一次新的迭代被执行:将从新的当前点开始,前一过程被重复,直到满足给定的停止条件.如果一个被访问过的点再次作为邻近点而产生,那么这个算法,可能进入无限循环.为了避免这种情况,最近产生的m个当前点需要被存储在一个列表中,该列表被称之为“Tabu列表”.当前点的邻近点如果属于“Tabu列表”,就会被忽略.
选用的目标函数是最大后验概率(MAP估计.一个似然概率密度函数p(o I刃,表示了由参数向量x=[c,O,,0:,td]T确定的车道线形状在观测图像中的概率.由此最大后验概率估计如下:
x‘=arg max p(x}z(12通过利用贝叶斯概率理论,可以得出:
x’=arg max p(zI工p(x(13真实世界中的车道线的宽度是有一定范围的,所以一个先验概率密度函数P(工可以由车道线模型参数来建立,由这些参数得出的先验知识如下:
P(膏。C expf一丝二掣1(14
(膏。C I一二三—二}二}(14
、or‘,
于是,
工’=arg max exp(一坠芋型?
盯2
/
≥二(,m(z,可s(m(∞,可?I COS0L I+
(￡,可∈J
.f.m(刃,可S(弧(∞,可l COS口R(15其中,MDL(刃,∥和M环(刃,矽分别表示点(刀,可到左边车道线和右边车道线的最短距离,在这里,为了提高算法的实时
性,MDL(z,Y和MDR(刃,可的计算采用了下面的近似:首先找到经过点(∞,Y的水平线与曲线的交点(刃7,Y7;过点(z7,可7作曲线的切线;计算点(刃,∥到该切线的距离.在车道线曲率不是很大的情况下,该近似误差可以忽略不计.0。和靠分别表示点(刃,可的梯度方向与左线和右线切线方向问的夹角.S(D是一个打分函数,用来衡量距离的权重系数.其中,S(0=1,S(D随着D从0到R单调递减,并且当D≥R时,S(D=1. S(D 被定义为
s(D:j e∥以。0≤D≤R(16
10其他
采用随机生成的方法产生邻域,参数向量工的第i个分量的第J个邻域为{!,I YJ=ggi+RjWiSb(17
式中,Rj是一个在区间[一1,1]之间的随机数;Wi 万方数据
万方数据
同济大学学报(自然科学版第38卷
动态时域模型,以隐含着的时间为自变量.状态空间
模型包括两个模型:①是状态方程模型,反映动态系
统在输入变量作用下在某时刻所转移到的状态;②
是输出或观测方程模型,它将系统在某时刻的输出
和系统的状态及输入变量联系起来.
由于该车载导航系统仅仅使用摄像机作为单一
传感器,无法获得转向角等其他参数,所以本文采用
的状态方程模型为简单的动力系统模型:
~1+r(1
∞(t一1+r 钆(t一1+V td(t一1+r 2
m赤川3, 4
(19
式中:可是车辆沿着水平地面上竖直方向行驶的速度;t是当前帧捕获的瞬间时刻;向量,=[r(1, r(2,r(3,r(4]是用于描述环境中各项干扰的随机向量;At表示连续两帧之间的时间差.从式(19可以看出,在车辆行驶过程中,车道线的曲率参数,切线方向参数,以及车道线的宽度变化量很小,而参数钆随着车辆的行驶进行实时更新.
给定系统状态的一种假设,车道线模型中的各个参数都可计算如下:
fc=c(芒
0】=一口。?(W(t一钆(t/口j-/
02=一口。?钆(t/口j-/
【亡d=芒d(t
式中:口。,a。分别是摄像机的水平和竖直比例因子; H是摄像机的高度.在对目标状态的传播进行“假设”之后,就需要利用得到的观测量(t时刻对其进行验证,这一步也就是系统观测.采用的观测量是前文用到的最大后验概率估计,如式(15所示.
车道线的检测结果可以被用来初始化跟踪算法的粒子集合.初始粒子来自于一个正态分布,该正态分布的均值是由检测算法获得的状态确定的.图7是采用粒子滤波器进行车道线跟踪的迭代流程图.首先进行粒子滤波器的初始化,包括:粒子集合初始化,系统状态模型设定和系统观测模型的设定.其次通过采样的方式预测各个粒子的初始位置,通过观测值的分布来计算各个粒子的重要性权值并进行归一化.然后,根据最大后验概率估计作为权重值对粒子重新进行采样.最后,根据式(19计算得到车道线参数向量,返回第二个步骤,执行整个跟踪流程.
<警子滤波器初始I匕>
’t t
I粒子集合初始化I l系统状态模型设定I l系统观测模型设定1
I I
,
~l利用MAP估计计算
一l各个粒子的权值
●
根据权值对粒
子进行重采样
●
厂粒子加权确定、、
L当前状态向量/
●
l根据状态向量计算
l道路标志线参数向量
图7粒子滤波器进行车道线跟踪流程图
ng.7Flow chart of la淝particle filter tracking algorithm 4实验结果
4.1车道线检测结果
本文提出的车道线检测算法不仅能够检测直道,而且能够适应弯道的检测,对车道线形状具有很好的适应性.图8a分别展示了本文提出的算法检测直道和弯道的结果,其中图8a中车道线位于严重阴影下,且右线上出现了较大斑块的车辆遮挡,但该算法仍然很准确地提取了车道线.
图8不同车道线形状下车道线检测结果
Fig.8Detection results of lanes with different shapes 本文提出的车道线检测算法对不同的车道线环境具有良好的适应性,即在各种干扰条件下都能进行鲁棒的车道线线检测.图9是在高速公路上的实验结果,光照条件不理想,且多车道的干扰及车道线旁边栏杆的干扰都对文中算法提出了较高的挑战,其中图9a中地面上出现了大范
围路标线的干扰,图9b中右线被车辆严重遮挡,图9c中右线严重缺失,尤其是图9d
中存在车辆遮挡,左线为虚线及地面斑块等多种干扰,充分考验了本文算法的鲁棒性.
4.2车道线跟踪结果
为了验证算法的可行性,在不同的交通场景中
做了大量实验,结果如下:图10展示了在校园车载
万方数据
第2期刘富强,等:一种基于视觉的车道线检测与跟踪算法
实验中若干变化较小帧的车道线跟踪的结果.由图可见,在粒子滤波器的跟踪机制下,车道线的提取结果趋于稳定.这说明在状态变化不剧烈的情形下,跟踪效果十分明显,系统也很稳定.
围9不同干扰下车道线检测结果
Fig.9
Detection results of lanes with
different interfefences
图10弯道车道线提取6帧图示
Fig.10
Tracking
results of curved
lanes(6frames
图11展示了在阴天光照条件不理想条件下车道线提取的结果.从图中可看到,在第102帧和第103帧时由于右线信息缺失较严重,使得右线出现了
一定程度的偏差,但是,在后续的跟踪中,逐渐得到了比较准确的结果,这都要归功于粒子滤波器的更新机制的调整作用.这说明即使跟踪过程发生一定程度的场景变化,最终也会逐渐恢复稳定,算法具备较好的鲁棒性.
本文一共选取了3段不同场景,每种场景均使
用了1000帧图片进行分析单纯使用心mT检测算
法进行检测时,有2746帧图片检测准确,主要的误检发生在车道线的缺失,复杂的车道线和车辆干扰,遮挡等情况下.为了测试算法实时性,使用的PC性能为Intel酷睿2代2.00
GHz CPU,2.0
G内存,此
时处理平均速度为12.8帧?S~,而在加入粒子滤波器后,车道线的检测准确率提高到94.3%.同时由于粒子滤波器提供的信息使得禁忌搜索需要搜索的范围进一步减少,虽然增加跟踪算法,算法的处理速
度反而提升为14.2帧?s一.同时进行的实时车载实验表明,在车速30km?h。的情况下算法能较好工作,超过此速度会出现间断性的帧漏检情形.
本文与主要的参考文献E15—16]相比主要有以下优势:文献[15]主要利用自适应随机霍夫变换算法进行车道线的检测,虽然算法效果很好,但是论文并未提出任何跟踪算法.本文则提出了基于粒子滤波器的跟踪算法,这样在车道线出现缺失、遮挡等情况下算法不会存在较大偏差,也能逐渐进行自适应的恢复.同时跟踪算法提供的知识可以提高算法的实时性.而文献[16]的车道线检测算法中将所有的车道线模型参数均使用Tabu search算法进行搜索
并使用后验概率来评估,这样并未充分利用图像中
车道线的信息.本文则结合了自适应随机霍夫变换算法充分利用了车道线的信息和模型特点,直接、准确地获取了参数c和￡a,极大地提高了算法的实时性和准确率.
5
总结
本文提出的利用自适应随机霍夫变换方法和
Tabu
search算法求解参数的车道线检测算法,并且
结合基于粒子滤波器的跟踪算法,可以对车道线进行稳定的快速的提取.大量的实验验证了算法的有效性和实时性.本文中的算法既可以检测直道,也能适应弯道的检测,而且,对不同的光照条件具有良好
的:壬击一陆
图11阴天环境下车道线提取结果图示
…““。工‘
....
Fig.1l。
Extraction№sults
of
lanes帆cioudy
days
(下转第306页
万方数据
万方数据
一种基于视觉的车道线检测与跟踪算法作者:刘富强, 张姗姗, 朱文红, 李志鹏
作者单位:同济大学,电子与信息工程学院,上海,200092
刊名:
同济大学学报(自然科学版
英文刊名:JOURNAL OF TONGJI UNIVERSITY(NATURAL SCIENCE
年,卷(期:2010,38(2
被引用次数:4次
参考文献(18条
1.Kastrinaki V;Zervakis M;Kalaitzakis K A survey of video processing techniques for traffic applications[外文期刊] 2003(01
2.Betke M;Haritaoglu E;Davis L S Real-time multiple vehicle detection and tracking from a moving vehicle[外文期刊] 2000(02
3.Zhang J;Nagel H Texture-based segmentation of road images[外文会议] 1994
4.Bertozzi M;Broggi A GOLD:a parallel real-time stereo vision system for generic obstacle and lane detection[外文期刊] 1998(01
5.Kreucher C;Lakshmanan S LANA:a lane extraction algorithm that uses frequency domain features
1999(02
6.刘富强;田敏;胡振程智能汽车中基于视觉的道路检测与跟踪算法[期刊论文]-同济大学学报(自然科学版
2007(11
7.Ma B;Lakshmanan S;Hero A O Simultaneous detection of lane and pavement boundaries using model-based multi-sensor fusion 2000(02
8.Southall B;Taylor C J Stochastic road shape estimation[外文会议] 2001
9.Lee J W A machine vision system for lane-departure detection[外文期刊]
2002(01
10.Lee J W;Kee C D;Yi U K A new approach for lane departure identification[外文会议] 2003
11.Kang D J;Jung M H Road lane segmentation using dynamic programming for active safety vehicles 2003(13
12.McCall C;Mohan M Video-based lane estimation and tracking for driver assistance:survey,system,and evaluation 2006(01
13.Nedevschi S;Schnidt R;Graf T3D lane detection system based on stereovision[外文会议] 2004
14.McLean G F;Kotturi D Vanishing point detection by Line clustering 1995(08
15.Rasmussen Christopher Grouping dominant orientation for ill-structured road following 2004
16.LI Qing;ZHENG Nanning;CHENG Hong Springrobot:a prototype autonomous vehicle and its algorithms
for lane detection[外文期刊] 2004(04
17.ZHOU Yong;XU Rong;HU Xiaofeng A robust lane detection and tracking method based on computer
vision 2006(14
18.Isard M A;Blake Condensation-conditional density propagation for visual tracking 1998(01
本文读者也读过(7条
1.龚建伟.王安帅.熊光明.刘伟.陈慧岩.GONG Jian-wei.WANG An-shuai.XIONG Guang-ming.LIU Wei.CHEN Hui-yan一种自适应动态窗口车道线高速检测方法[期刊论文]-北京理工大学学报2008,28(6
2.徐岩.雷涛.XU Yan.LEI Tao基于形态学方法的车道线检测算法研究[期刊论文]-铁道学报2009,31(1
3.张云港基于视觉的车道线检测算法[学位论文]2005
4.吴林成基于视觉的高速公路车道线检测算法研究[学位论文]2010
5.杨喜宁.段建民.高德芝.郑榜贵.Yang Xining.Duan Jianmin.Gao Dezhi.Zheng Banggui基于改进Hough变换的车道线检测技术[期刊论文]-计算机测量与控制2010,18(2
6.沈峘.李舜酩.柏方超.李芳培.缪小冬.Shen Huan.Li Shunming.Bo Fangchao.Li Fangpei.Miao Xiaodong结构化道路中车道线的单目视觉检测方法[期刊论文]-仪器仪表学报2010,31(2
7.林国余.陈旭.张为公.Lin Guoyu.Chen Xu.Zhang Weigong基于多信息融合优化的鲁棒性车道检测算法[期刊论文]-东南大学学报(自然科学版2010,40(4
引证文献(4条
1.许宏科.秦严严一种基于Hough变换的车道线检测新方法[期刊论文]-徐州工程学院学报(自然科学版 2013(4
2.王晓云.王永忠基于线性双曲线模型的车道线检测算法[期刊论文]-杭州电子科技大学学报 2010(6
3.周君基于时空马尔可夫随机场交通参数采集系统研究[期刊论文]-计算机科学2013(10
4.张惠玲.李克平.钱红波.李鑫基于视频双截面的信号控制交叉口延误检测[期刊论文]-同济大学学报(自然科学版 2011(7
本文链接:https://www.doczj.com/doc/846011875.html,/Periodical_tjdxxb201002013.aspx
Artificial Intelligence and Robotics Research 人工智能与机器人研究, 2015, 4(3), 17-22 Published Online August 2015 in Hans. https://www.doczj.com/doc/846011875.html,/journal/airr https://www.doczj.com/doc/846011875.html,/10.12677/airr.2015.43003 A Survey on Object Tracking Jialong Xu Aviation Military Affairs Deputy Office of PLA Navy in Nanjing Zone, Nanjing Jiangsu Email: pugongying_0532@https://www.doczj.com/doc/846011875.html, Received: Aug. 1st, 2015; accepted: Aug. 17th, 2015; published: Aug. 20th, 2015 Copyright ? 2015 by author and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). https://www.doczj.com/doc/846011875.html,/licenses/by/4.0/ Abstract Object tracking is a process to locate an interested object in a series of image, so as to reconstruct the moving object’s track. This paper presents a summary of related works and analyzes the cha-racteristics of the algorithm. At last, some future directions are suggested. Keywords Object Tracking, Track Alignment, Object Detection 目标跟踪相关研究综述 徐佳龙 海军驻南京地区航空军事代表室，江苏南京 Email: pugongying_0532@https://www.doczj.com/doc/846011875.html, 收稿日期：2015年8月1日；录用日期：2015年8月17日；发布日期：2015年8月20日 摘要 目标跟踪就是在视频序列的每幅图像中找到所感兴趣的运动目标的位置，建立起运动目标在各幅图像中的联系。本文分类总结了目标跟踪的相关工作，并进行了分析和展望。
视觉测量系统技术及应用 1 引言 基于计算机的视觉检测系统是指通过计算机视觉产品将被摄取目标转换成图像信号，传送给图像处理系统，图像处理系统再根据像素分布和亮度、颜色等信息，转变成数字化信号，计算机图像系统对这些信号进行复杂运算来抽取目标的特征，进而根据判别的结果来控制设备动作。它具有非接触、速度快等优点，是一种先进的检测手段，非常适合现代制造业。可用于视觉检测的试验原理很多，如纹理梯度法、莫尔条纹法、飞行时间法等，然而诸多测试原理中，尤其基于三角法的主动和被动视觉测量原理具有抗干扰能力强、效率高、精度合适等优点，非常适合在线非接触测量。本文主要从视觉测量系统在实际中应用出发，展示视觉检测技术在制造业中的广阔应用[1-4]。 2 视觉测量系统技术的应用 2.1 汽车车身视觉检测系统 在汽车制造过程中，车身上总有很多关键的三维尺寸进行测量，采用传统的三坐标测量机只能离线抽样检测，效率低，更不能满足现代汽车制造在线检测的需要，而视觉检测系统能很好的适应该需要，典型的汽车车身视觉检测系统如图1所示[5]。 图1 车身视觉检测系统 车身检测系统主要依靠的是数个视觉传感器，其中还包括传送机构、定位机构，计算机图像采集、网络控制部分。每个传感器对应一个被测区域，然后通过传输总线传至计算机，通过计算机对每个视觉传感器进行过程控制。 汽车车身检测系统的测量效率很高，精度式中，并且可以在完全自动情况下完成，这个包含几十个测点的系统都能再几分钟内测量完成，因此可以适应汽车制造的在线检测。而且传感器的布置可以根据不同车型来布置，增加了应用要求，
因此减少了车身视觉系统的维护费用。 2.2 拔丝模孔形视觉检测系统 使用计算机视觉检测技术开发出的拔丝模孔形检测系统由光学成像系统、工业用摄像机图像采集卡、计算机及监视器组成，可以解决生产实际中的模具孔形检测问题．工作原理如下：先采用注入硅胶方法获得反映待检拔丝模尺寸及形状的硅胶凸模，然后把硅胶凸模放在光学系统的载物台上．硅胶凸模经光学成像放大，成像于CCD像面上，然后用图像采集卡采集CCD图像信息，最后由计算机视觉检测软件完成对孔形尺寸的自动计算，此时图像采集时需要配置特殊的光照系统．系统实现了自动数据采集、处理，实现采样、进样、结果一条龙，形成检测的自动化． 2.3 无缝钢管直线度和截面在线视觉检测 无缝钢管是一类重要的工业产品，在反应无缝钢管质量中，钢管直线度及截面尺寸是主要的几何参数。现代工业已经可以实现无缝钢管的大批量大规模生产，并且并无成熟的直线度、截面尺寸高效率的检测系统，主要原因为：无缝钢管空间尺寸大，需要很大的测量空间，一般的检测手段很难实现如此大尺度的检测。然而视觉检测却非常适合无缝钢管及截面尺寸的测量，其测量原理图如图2所示。 多个传感器组成了视觉检测系统，传感器的结构光所投射的光平面与被测钢管相交，从而得到钢管的部分圆周，传感器测量圆周在传感器三维空间位置，每一个传感器实现一个截面圆周测测量，然后通过拟合得到截面的圆心和其空间位置，从而实现对无缝钢管截面和直径的测量。 图2 无缝钢管在线检测 2.4 视觉测量在逆向工程中的应用 逆向工程是针对现有的工件，利用3D数字化测量仪准确快速地测量出轮廓坐标值，并建构曲面，经过编辑、修改后，将图形存档形成一般的CAD/CAM系统，再由CAM所产生刀具的NC加工路径送至CNC加工机制所需模具，或者以快速成型将物品模型制作出来。视觉测量一般使用三种激光光源：点结构光、线结构光、面结构光，图3为使用线结构光测量物体表面轮廓的结构示意图[6]。
第九章图像目标探测与跟踪技术 主讲人：赵丹培 宇航学院图像处理中心 zhaodanpei@https://www.doczj.com/doc/846011875.html, 电话：82339972
目录 9.1 概论 9.2 目标检测与跟踪技术的发展现状9.3 目标检测与跟踪技术的典型应用9.4 图像的特征与描述 9.5 目标检测方法的基本概念与原理9.6 目标跟踪方法涉及的基本问题
9.1 概论 1、课程的学习目的 学习和掌握目标探测、跟踪与识别的基本概念和术语，了解一个完整信息处理系统的工作流程，了解目标探测、跟踪与识别在武器系统、航空航天、军事领域的典型应用。了解目标检测、跟踪与识别涉及的关键技术的发展现状，为今后从事相关的研究工作奠定基础。 2、主要参考书： 《目标探测与识别》，周立伟等编著，北京理工大学出版社； 《成像自动目标识别》，张天序著，湖北科学技术出版社； 《动态图像分析》，李智勇沈振康等著，国防工业出版社；
引言：学习目标检测与跟踪技术的意义 ?现代军事理论认为，掌握高科技将成为现代战争取胜的重要因素。以侦察监视技术、通信技术、成像跟踪技术、精确制导技术等为代表的军用高科技技术是夺取胜利的重要武器。 ?成像跟踪技术是为了在战争中更精确、及时地识别敌方目标，有效地跟踪目标，是高科技武器系统中的至关重要的核心技术。 ?例如：一个完整的军事战斗任务大致包括侦察、搜索、监视以及攻击目标和毁伤目标。那么快速的信息获取和处理能力就是战争胜利的关键，因此，目标的实时探测、跟踪与识别也成为必要的前提条件。
?随着现代高新技术的不断发展及其在军事应用领域中的日益推广，传统的作战形态正在发生着深刻的变化。 1973年的第四次中东战争，1982年的英阿马岛之战，1991年的海湾战争及1999年的科索沃战争，伊拉克战争等都说明了这一点。西方各军事强国都在积极探索对抗武器，特别是美国更是投入了巨大的物力、人力和财力积极研制弹道导弹防御系统。而图像检测、跟踪和识别算法作为现代战场信息环境作战成败的关键，具备抗遮挡、抗丢失和抗机动鲁棒性的智能跟踪器，将是现代战场作战必备品，具有广泛的应用前景。
人体目标检测与跟踪算法研究 摘要：近些年以来，基于视频中人体目标的检测与跟踪技术研究越来越被重视。然而，由于受到目标自身特征多样性和目标所处环境的复杂性和不确定性的影响，现存算法的性能受到很大的限制。本文对目前所存在的问题进行了分析，并提出了三帧差分法和改进阈值分割法相结合的运动目标检测算法和多特征融合的改进运动目标跟踪算法。这两种算法不仅可以准确有效的检测出运动目标而且能够满足实时性的要求，有效的解决了因光照变化和目标遮挡等情况造成的运动目标跟踪准确度下降或跟踪目标丢失等问题。 关键词：三帧差分，Camshift，阈值分割 Research Based on Human Target Detectionand Tracking Algorithm Abstract: In recent years, human object detection and tracking become more and more important. However the complexity, uncertainty environment and the target’s own diversity limit the performance of existing algorithms. The main works of this paper is to study and analysis the main algorithm of the human object detection and tracking, and proposes a new moving target detection method based on three-frame difference method and threshold segmentation and improved Camshift tracking algorithm based on multi-feature fusion. These algorithm can satisfy the real-time, while accurately and efficiently detect moving targets, and also effectively solves the problem of tracking object lost or misplaced under illumination change or target occlusion. Keywords: three-frame difference, Camshift, threshold segmentation 一、绪论 （一）选题的背景和意义 人类和动物主要通过眼睛来感受和认知外部世界。人类通过视觉所获取的信息占了60%[1]，因此，在开发和完善人工智能的过程中，赋予机器视觉的功能这一操作极不可缺少。完善上述功能需要以许多技术为基础，特别是运动目标的检测与跟踪技术。近些年以来，此技术受到了越来越多的关注[2]。目前，此技术也在各领域得到了充分的应用，涵盖的领域有智能交通、导航、智能视频监控、精确制导、人机交互和多媒体视频编码压缩技术等。
1引言 目标跟踪可分为主动跟踪和被动跟踪。视频目标跟踪属于被动跟踪。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。这些优点使得视频目标跟踪测量在靶场光电测量、天文观测设备、武器控制系统、激光通信系统、交通监控、场景分析、人群分析、行人计数、步态识别、动作识别等领域得到了广泛的应用[1-2]。 根据被跟踪目标信息使用情况的不同，可将视觉跟踪算法分为基于对比度分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。基于对比度分析的跟踪算法主要利用目标和背景的对比度差异，实现目标的检测和跟踪。基于匹配的跟踪主要通过前后帧之间的特征匹配实现目标的定位。基于运动检测的跟踪主要根据目标运动和背景运动之间的差异实现目标的检测和跟踪。前两类方法都是对单帧图像进行处理，基于匹配的跟踪方法需要在帧与帧之间传递目标信息，对比度跟踪不需要在帧与帧之间传递目标信息。基于运动检测的跟踪需要对多帧图像进行处理。除此之外，还有一些算法不易归类到以上3类，如工程中的弹转机跟踪算法、多目标跟踪算法或其他一些综合算法。2基于对比度分析的目标跟踪算法基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。这类算法按照跟踪参考点的不同可以分为边缘跟踪、形心跟踪和质心跟踪等。这类算法不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合（如要求跟踪目标的左上角或右下角等）有其独到之处。缺点是跟踪点易受干扰，跟踪随机误差大。重心跟踪算法计算简便，精度较高，但容易受到目标的剧烈运动或目标被遮挡的影响。重心的计算不需要清楚的轮廓，在均匀背景下可以对整个跟踪窗口进行计算，不影响测量精度。重心跟踪特别适合背景均匀、对比度小的弱小目标跟踪等一些特殊场合。图像二值化之后，按重心公式计算出的是目标图像的形心。一般来说形心与重心略有差别[1-2]。 3基于匹配的目标跟踪算法 3.1特征匹配 特征是目标可区别与其他事物的属性，具有可区分性、可靠性、独立性和稀疏性。基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的 文章编号：1002－8692（2010）12-0135-04 视频目标跟踪算法综述* 蔡荣太1，吴元昊2，王明佳2，吴庆祥1 （1.福建师范大学物理与光电信息科技学院，福建福州350108； 2.中国科学院长春光学精密机械与物理研究所，吉林长春130033） 【摘要】介绍了视频目标跟踪算法及其研究进展，包括基于对比度分析的目标跟踪算法、基于匹配的目标跟踪算法和基于运动检测的目标跟踪算法。重点分析了目标跟踪中特征匹配、贝叶斯滤波、概率图模型和核方法的主要内容及最新进展。此外，还介绍了多特征跟踪、利用上下文信息的目标跟踪和多目标跟踪算法及其进展。 【关键词】目标跟踪；特征匹配；贝叶斯滤波；概率图模型；均值漂移；粒子滤波 【中图分类号】TP391.41；TN911.73【文献标识码】A Survey of Visual Object Tracking Algorithms CAI Rong-tai1,WU Yuan-hao2,WANG Ming-jia2,WU Qing-xiang1 （1.School of Physics,Optics,Electronic Science and Technology,Fujian Normal University,Fuzhou350108,China; 2.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Science,Changchun130033,China）【Abstract】The field of visual object tracking algorithms are introduced,including visual tracking based on contrast analysis,visual tracking based on feature matching and visual tracking based on moving detection.Feature matching,Bayesian filtering,probabilistic graphical models,kernel tracking and their recent developments are analyzed.The development of multiple cues based tracking,contexts based tracking and multi-target tracking are also discussed． 【Key words】visual tracking;feature matching;Bayesian filtering;probabilistic graphical models;mean shift;particle filter ·论文·*国家“863”计划项目（2006AA703405F）；福建省自然科学基金项目（2009J05141）；福建省教育厅科技计划项目（JA09040）
视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设f k（x, y）和f（k i）（x, y）分别为图像序列中的第k帧和第k+1帧中象素点（x，y）的象素值,则这两帧图像的差值图像就如公式2-1所示： Diff ki f k（x, y） f（k 1）（x, y）（2-1）2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1式得到第k帧和第k+1帧的差值图像Diff k 1；2、对所得到的差值图像Diff k 1二值化（如 式子2-2示）得到Qk+1 ；3、为消除微小噪声的干扰，使得到的运动目标更准 确，对Q k 1进行必要的滤波和去噪处理，后处理结果为M k 1。 1
移动物体检测与跟踪算法的实现 移动物体检测算法已经在带LCD 的Intel XScale 270平台上实现，效果如下图所示。 这个界面是在Linux操作系统下利用QT库采用C++开发的。如果在MicroBlaze上移植Linux成功的话，可能会出现不能支持QT的情况，那我们将舍弃用QT做出来的控制界面，而将图像视频直接显示在VGA显示器上。 接下来我将介绍一下实现这个效果我们所采用的算法和程序的流程： 一、算法 1、基于灰度图像的检测算法 为了完成实时目标检测，需要一系列的操作，所以就需要对目标的特征进行提取，包括目标的形状和颜色分布。由于人体是非刚性的，外在的障碍物和自身的噪声可能给建立唯一的模型带来困难。为了减小这些影响我们把摄像头观察点放置在人群的正上方，这样几乎不会有重叠的现象而且每个目标占用图像的面积很小。 我们采用基于灰度直方图的方法简化目标模型，由于系统只需识别出有物体的存在并进行跟踪，所以要求的精度不需要很高，因此在该系统只识别人体的大体外形及所处的位置而忽略身体的细节部分，使算法更加简化。为了突出目标本文采用相邻帧差法去除不变的部分（比如背景、身体的一些部分），通过分析剩下的部分我们可以定位目标所在的位置。简单的帧差法并不足以达到检测的精度，这里采用相差后图像的水平和垂直投影完成检测功能。 下面给出这个算法的过程： (1) 相邻图像相差后得到M*N的图像I，如图1所示。非零的那些像素大部分是头部的运动边缘，通过对差分图的分析就可以定位运动目标。
图1 相邻帧相减后的图像 (2) 求出差分图像I 的水平及垂直投影分别用H 和V 表示。如图2显示了两相邻帧和差分后的水平投影值的分布。 水平投影的计算如下： 1()(,)N j V i I i j ==∑ 1,2,.... ,i N = (1) 图2 两相邻帧以及差分后的水平投影 从图中可以很明显地看出，在人体头部周围跟随两个峰值。这里我们利用这个特征来检测定位目标。为了最小化噪声的扰动和摄像机抖动的影响我们采用对V 进行中值滤波来保持边缘并滤除孤立脉冲噪声和胡椒噪声。 (3) 如果运动物体存在，那么在向量V 中肯定存在具有足够多的灰度值大于分割阈值的像素点的段。我们将图像I 分成n 个域（n 就是段数），每一个域都位于相应段的中心并且具有一定的宽度。那么这就检测出具有n 个运动目标。 (4) 假设每个域有一组纵向目标。对每个域进行水平投影得到(1,2,3,...,)i H i n =然后进行中值滤波，如果在第i 个域中存在m 个目标，那么在i H 中一定具有m 个显著的值（峰值）。再进行中值滤波并且利用另外一个阈值将域中的一组目标分割开。这样就得
机器视觉测量技术 杨永跃 合肥工业大学 2007.3
目录第一章绪论 1.1 概述 1.2 机器视觉的研究内容 1.3 机器视觉的应用 1.4 人类视觉简介 1.5 颜色和知觉 1.6 光度学 1.7 视觉的空间知觉 1.8 几何基础 第二章图像的采集和量化 2.1 采集装置的性能指标 2.2 电荷藕合摄像器件 2.3 CCD相机类 2.4 彩色数码相机 2.5 常用的图像文件格式 2.6 照明系统设计 第三章光学图样的测量 3.1 全息技术 3.2 散斑测量技术 3.3 莫尔条纹测量技术 3.4 微图像测量技术 第四章标定方法的研究 4.1 干涉条纹图数学形成与特征 4.2 图像预处理方法 4.3 条纹倍增法 4.4 条纹图的旋滤波算法 第五章立体视觉 5.1 立体成像
5.2 基本约束 5.3 边缘匹配 5.4 匹域相关性 5.5 从x恢复形状的方法 5.6 测距成像 第六章标定 6.1 传统标定 6.2 Tsais万能摄像机标定法 6.3 Weng’s标定法 6.4 几何映射变换 6.5 重采样算法 第七章目标图像亚像素定位技术 第八章图像测量软件 （多媒体介绍） 第九章典型测量系统设计分析9.1 光源设计 9.2 图像传感器设计 9.3 图像处理分析 9.4 图像识别分析 附：教学实验 1、视觉坐标测量标定实验 2、视觉坐标测量的标定方法。 3、视觉坐标测量应用实验 4、典型零件测量方法等。
第一章绪论 1.1 概述 人类在征服自然、改造自然和推动社会进步的过程中，面临着自身能力、能量的局限性，因而发明和创造了许多机器来辅助或代替人类完成任务。智能机器或智能机器人是这种机器最理想的模式。 智能机器能模拟人类的功能、能感知外部世界，有效解决问题。 人类感知外部世界：视觉、听觉、嗅觉、味觉、触觉 眼耳鼻舌身 所以对于智能机器，赋予人类视觉功能极其重要。 机器视觉：用计算机来模拟生物（外显或宏观）视觉功能的科学和技术。 机器视觉目标：用图像创建或恢复现实世界模型，然后认知现实世界。 1.2 机器视觉的研究内容 1 输入设备成像设备：摄像机、红外线、激光、超声波、X射线、CCD、数字扫描仪、 超声成像、CT等 数字化设备 2 低层视觉（预处理）：对输入的原始图像进行处理（滤波、增强、边缘检测），提取角 点、边缘、线条色彩等特征。 3 中层视觉：恢复场景的深度、表面法线，通过立体视觉、运动估计、明暗特征、纹理 分析。系统标定 4 高层视觉：在以物体为中心的坐标系中，恢复物体的完整三维图，识别三维物体，并 确定物体的位置和方向。 5 体系结构：根据系统模型（非具体的事例）来研究系统的结构。（某时期的建筑风格— 据此风格设计的具体建筑） 1.3 机器视觉的应用 工业检测—文件处理，毫微米技术—多媒体数据库。 许多人类视觉无法感知的场合，精确定量感知，危险场景，不可见物感知等机器视觉更显其优越十足。 1 零件识别与定位
基于opencv中光流法的运动 行人目标跟踪与检测 一、课题研究背景及方法 行人检测具有极其广泛的应用：智能辅助驾驶，智能监控，行人分析以及智 能机器人等领域。从2005年以来行人检测进入了一个快速的发展阶段，但是也存在很多问题还有待解决，个人觉得主要还是在性能和速度方面还不能达到一个权衡。 早期以静态图像处理中的分割、边缘提取、运动检测等方法为主。例如 （1）以Gavrila为代表的全局模板方法：基于轮廓的分层匹配算法，构造了将近2500个轮廓模板对行人进行匹配, 从而识别出行人。为了解决模板数量众多而引起的速度下降问题，采用了由粗到细的分层搜索策略以加快搜索速度。另外，匹配的时候通过计算模板与待检测窗口的距离变换来度量两者之间的相似性。 （2）以Broggi为代表的局部模板方法：利用不同大小的二值图像模板来对人头和肩部进行建模，通过将输入图像的边缘图像与该二值模板进行比较从而识别行人，该方法被用到意大利Parma大学开发的ARGO智能车中。 （3）以Lipton为代表的光流检测方法：计算运动区域内的残余光流； （4）以Heisele为代表的运动检测方法：提取行人腿部运动特征； （5）以Wohler为代表的神经网络方法：构建一个自适应时间延迟神经网络来判断是否是人体的运动图片序列； 以上方法，存在速度慢、检测率低、误报率高的特点。 2、行人检测的研究现状
（1）基于背景建模的方法：分割出前景，提取其中的运动目标，然后进一步 提取特征，分类判别；在存在下雨、下雪、刮风、树叶晃动、灯光忽明忽暗等场 合，该方法的鲁棒性不高，抗干扰能力较差。且背景建模方法的模型过于复杂，对 参数较为敏感。 （2）基于统计学习的方法：根据大量训练样本构建行人检测分类器。提取的 特征一般有目标的灰度、边缘、纹理、形状、梯度直方图等信息，分类器包括神经 网络、SVM，adaboost等。该方法存在以下难点： （a）行人的姿态、服饰各不相同； （b）提取的特征在特征空间中的分布不够紧凑； （c）分类器的性能受训练样本的影响较大； （d）离线训练时的负样本无法涵盖所有真实应用场景的情况； 尽管基于统计学习的行人检测方法存在着诸多的缺点，但依然有很多人将注 意力集中于此。 行人检测国外研究情况： 法国研究人员Dalal在2005的CVPR发表的HOG+SVM的行人检测算法(Histograms of Oriented Gradients for Human Detection, Navneet Dalel,Bill Triggs, CVPR2005)。 Dollar 在 2010 年 BMVC 的《The fastest pedestrian detector in the west》一文中提出了一种新的思想，这种思想只需要训练一个标准 model,检测N/K（K ≈10）然后其余的 N-N/K 种大小的图片的特征不需要再进行这种复杂的计算，而是跟据这 N/K 次的结果，由另外一种简单的算法给估计出来，这种思 想实现的基础是大小相近的图像的特征可以被足够精确的估计出来；同年，德国
4．1．跟踪算法的基本流程 在本文的智能视频监控系统中，运动目标跟踪的基本流程如图4．1所示。 主要包括以下几个部分： (1)运动目标检测部分：在视频图像中定位、检测运动目标； (2)建立目标模板部分：根据检测到的目标，提取其特征建立跟踪模板； (3)目标运动预测部分：利用预测算法预测目标可能出现的位置； (4)运动目标跟踪部分：在预测范围内，利用跟踪算法搜索匹配的运动目标； 如果在预测范围内找到与目标模板匹配的目标，则更新该模板；否则建立 一个新的模板。 运动目标检测 图4．1本文的目标跟踪算法结构框图 4．2．Mean Shift算法 Mean Shifl这_个概念最早是有Fukunaga和Hostetle于1975年提出的一种无参嚣；| 一板]l_]一 ～ 一竺竺～～模一皈I| 一 王一目|! 离一 估计算法，其主要思想是沿着概率梯度上升的方向找到分布的峰值，即寻找极 值【61】；1 995年，Yizong Cheng等人定义了一簇核函数，并且设定了权重系数，这大大扩展了该算法的适用范围并使得其逐渐被不同领域所应用；自1 998年开 始，该算法被Bradski应用于人脸跟踪，其在目标跟踪领域的优势显现出来，并 不断被应用在目标跟踪的各个领域中‘621。 在Mean shift算法中非常重的一个概念就是核函数。其定义为：若函数K： 当X—R，存在剖面函数k：【0，叫一R，即式4．1： K(x)=k(㈣x 2) (4．1) 核函数必须是一个非负非增函数，并且是分段连续的，同时满足式4．2： 【k(r)dr 经过近４０多年的深入研究和发展，多目标跟踪技术在许多方面都有着广泛应用和发展前景，如军事视觉制导、机器人视觉导航、交通管 制、 医疗诊断等［１－２］。目前，虽然基于视频的多运动目标跟踪技术已取得了很大的成就，但由于视频中图像的变化和物体运动的复杂性，使得对多运动目标的检测与跟踪变得异常困难，如多目标在运动过程中互遮挡、监控场景的复杂性等问题，解决上述难题一直是该领域所面临的一个巨大挑战，因此，对视频中多目标跟踪技术研究仍然是近年来一个热门的研究课题［３－５］。 １、多目标跟踪的一般步骤 基于视频的多目标跟踪技术融合了图像处理、模式识别、人工智能、 自动控制以及计算机视觉等众多领域中的先进技术和核心思想。不同的多目标跟踪方法其实现步骤有一定的差异，但多目标跟踪的主要 流程是相同的，如图１所示，其主要包括图像预处理、 运动目标检测、多目标标记与分离、多目标跟踪四个步骤。 图１多目标跟踪基本流程图 ２、多目标跟踪方法 多目标跟踪方法可以根据处理图像或视频获取视点的多少分为两大类，一类是单视点的多目标跟踪，另一类就是多视点的多目标跟踪。 ２．１单视点的方法 单视点方法是针对单一相机获取的图像进行多目标的检测和跟踪。该方法好处在于简单且易于开发，但由于有限的视觉信息的获取，很难处理几个目标被遮挡的情况。 块跟踪（Ｂｌｏｂ－ｔｒａｃｋｉｎｇ）是一种流行的低成本的跟踪方法［６－７］。这种方法需要首先在每一帧中提取块，然后逐帧寻找相关联的块，从而实现跟 踪。 例如ＢｒａＭＢＬｅ系统［８］就是一个基于已知的背景模型和被跟踪的人的外表模型计算出块的似然性的多块跟踪器。这种方法最大的不足之处在于：当由于相似性或者遮挡，多个目标合并在一起时，跟踪将导致失败。因此，可以取而代之的方法是通过位置、外观和形状保留清晰目标的状态。文献［９］利用组合椭圆模拟人的形状，用颜色直方图模拟不同人的外观，用一个增强高斯分布模拟背景以便分割目标，一旦场景中发现对应于运动头部的像素，一个ＭＣＭＣ方法就被用于获取多个人的轮廓的最大后验概率，在单相机的多人跟踪应用中取得了非常有意义的结果。Ｏｋｕｍａ等人提出了一种将Ａｄａｂｏｏｓｔ算法和粒子滤波相结合的方法［１０］。该方法由于充分利用了两种方法的优点，相比于单独使用这两种方法本身，大大降低了跟踪失败的情形，同时也解决了在同一框架下检测和一致跟踪的问题。Ｂｒｏｓｔｏｗ等人提出了一个用于在人群中检测单个行人的特征点轨迹聚类的概率框架［１１］。这个框架有一个基本假设是一起运动的点对可能是同一个个体的一部分，并且把它用于检测和最终的跟踪。对于完全和部分遮挡目标以及外观变化，这些方法和另外一些相似的方法都有很大的局限性。 为了解决遮挡问题，一系列单视点跟踪技术应运而生。典型的方法 是利用块合并来检测遮挡的发生［１２］。当被跟踪的点消失， 跟踪特征点的方法就简单的将其作为一个被遮挡特征点。近年来，基于目标轮廓和外观的跟踪技术利用隐含的目标到相机的深度变化来表示和估计目标间的遮挡关系。但大多数方法都只能解决部分遮挡，不能解决完全被遮挡 的情况。 另外，小的一致运动被假设为是可以从遮挡视点中可以预测运动模式的，这些给没有预测运动的较长时间的遮挡的处理带来问题。尽管这些单视点的方法有较长的研究历史，但这些方法由于不能明锐的 观察目标的隐藏部分，因此不能很好地解决有２或３个目标的遮挡问题。 ２．２多视点的方法 随着复杂环境中对检测和跟踪多个被遮挡的人和计算他们的精确 位置的需要，多视点的方法成为研究的热点。 多视点跟踪技术的目的就是利用不同视点的冗余信息，减少被遮挡的区域，并提供目标和场景的３Ｄ信息。尽管通过相机不能很好地解决目标跟踪问题，但却提出了一些很好的想法，如选择最佳视点，但这些方法都以实际环境模型和相机校正为特征。 ９０年代后半期，在很多文献中给出了多视点相关的多目标跟踪方法。 比如利用一个或多个相机与观察区域相连的状态变化映射，同时给出一系列的行为规则去整合不同相机间的信息。利用颜色在多个视点中进行多目标的跟踪的方法，该方法模拟了从基于颜色直方图技术的 背景提取中获得的连接块并应用其去匹配和跟踪目标。 除此之外，也有在原来的单视点跟踪系统进行扩展的多视点跟踪方法。该方法主要是通过一个预测，当预测当前的相机不在有一个好的视点时，跟踪就从原来凯斯的那个单相机视点的跟踪转换到另外一个相机，从而实现多视点的跟踪。基于点与它对应的极线的欧氏距离的空间匹配方法、贝叶斯网络和立体相对合并的方法都是多目标多视点跟踪的常见方法。尽管这些方法都试图去解决遮挡问题，但由于遮挡的存在，基于特征的方法都不能根本解决，其次，这些方法中的遮挡关系的推理一般都是根据运动模型，卡尔曼滤波或者更普遍的马尔科夫模型的时间一致性来进行的。因此，当这个过程开始发散，这些方法也不能恢复遮挡关系。 最近一种基于几何结构融合多个视点信息的Ｈｏｍｅｇｒａｐｈｉｃｏｃｃｕｐａｎｃｙｃｏｎｓｒｒａｉｎｔ（ＨＯＣ）［１２］方法，可以通过在多场景平台对人的定位来解决遮挡问题。仅采用随时间变化的外表信息用于从背景中检测前景，这使得在拥挤人流的场景中的外表遮挡的解决更健壮。利用多视点中的前景信息，主要是试图找到被人遮挡的场景点的图像位置，然后这些被遮挡的信息用于解决场景中多个人的的遮挡和跟踪问题。在这种思想指导下，Ｍｉｔｔａｌ，Ｌｅｉｂｅ，Ｆｒａｎｃｏ等的研究工作和机器人导航中基于遮挡网格的距离传感器的并行工作是相似的，这些方法在融合３Ｄ空间信息的时候需要进行校正相机。但ＨＯＣ方法是完全基于图像的，仅需要２Ｄ结构信息进行图像平面的融合。当然也有另外一些不需要进行相机校正的算法被提出，但需要学习一个与相机最小相关的信息。在目标跟踪过程中，由于这些方法依赖于单个相机的场景，对于拥挤场景中目标分布密度增加九无能为力了。在ＨＯＣ的多视点的目标跟踪中，对于任何单一相机的场景，或者相机对的场景，都不需要进行定位和跟踪目标，而是从所有相机的场景中收集证据，形成一个统一的框架，由于该方法能够从多个时间帧的场景中进行场景被遮挡概率的全局轨迹优化，因此可以同时进行检测和跟踪。 ３、总结 动态目标检测与跟踪是智能监控系统的重要组成部分，它融合了图像处理、模式识别、自动控制及计算机应用等相关领域的先进技术和研究成果，是计算机视觉和图像编码研究领域的一个重要课题，在军事武器、工业监控、交通管理等领域都有广泛的应用。尤其是对于多目标检测与跟踪中的遮挡与被遮挡的处理，对提高智能监控中目标的行为分析有着重要的意义。随着监控设备的发展和设施的铺设，多视点的场景图像是很容易得到的，因此借助信息融合的思想，充分利用不同角度对目标的描述信息，可以很大地改进目前基于单视点的多目标检测和跟踪的精度，能够很好地解决单视点方法中不能很好解决的遮挡问题。参考文献 ［１］胡斌，何克忠．计算机视觉在室外移动机器人中的应用．自动化学报，２００６，３２（５）：７７４－７８４． ［２］Ａ．Ｏｔｔｌｉｋ，Ｈ．－Ｈ．Ｎａｇｅｌ．ＩｎｉｔｉａｌｉｚａｔｉｏｎｏｆＭｏｄｅｌ－ＢａｓｅｄＶｅｈｉｃｌｅＴｒａｃｋｉｎｇｉｎＶｉｄｅｏＳｅｑｕｅｎｃｅｓｏｆＩｎｎｅｒ－ＣｉｔｙＩｎｔｅｒｓｅｃｔｉｏｎｓ．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２００８，８０（２）：２１１－２２５．多目标跟踪方法研究综述 苏州联讯图创软件有限责任公司 陈宁强 ［摘要］文章对目前现有的多目标跟踪方法从信息获取的不同角度进行了综述。主要分析比较了目前单视点和多视点目标跟踪方 法对于目标遮挡问题的处理性能，并指出多视点的基于多源信息融合的思想，可以较好地解决场景中目标的遮挡问题。［关键词］单视点多视点目标跟踪信息融合基金项目：本文系江苏省自然科学基金（ＢＫ２００９５９３）。 作者简介：陈宁强（１９７３－），男，江苏苏州人，工程师，主要研究方向：ＧＩＳ、模式识别和图像处理与分析。 目标跟踪多目标标记与分离 匹配 目标模型 运动检测当前帧图像 背景提取 去噪 ＲＯＩ 预处理 视频序列 （下转第２６页） 万方数据 万方数据 万方数据 万方数据 单目视觉定位方法研究综述 作者：李荣明， 芦利斌， 金国栋 作者单位：第二炮兵工程学院602教研室,西安,710025 刊名： 现代计算机：下半月版 英文刊名：Modem Computer 年，卷(期)：2011(11) 参考文献(29条) 1.R.Horaud;B.Conio;O.Leboullcux An Analytic Solution for the Perspective 4-Point Problem 1989(01) 2.任沁源基于视觉信息的微小型无人直升机地标识别与位姿估计研究 2008 3.徐筱龙;徐国华;陈俊水下机器人的单目视觉定位系统[期刊论文]-传感器与微系统 2010(07) 4.邹伟;喻俊志;徐德基于ARM处理器的单目视觉测距定位系统[期刊论文]-控制工程 2010(04) 5.胡占义;雷成;吴福朝关于P4P问题的一点讨论[期刊论文]-自动化学报 2001(06) 6.Abdel-Aziz Y;Karara H Direct Linear Transformation from Comparator to Object Space Coordinates in Close-Range Ph- togrammetry 1971 7.Fishier M A;Bolles R C Random Sample Consensus:A Paradigm for Model Fitting with Applications to Image Analy-s~s anu Automated tartograpny 1981(06) 8.祝世平;强锡富用于摄像机定位的单目视觉方法研究[期刊论文]-光学学报 2001(03) 9.沈慧杰基于单目视觉的摄像机定位方法的研究 2009 10.任沁源;李平;韩波基于视觉信息的微型无人直升机位姿估计[期刊论文]-浙江大学学报（工学版） 2009(01) 11.刘立基于多尺度特征的图像匹配与目标定位研究[学位论文] 2008 12.张治国基于单目视觉的定位系统研究[学位论文] 2009 13.张广军;周富强基于双圆特征的无人机着陆位置姿态视觉测量方法[期刊论文]-航空学报 2005(03) 14.Zen Chen;JenBin Huang A Vision-Based Method for theCircle Pose Determination with a Direct Geometric Interpre- tation[外文期刊] 1999(06) 15.Safaee-Rad;I.Tchoukanov;K.C.Smith Three-Dimension of Circular Features for Machine Vision 1992 16.S.D.Ma;S.H.Si;Z.Y.Chen Quadric Curve Based Stereo 1992 17.D.A.Forsyth;J.L.Munday;A.Zisserman Projective In- variant Representation Using Implicit Algebraic Curves 1991(02) 18.吴朝福;胡占义PNP问题的线性求解算法[期刊论文]-软件学报 2003(03) 19.降丽娟;胡玉兰;魏英姿一种基于平面四边形的视觉定位算法[期刊论文]-沈阳理工大学学报 2009(02) 20.Sun Fengmei;Wang Weining Pose Determination from a Single Image of a Single Parallelogram[期刊论文]-Acta Automatica Sinica 2006(05) 21.吴福朝;王光辉;胡占义由矩形确定摄像机内参数与位置的线性方法[期刊论文]-软件学报 2003(03) 22.王晓剑;潘顺良;邱力为基于双平行线特征的位姿估计解析算法[期刊论文]-仪器仪表学报 2008(03) 23.刘晓杰基于视觉的微小型四旋翼飞行器位姿估计研究与实现 2009 24.刘士清;胡春华;朱纪洪一种基于灭影线的无人直升机位姿估计方法[期刊论文]-计算机工程与应用 2004(9) 25.Mukundan R;Raghu Narayanan R V;Philip N K A Vision Based Attitude and Position Estimation Algorithm for Rendezvous and Docking 1994(02) 机器视觉测量技术杨永跃合肥工业大学 2007.3 目录 第一章绪论 1.1 概述 1.2 机器视觉的研究内容 1.3 机器视觉的应用 1.4 人类视觉简介 1.5 颜色和知觉 1.6 光度学 1.7 视觉的空间知觉 1.8 几何基础 第二章图像的采集和量化 2.1 采集装置的性能指标 2.2 电荷藕合摄像器件 2.3 CCD 相机类 2.4 彩色数码相机 2.5 常用的图像文件格式 2.6 照明系统设计 第三章光学图样的测量 3.1 全息技术 3.2 散斑测量技术 3.3 莫尔条纹测量技术 3.4 微图像测量技术 第四章标定方法的研究 4.1 干涉条纹图数学形成与特征4.2 图像预处理方法 4.3 条纹倍增法 4.4 条纹图的旋滤波算法 第五章立体视觉 5.1 立体成像 2 5.2 基本约束 5.3 边缘匹配 5.4 匹域相关性 5.5 从 x 恢复形状的方法 5.6 测距成像 第六章标定 6.1 传统标定 6.2 Tsais 万能摄像机标定法 6.3 Weng ’ s 标定法 6.4 几何映射变换 6.5 重采样算法 第七章目标图像亚像素定位技术第八章图像测量软件 (多媒体介绍 第九章典型测量系统设计分析9.1 光源设计 9.2 图像传感器设计 9.3 图像处理分析 9.4 图像识别分析 附:教学实验 1、视觉坐标测量标定实验 2、视觉坐标测量的标定方法。 3、视觉坐标测量应用实验 4、典型零件测量方法等。 3 第一章绪论 1.1 概述 人类在征服自然、改造自然和推动社会进步的过程中,面临着自身能力、能量的局限性, 因而发明和创造了许多机器来辅助或代替人类完成任务。智能机器或智能机器人是这种机器最理想的模式。 智能机器能模拟人类的功能、能感知外部世界,有效解决问题。 人类感知外部世界:视觉、听觉、嗅觉、味觉、触觉 眼耳鼻舌身 所以对于智能机器,赋予人类视觉功能极其重要。 机器视觉:用计算机来模拟生物(外显或宏观视觉功能的科学和技术。 机器视觉目标:用图像创建或恢复现实世界模型,然后认知现实世界。 1.2 机器视觉的研究内容 1 输入设备成像设备:摄像机、红外线、激光、超声波、 X 射线、 CCD 、数字扫描仪、超声成像、 CT 等 数字化设备 2 低层视觉(预处理 :对输入的原始图像进行处理(滤波、增强、边缘检测 ,提取角点、边缘、线条色彩等特征。 3 中层视觉:恢复场景的深度、表面法线,通过立体视觉、运动估计、明暗特征、纹理分析。系统标定多目标跟踪方法研究综述
单目视觉定位方法研究综述
机器视觉测量技术
相关主题
文本预览