。
目标跟踪算法综述
大连理工大学卢湖川一、引言
目标跟踪是计算机视觉领域的一个重
要问题，在运动分析、视频压缩、行为识
别、视频监控、智能交通和机器人导航等
很多研究方向上都有着广泛的应用。目标
跟踪的主要任务是给定目标物体在第一帧
视频图像中的位置，通过外观模型和运动
模型估计目标在接下来的视频图像中的状
态。如图1所示。目标跟踪主要可以分为5
部分，分别是运动模型、特征提取、外观
模型、目标定位和模型更新。运动模型可
以依据上一帧目标的位置来预测在当前帧
目标可能出现的区域，现在大部分算法采用的是粒子滤波或相关滤波的方法来建模目标运动。随后，提取粒子图像块特征，利用外观模型来验证运动模型预测的区域是被跟踪目标的可能性，进行目标定位。由于跟踪物体先验信息的缺乏，需要在跟踪过程中实时进行模型更新，使得跟踪器能够适应目标外观和环境的变化。尽管在线目标跟踪的研究在过去几十年里有很大进展，但是由被跟踪目标外观及周围环境变化带来的困难使得设计一个鲁棒的在线跟踪算法仍然是一个富有挑战性的课题。本文将对最近几年本领域相关算法进行综述。
二、目标跟踪研究现状
1. 基于相关滤波的目标跟踪算法
在相关滤波目标跟踪算法出现之前，大部分目标跟踪算法采用粒子滤波框架来进行目标跟踪，粒子数量往往成为限制算法速度的一个重要原因。相关滤波提出了
一种新颖的循环采样方法，并利用循环样
本构建循环矩阵。利用循环矩阵时域频域
转换的特殊性质，将运算转换到频域内进
行计算，大大加快的分类器的训练。同时，
在目标检测阶段，分类器可以同时得到所
有循环样本得分组成的响应图像，根据最
大值位置进行目标定位。相关滤波用于目
标跟踪最早是在MOSSE算法[1]中提出
的。发展至今，很多基于相关滤波的改进
工作在目标跟踪领域已经取得很多可喜的
成果。
1.1. 特征部分改进
MOSSE[1] 算法及在此基础上引入循
环矩阵快速计算的CSK[2]算法均采用简单
灰度特征，这种特征很容易受到外界环境
的干扰，导致跟踪不准确。为了提升算法
性能，CN算法[3]对特征部分进行了优
化，提出CN（Color Name）空间，该空
间通道数为11（包括黑、蓝、棕、灰、绿、
橙、粉、紫、红、白和黄），颜色空间的引
入大大提升了算法的精度。
与此类似，KCF算法[4]采用方向梯度
直方图（HOG）特征与相关滤波算法结合，
同时提出一种将多通道特征融入相关滤波
的方法。这种特征对于可以提取物体的边
缘信息，对于光照和颜色变化等比较鲁棒。
方向梯度直方图（HOG）特征对于运
动模糊、光照变化及颜色变化等鲁棒性良
好，但对于形变的鲁棒性较差；颜色特征
对于形变鲁棒性较好，但对于光照变化不
够鲁棒。STAPLE算法[5]将两种特征进行
有效地结合，使用方向直方图特征得到相
关滤波的响应图，使用颜色直方图得到的
统计得分，两者融合得到最后的响应图像
并估计目标位置，提高了跟踪算法的准确
度，但也使得计算稍微复杂了一些。
图1 目标跟踪算法流程图
。
深度特征能够有效地建模物体语义信
息，对于物体外观及周围环境变化具有很
好的适应能力。Ma等人提出HCFT[6]算
法，将深度特征与相关滤波算法相结合，
取得了很好的效果。算法指出深度神经网
络不同层的特征具有不同的特点，浅层特
征包含更多的位置信息，但语义信息不明
显；深层特征包含更多的语义信息，抗干
扰能力较强，但位置信息弱化。如图2，算
法利用VGG网络的三层输出特征分别训
练三个相关滤波器，将得到的响应图按权重相加进行最终定位。
1.2. 引入尺度估计
尺度变化是目标跟踪中一个比较常见的问题。SAMF[7]和DSST[8]算法在KCF[4]的基础上引入了尺度估计。前者使用7个比较粗的尺度，使用平移滤波器在多尺度图像块上进行检测，选取响应值最大处所对应的平移位置和目标尺度；后者分别训练平移滤波器和尺度滤波器，使用33个比较精细的尺度，先用平移滤波器进行位置估计，然后在该位置处使用尺度滤波器进行尺度估计。这两种尺度估计的算法也是后来算法中经常使用的两种方法。
1.3. 基于分块算法
此外，跟踪过程中的物体通常用一个矩形框选取，由于跟踪的物体一般不为矩形，目标图像块不可避免地引入背景信息，导致跟踪不准确。为解决这一问题，可以采用分割算法或关键点算法来表示目标。基于分割的物体表示虽然可以很好地表示目标形状，但计算量过大，会影响跟踪算法的速度；而基于关键点的目标表示难以获取跟踪目标的整体特征，也不是一个很好的方法。为解决这一问题，Li[9]等人提出选取有效局部图像块来表示物体结构，利用每个局部图像块的响应图像来计算其置信度，这些响应图像按一定方法组合之后可以大致表示出图中物体的形状。算法采用霍夫投票的方法融合多个响应图像，估计目标位置和尺度。
1.4. 边界效应改进
边界效应也是影响滤波器性能提升的
一个主要问题。在训练阶段，由于密集样
本是经过中心图像块循环移位得到的，只
有中心样本是准确的，其他的样本都会存
在位移边界，导致训练的分类器在物体快
速移动时不能准确地跟踪。大部分算法的
解决方案是在图像上加上余弦窗，弱化图
像边界对于结果的影响，这样只要保证移
位后图像中心部分是合理的就可以。虽然
增加了合理样本的数量，但仍不能保证所
有训练样本的有效性；另外，加入余弦窗
也会使得跟踪器屏蔽了背景信息，只接受
部分有效信息，降低了分类器的判别能力。
为了克服边界效应，SRDCF[10]采用
大的检测区域，并且在滤波器系数上加入
权重约束，越靠近边缘权重越大，越靠近
中心权重越小，这样可以使得滤波器系数
主要集中在中心区域。由于滤波器在整个
搜索区域内移动来检测图像块的相关性，
因此在克服边界效应的同时不会忽略边缘
物体的检测。
2. 基于深度学习的目标跟踪算法
2.1. 基于判别模型的算法
基于判别模型的深度学习算法的出发
点是训练分类器用来区分前景和背景。分
类器性能的好坏决定了跟踪器的性能。深
度学习最早应用于目标跟踪领域的
DLT[12]算法就是基于判别模型实现的。先
使用4个堆叠的栈式降噪自编码器在大规
模自然图像数据集上进行无监督训练获得
物体表征能力，然后在解码器后面加入分
类层用于目标和背景图像块。由于训练数
据不足，网络并没有获得很好的表征能力，
算法精度不高，但是它提出的“离线预训
练+在线微调”的方法为深度学习在目标跟
踪中的应用提供了一个可行的方向，之后
很多算法都采用这种方法来进行目标跟
踪。
近几年来，随着大规模图像分类比赛
的流行，很多典型卷积网络被应用到图像
处理领域，也出现了很多基于这些网络的
目标跟踪算法。2015年，王立君等人提出
的FCNT[13]算法就利用了VGG-16网络。
算法提出深度神经网络不同层的特征具有
不同的特点，浅层特征含有较多位置信息，
深层特征含有更多语义信息，而且深度特
征存在大量冗余。因此，算法针对Conv4-3
和Conv5-3两层输出的特征图谱，训练特
征选择网络分别提取有效的特征, 然后将
选好的特征输送到各自的定位网络中得到
热力图，综合两个热力图得到最终的热力
图用于目标定位。算法利用不同层特征相
互补充，达到有效抑制跟踪器漂移，同时
对目标本身形变更加鲁棒的效果。
为了扩展CNN在目标跟踪领域的能
力，需要大量的训练数据，但这在目标跟
踪中是很难做到的。MDNet[14]算法提出
了一种解决该问题的思路。算法采用
VGG-M作为网络初始化模型，后接多个全
连接层用作分类器。训练时，每一个跟踪
视频对应一个全连接层，学习普遍的特征
表示用来跟踪。跟踪时，去掉训练时的全
连接层，使用第一帧样本初始化一个全连
接层，新的全连接层在跟踪的过程中继续
图2 HCFT算法流程图
微调，来适应新的目标变化。这种方法使得特征更适合于目标跟踪，效果大大提升。由此可以看出，通过视频训练的网络更适合目标跟踪这一任务。
2.1. 基于生成模型的算法
基于生成模型的深度目标跟踪算法主要通过神经网络来学习模板与候选样本之间的相似程度。除了与传统的相关滤波算法结合之外，大部分算法都采用粒子滤波框架。基于粒子滤波框架的深度学习算法，由于需要提取多个图像块的深度特征，算法速度难以达到实时性要求。
为提升算法速度，David Held等人提出GOTURN[15]算法，如图3所示，将上一帧的目标和当前帧的搜索区域同时经过CNN的卷积层，级联特征输出通过全连接层，回归当前帧目标的位置，由于没有模板更新，算法速度可达每秒100多帧。与此类似，YCNN[16]算法构建孪生网络输出目标概率图，得到目标状态。这种基于模板匹配的目标跟踪算法，用一条支路保存模板信息，为目标跟踪提供先验信息，取代了全连接层在线更新，算法速度一般较快。
三、目标跟踪的最新研究进展
1）强化学习成功应用
近几年，强化学习方法受到广泛关注，作为一种介于半监督与无监督之间的训练方法，非常适用于目标跟踪这个缺乏训练样本的领域。ADNet[17]算法是强化学习在目标跟踪领域的一个成功应用。算法通过强化学习得到一个智能体来预测目标框的移动方位及尺度变化，在当前帧中，以前一帧的目标位置为初始点，经过多次方位估计、位移和尺度变化，得到最后的目
标位置。与此不同，算法[18]利用策略学习
得到智能体用于模板选择。无监督或弱监
督学习是目标跟踪领域的一个新兴方向，
具有巨大的潜力。
2）速度方面有效改进
虽然深度特征具有传统特征无法比拟
的抗干扰能力，但是一般提取速度较慢，
而且特征中存在大量冗余。当算法精度达
到一定标准之后，很多方法开始着力解决
算法速度问题。孪生网络[19]是其中的一个
典型例子，采用两路神经网络分别输入目
标模板和搜索图像块，用来进行模板匹配
或候选样本分类。其中一路神经网络对于
模板信息的保存可以提供跟踪物体先验信
息，取代网络在线更新，大大节省了速度。
另外，对深度特征进行降维或自适应选择
也是加速算法的有效途径。
3）传统跟踪算法的网络化
深度学习方法具有优秀的特征建模能
力，相关滤波算法利用循环矩阵的性质进
行计算，速度很快。很多算法着眼于将相
关滤波的思路应用到网络中去。CFNet[20]
算法将滤波器系数转换为神经网络的一
层，推导出前向与后向传播的公式，实现
了网络的端到端训练，算法速度可达每秒
几十帧,满足了实时性的要求。传统算法发
展至今，有很多可以借鉴的巧妙方法，如
果能将其应用到神经网络中去，将对算法
效果有较大的提升。
四、未来发展方向
目标跟踪的未来发展方向可总结为下
面三个方面：
1）无监督或弱监督方向。限制深度目
标跟踪算法发展的一个主要原因是训练样
本的缺乏，没有像图像分类任务那样的大
规模训练样本，而且在线跟踪时只能给定
第一帧的信息，难以训练一个适合当前跟
踪物体的网络模型。近几年来，无监督或
弱监督方法受到人们的广泛关注。也有一
些算法开始尝试将强化学习应用到目标跟
踪领域。对抗网络可以生成迷惑机器的负
样本增强分类器判别能力。这些无监督和
弱监督的方法可以有效地解决目标跟踪领
域样本不足的问题。
2）速度改进方向。速度是评价在线目
标跟踪算法的一个重要指标。由于深度神
经网络复杂的计算及模型更新时繁琐的系
数，现存大部分深度目标跟踪算法速度都
比较慢。很多深度目标跟踪算法采用小型
神经网络（如VGG-M）来提特征。另外，
跟踪中只给定第一帧目标位置，缺少跟踪
物体先验信息，这就要求模型实时更新来
确保跟踪精度，而这在深度目标跟踪算法
中往往非常耗时。一些算法采用孪生网络
结构来保存先验信息，代替模型在线更新，
使得算法速度得以提高。深度特征的高维
度也会影响跟踪算法的速度，如果能够提
出有效的特征压缩方法，不管对算法速度
还是精度都会有所帮助。只有高速且有效
地算法才具有实际的应用价值。
3）有效网络结构探索。影响深度神经
网络效果的两个主要因素是网络结构和训
练数据。现存大部分深度目标跟踪算法均
采用CNN结构，虽然CNN结构具有很好
的特征提取能力，但是难以建模视频帧中
的时间连续性信息。一些算法采用RNN结
构构建目标跟踪模型，但效果并不是很突
出，仍需探索发展。还有一些新型的网络
架构（如ResNet和DenseNet等），在图
像分类领域取得很好的效果，这些网络架
构是否能在目标跟踪领域成功应用也是令
人期待的方向。
参考文献：
[1]Henriques J F, Rui C, Martins P , et
图3 GOTURN算法流程图
al. Exploiting the Circulant
Structure of
Tracking-by-Detection with
Kernels, In Proc. of the
ECCV,2012:702-715.
[2]Rui C, Martins P, Batista J.
Exploiting the circulant structure
of tracking-by-
-detection with kernels, In Proc.
of the ECCV, 2012:702-715. [3]Danelljan M, Khan F S, Felsberg M,
et al. Adaptive Color Attributes
for Real-
Time Visual Tracking, In Proc. of
the CVPR, 2014:1090-1097. [4]Henriques J F, Rui C, Martins P, et
al. High-Speed Tracking with
Kernelized Correlation Filters.
TPAMI, 2014, 37(3):583-596. [5]Bertinetto L, Valmadre J, Golodetz
S, et al. Staple: Complementary
Learners for Real-Time Tracking.
2015,38(2):1401
-1409.
[6] C. Ma, J. Huang, X. Yang, M. Yang,
Hierarchical convolutional
features for visual tracking, In
Proc. of the ICCV,
2015:3074–3082.
[7]Li Y, Zhu J. A Scale Adaptive
Kernel Correlation Filter Tracker
with Feature Integration, In Proc.
of the ECCVW, 2014: 254-265. [8]Danelljan M, H?ger G, Khan F S.
Accurate scale estimation for
robust visual tracking, BMVC,
2014.
[9]Li Y, Zhu J, Hoi S C H. Reliable
Patch Trackers: Robust visual
tracking by exploiting reliable
patches, In Proc. of the CVPR,
2015:353-361.
[10]M. Danelljan, G.H¨ ager, F. S. Khan,
M. Felsberg, Learning spatially
regularized correlation filters for
visual tracking, In Proc. of the
ICCV, 2015:4310–4318..
[11]Mueller M, Smith N, Ghanem B.
Context-Aware Correlation Filter
Tracking. In Proc. of the CVPR,
2017.
[12]N.Wang, D. Yeung, Learning a
deep compact image
representation for visual tracking,
in Proc. of the Advances in Neural
Information Processing Systems,
2013:809–817.
[13]L. Wang, W. Ouyang, X. Wang, H.
Lu, Visual tracking with fully
convolutional networks, In Proc.
of the ICCV, 2015: 3119–3127.
[14]H. Nam, B. Han, Learning multi-
domain convolutional neural
networks for visual tracking, In
Proc. of the CVPR, 2016:
4293–4302.
[15]D. Held, S. Thrun, S. Savarese,
Lear-
ning to track at 100 FPS with
deep regression networks, in Proc.
of the ECCV, 2016:749–765.
[16]J. Redmon, S. K. Divvala, R. B.
Girshick, A. Farhadi, You only look
once: Unified, real- time object
detection, In Proc. of the CVPR,
2016:779–788.
[17]S. Yun, J. Choi, Y. Yoo, K. Yun, J. Y.
Choi, Action-decision networks
for visual tracking with deep
reinforcement learning, In Proc.
of the CVPR, 2017.
[18]Choi J, Kwon J, Lee K M. Visual
Tracking by Reinforced Decision
Making. arXiv abs/1702.06291.
[19]L. Bertinetto, J. Valmadre, J. F.
Henriques, A. Vedaldi, P. H. S. Torr,
Fully- convolutional siamese
networks for object tracking, in
Proc. of the ECCV, 2016:850–865
[20]J. Valmadre, L. Bertinetto, J. F.
Henriques, A. Vedaldi, P. H. S. Torr,
End-to-end representation
learning for correlation filter
based tracking, In Proc. of the
CVPR, 2017..
（责任编辑：王金甲）
卢湖川，IEEE和CCF高级会员、大连理
工大学电子信息与电气工程学部副部长、
教授。研究方向计算机视觉、模式识别。
目前担任IEEE Transaction on
Cybernetics编委。近五年,发表CCF A类
论文40余篇，Google Scholar总引用近
7000次，以第一完成人获得教育部自然科
学二等奖1项。获得多项国际学术论文奖，
包括ICCV2011 Most Remembered
Poster，IET Image Processing 2014
Best Paper Award，ICIP2012 Best
Student Paper Award Finalist.
Email: lhchuan@https://www.doczj.com/doc/d315955147.html,
THANKS !!!
致力为企业和个人提供合同协议，策划案计划书，学习课件等等
打造全网一站式需求
欢迎您的下载，资料仅供参考
Artificial Intelligence and Robotics Research 人工智能与机器人研究, 2015, 4(3), 17-22 Published Online August 2015 in Hans. https://www.doczj.com/doc/d315955147.html,/journal/airr https://www.doczj.com/doc/d315955147.html,/10.12677/airr.2015.43003 A Survey on Object Tracking Jialong Xu Aviation Military Affairs Deputy Office of PLA Navy in Nanjing Zone, Nanjing Jiangsu Email: pugongying_0532@https://www.doczj.com/doc/d315955147.html, Received: Aug. 1st, 2015; accepted: Aug. 17th, 2015; published: Aug. 20th, 2015 Copyright ? 2015 by author and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). https://www.doczj.com/doc/d315955147.html,/licenses/by/4.0/ Abstract Object tracking is a process to locate an interested object in a series of image, so as to reconstruct the moving object’s track. This paper presents a summary of related works and analyzes the cha-racteristics of the algorithm. At last, some future directions are suggested. Keywords Object Tracking, Track Alignment, Object Detection 目标跟踪相关研究综述 徐佳龙 海军驻南京地区航空军事代表室，江苏南京 Email: pugongying_0532@https://www.doczj.com/doc/d315955147.html, 收稿日期：2015年8月1日；录用日期：2015年8月17日；发布日期：2015年8月20日 摘要 目标跟踪就是在视频序列的每幅图像中找到所感兴趣的运动目标的位置，建立起运动目标在各幅图像中的联系。本文分类总结了目标跟踪的相关工作，并进行了分析和展望。
function MovingTargetDetectionByMMI() %Moving Target Detection %Based on Maximun Mutual Information % %EDIT BY PSL@CSU %QQ：547423688 %Email：anyuezhiji@https://www.doczj.com/doc/d315955147.html, %2012-06-01 %读文件 Im1=imread('001.jpg'); Im2=imread('002.jpg'); Im3=imread('003.jpg'); Im1=rgb2gray(Im1); Im2=rgb2gray(Im2); Im3=rgb2gray(Im3); tic; d12=GetDifferenceImg(Im2,Im1); d23=GetDifferenceImg(Im2,Im3); d=d12.*d23; se =; for i=1:4 d = imfilter(d,se); end for i=1:2 d = medfilt2(d,); end %%d=abs((d12-d23).^0.7); d=uint8(d/max(max(d))*255); level = graythresh(d); BW = im2bw(d,level); s=regionprops(BW,'BoundingBox'); figure(1)
subplot(2,2,1); imshow(uint8(d12/max(max(d12))*255)); title('参考帧与前一帧的差值') subplot(2,2,2); imshow(uint8(d23/max(max(d23))*255)); title('参考帧与后一帧的差值') subplot(2,2,3); imshow(BW); title('由前后帧得出的差值') subplot(2,2,4); imshow(Im2); %imshow(d); rectangle('Position',s(1).BoundingBox,'Curvature',,'LineWidth',2,'LineStyle','--','EdgeColor', 'r') title('参考帧与检测结果') %求相邻两帧重合部分差值主函数 function outImg=GetDifferenceImg(R,F) =dwt2(R,'db1'); =dwt2(F,'db1'); CA1=uint8(CA1); CA2=uint8(CA2); fprintf('\n------PSO start\n'); =PSO(CA1,CA2); while mi<1.2 =PSO(CA1,CA2); end fprintf('tx:%f ty:%f ang:%f mi:%f\n',pa(1),pa(2),pa(3),mi); fprintf('------PSO end\n\n'); %pa=; fprintf('------Powell start\n'); mi_old=0; while abs(mi-mi_old)>0.01
一、传统目标检测方法 如上图所示，传统目标检测的方法一般分为三个阶段：首先在给定的图像上选择一些候选的区域，然后对这些区域提取特征，最后使用训练的分类器进行分类。下面我们对这三个阶段分别进行介绍。 (1) 区域选择这一步是为了对目标的位置进行定位。由于目标可能出现在图像的任何位置，而且目标的大小、长宽比例也不确定，所以最初采用滑动窗口的策略对整幅图像进行遍历，而且需要设置不同的尺度，不同的长宽比。这种穷举的策略虽然包含了目标所有可能出现的位置，但是缺点也是显而易见的：时间复杂度太高，产生冗余窗口太多，这也严重影响后续特征提取和分类的速度和性能。（实际上由于受到时间复杂度的问题，滑动窗口的长宽比一般都是固定的设置几个，所以对于长宽比浮动较大的多类别目标检测，即便是滑动窗口遍历也不能得到很好的区域） (2) 特征提取由于目标的形态多样性，光照变化多样性，背景多样性等因素使得设计一个鲁棒的特征并不是那么容易。然而提取特征的好坏直接影响到分类的准确性。（这个阶段常用的特征有SIFT、HOG等） (3) 分类器主要有SVM, Adaboost等。 总结：传统目标检测存在的两个主要问题： 一是基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余； 二是手工设计的特征对于多样性的变化并没有很好的鲁棒性。 二、基于Region Proposal的深度学习目标检测算法 对于传统目标检测任务存在的两个主要问题，我们该如何解决呢？ 对于滑动窗口存在的问题，region proposal提供了很好的解决方案。region
proposal（候选区域）是预先找出图中目标可能出现的位置。但由于region proposal 利用了图像中的纹理、边缘、颜色等信息，可以保证在选取较少窗口（几千个甚至几百个）的情况下保持较高的召回率。这大大降低了后续操作的时间复杂度，并且获取的候选窗口要比滑动窗口的质量更高（滑动窗口固定长宽比）。比较常用的region proposal算法有selective Search和edge Boxes，如果想具体了解region proposal可以看一下PAMI2015的“What makes for effective detection proposals？” 有了候选区域，剩下的工作实际就是对候选区域进行图像分类的工作（特征提取+分类）。对于图像分类，不得不提的是2012年ImageNet大规模视觉识别挑战赛（ILSVRC）上，机器学习泰斗Geoffrey Hinton教授带领学生Krizhevsky使用卷积神经网络将ILSVRC分类任务的Top-5 error降低到了15.3%，而使用传统方法的第二名top-5 error高达26.2%。此后，卷积神经网络占据了图像分类任务的绝对统治地位，微软最新的ResNet和谷歌的Inception V4模型的top-5 error降到了4%以内多，这已经超越人在这个特定任务上的能力。所以目标检测得到候选区域后使用CNN对其进行图像分类是一个不错的选择。 2014年，RBG（Ross B. Girshick）大神使用region proposal+CNN代替传统目标检测使用的滑动窗口+手工设计特征，设计了R-CNN框架，使得目标检测取得巨大突破，并开启了基于深度学习目标检测的热潮。 1. R-CNN (CVPR2014, TPAMI2015) (Region-based Convolution Networks for Accurate Object d etection and Segmentation)
龙源期刊网 https://www.doczj.com/doc/d315955147.html, 目标检测方法简要综述 作者：栗佩康袁芳芳李航涛 来源：《科技风》2020年第18期 摘要：目标检测是计算机视觉领域中的重要问题，是人脸识别、车辆检测、路网提取等领域的理论基础。随着深度学习的快速发展，与基于滑窗以手工提取特征做分类的传统目标检测算法相比，基于深度学习的目标检测算法无论在检测精度上还是在时间复杂度上都大大超过了传统算法，本文将简单介绍目标检测算法的发展历程。 关键词：目标检测;机器学习;深度神经网络 目标检测的目的可分为检测图像中感兴趣目标的位置和对感兴趣目标进行分类。目标检测比低阶的分类任务复杂，同时也是高阶图像分割任的重要基础;目标检测也是人脸识别、车辆检测、路网检测等应用领域的理论基础。 传统的目标检测算法是基于滑窗遍历进行区域选择，然后使用HOG、SIFT等特征对滑窗内的图像块进行特征提取，最后使用SVM、AdaBoost等分类器对已提取特征进行分类。手工构建特征较为复杂，检测精度提升有限，基于滑窗的算法计算复杂度较高，此类方法的发展停滞，本文不再展开。近年来，基于深度学习的目标检测算法成为主流，分为两阶段和单阶段两类：两阶段算法先在图像中选取候选区域，然后对候选区域进行目标分类与位置精修;单阶段算法是基于全局做回归分类，直接产生目标物体的位置及类别。单阶段算法更具实时性，但检测精度有损失，下面介绍这两类目标检测算法。 1 基于候选区域的两阶段目标检测方法 率先将深度学习引入目标检测的是Girshick[1]于2014年提出的区域卷积神经网络目标检测模型（R-CNN）。首先使用区域选择性搜索算法在图像上提取约2000个候选区域，然后使用卷积神经网络对各候选区域进行特征提取，接着使用SVM对候选区域进行分类并利用NMS 回归目标位置。与传统算法相比，R-CNN的检测精度有很大提升，但缺点是：由于全连接层的限制，输入CNN的图像为固定尺寸，且每个图像块输入CNN单独处理，无特征提取共享，重复计算;选择性搜索算法仍有冗余，耗费时间等。 基于R-CNN只能接受固定尺寸图像输入和无卷积特征共享，He[2]于2014年参考金字塔匹配理论在CNN中加入SPP-Net结构。该结构复用第五卷积层的特征响应图，将任意尺寸的候选区域转为固定长度的特征向量，最后一个卷积层后接入的为SPP层。该方法只对原图做一
2008 10th Intl. Conf. on Control, Automation, Robotics and Vision Hanoi, Vietnam, 17–20 December 2008 多个目标的实时视频跟踪的先进的算法 1110200210俞赛艳 Artur Loza Department of Electrical and ElectronicEngineering University of Bristol Bristol BS8 1UB, United Kingdom artur.loza@https://www.doczj.com/doc/d315955147.html, Miguel A. Patricio, Jes′us Garc′?a, and Jos′e M. Molina Applied Artificial Intelligence Group (GIAA) Universidad Carlos III de Madrid 28270-Colmenarejo, Spain mpatrici,jgherrer@inf.uc3m.es, molina@ia.uc3m.es 摘要——本文调查了用组合和概率的方法来实现实时的视频目标跟 踪。特殊兴趣是真实世界的场景,在这场景里.多目标和复杂背景构成对非平凡的自动追踪者的挑战。在一个规范的监控视频序列里，对象跟踪是以组合数据协会和粒子过滤器为基础，通过选择完成视觉跟踪技术实现的。以详细的分析性能的追踪器测试的优点为基础，已经确定了互补的失效模式和每种方法的计算要求。考虑到获得的结果,改善跟踪性能的混合策略被建议了,为不同追踪方法带来了最好的互补特性。 关键字--概率、组合、粒子过滤器、跟踪、监视、实时、多个目标. 1、介绍 最近人们对通过单个摄像机或一个网络摄像头提供来跟踪视频序列增加了兴趣。在许多监测系统中，可靠的跟踪方法至关重要的。因为它们使运营商在远程监控感兴趣的领域,增加对形势感知能力和帮助监测分析与决策过程。跟踪系统可以应用在一个广泛的环境如:交通系统、公共空间(银行、购物)购物中心、停车场等)、工业环境、政府或军事机构。跟踪的对象通常是移动的环境中的一个高可变性。这需要复杂的算法对视频采集,相机校正、噪声过滤、运动检测，能力学习和适应环境。因为它的情况往往现实场景,系统也应该能够处理多个目标出现在现场。 为了实现强大的和可靠的多个跟踪目标,，各种各样的问题，具体到这种场景，都必须加以解决。不仅要解决状态估计问题，而且还必须使执行数据联合运行得准确,特别是当多目标交互存在时。早期多个对象跟踪的工作，关注于一个固定的数字的目标,但是人们已经认识到,很有必要解释新出现的目标以及消失的目标造成的变量数量及多个轨道数量，具有相当良好的间隔。这是典型的用扩展状态估计框架联合跟踪所有检测目标[4]。联合跟踪目标[6],避免使用几个独
视觉目标检测算法说明 1.功能 通过安装在战车上的摄像头，检测视野范围内的敌方战车。 2.算法： 2.1目标检测与识别 1.颜色检测 采集大量敌方机器人的图片数据，并进行训练，得到对方机器人的颜色区间， 并以此为阈值对整幅图像进行颜色检测，找到疑似敌方机器人的区域，量化 成二值图。 2.滤除噪声点 对得到的二值图像进行开运算处理，滤除颜色检测结果中的噪声点。 3.连通区域检测 对图像中的疑似区域进行连通区域检测，计算出每个疑似区域的外部轮廓， 用矩形近似表示。 4.连通区域合并 根据连通区域之间的距离和颜色相似性，将距离接近且相似性高的连通区域 进行合并。 5.形状和大小过滤 对大量敌方机器人图片进行训练，得到对方机器人的形状信息（例如长宽比） 和大小信息（面积），并以此为依据将不符合的区域过滤掉。 经过以上五步的处理，可以初步得到敌方机器人的位置、大小和形状信息。 2.2目标运动跟踪 对上步中的检测结果进行运动跟踪。 1.状态估计 根据上一时刻地方机器人的运动状态（包括位置和速度），估算当前时刻机 器人的运动状态。 2.轨迹关联 根据位置和颜色信息，对当前时刻机器人的估计状态和检测结果进行关联。 3.状态更新 若上一步中关联成功，更新当前时刻的运动状态。 通过对检测结果进行运动跟踪，可以计算出当前时刻敌方机器人的运动速度和方 向。 2.3预估提前量
1.评估延迟时间 根据己方机器人实际的调试情况，通过多次试验和统计的方法，估算己方机器人从接收命令到炮弹（或子弹）击中目标区域的时间延时（包括图像处理 时间、落弹时间和炮弹飞行时间）。 2.计算提前量 根据延迟时间和敌方机器人的运动速度，计算炮弹发射的提前量，补偿到敌方机器人的运动状态中。 3.总结： 对于机器人战车中的敌方目标检问题，有很多种方法可以实现，视觉检测只是其中的一种方法，而基于颜色识别的目标检测也只是视觉算法中比较简单有效的一种。所以，本段代码只是抛砖引玉的一个样本，适用范围只针对于2014年RoboMasters夏令营的场地和战车，希望可以看到大家更加简单有效的算法。
1引言 目标跟踪可分为主动跟踪和被动跟踪。视频目标跟踪属于被动跟踪。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。这些优点使得视频目标跟踪测量在靶场光电测量、天文观测设备、武器控制系统、激光通信系统、交通监控、场景分析、人群分析、行人计数、步态识别、动作识别等领域得到了广泛的应用[1-2]。 根据被跟踪目标信息使用情况的不同，可将视觉跟踪算法分为基于对比度分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。基于对比度分析的跟踪算法主要利用目标和背景的对比度差异，实现目标的检测和跟踪。基于匹配的跟踪主要通过前后帧之间的特征匹配实现目标的定位。基于运动检测的跟踪主要根据目标运动和背景运动之间的差异实现目标的检测和跟踪。前两类方法都是对单帧图像进行处理，基于匹配的跟踪方法需要在帧与帧之间传递目标信息，对比度跟踪不需要在帧与帧之间传递目标信息。基于运动检测的跟踪需要对多帧图像进行处理。除此之外，还有一些算法不易归类到以上3类，如工程中的弹转机跟踪算法、多目标跟踪算法或其他一些综合算法。2基于对比度分析的目标跟踪算法基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。这类算法按照跟踪参考点的不同可以分为边缘跟踪、形心跟踪和质心跟踪等。这类算法不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合（如要求跟踪目标的左上角或右下角等）有其独到之处。缺点是跟踪点易受干扰，跟踪随机误差大。重心跟踪算法计算简便，精度较高，但容易受到目标的剧烈运动或目标被遮挡的影响。重心的计算不需要清楚的轮廓，在均匀背景下可以对整个跟踪窗口进行计算，不影响测量精度。重心跟踪特别适合背景均匀、对比度小的弱小目标跟踪等一些特殊场合。图像二值化之后，按重心公式计算出的是目标图像的形心。一般来说形心与重心略有差别[1-2]。 3基于匹配的目标跟踪算法 3.1特征匹配 特征是目标可区别与其他事物的属性，具有可区分性、可靠性、独立性和稀疏性。基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的 文章编号：1002－8692（2010）12-0135-04 视频目标跟踪算法综述* 蔡荣太1，吴元昊2，王明佳2，吴庆祥1 （1.福建师范大学物理与光电信息科技学院，福建福州350108； 2.中国科学院长春光学精密机械与物理研究所，吉林长春130033） 【摘要】介绍了视频目标跟踪算法及其研究进展，包括基于对比度分析的目标跟踪算法、基于匹配的目标跟踪算法和基于运动检测的目标跟踪算法。重点分析了目标跟踪中特征匹配、贝叶斯滤波、概率图模型和核方法的主要内容及最新进展。此外，还介绍了多特征跟踪、利用上下文信息的目标跟踪和多目标跟踪算法及其进展。 【关键词】目标跟踪；特征匹配；贝叶斯滤波；概率图模型；均值漂移；粒子滤波 【中图分类号】TP391.41；TN911.73【文献标识码】A Survey of Visual Object Tracking Algorithms CAI Rong-tai1,WU Yuan-hao2,WANG Ming-jia2,WU Qing-xiang1 （1.School of Physics,Optics,Electronic Science and Technology,Fujian Normal University,Fuzhou350108,China; 2.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Science,Changchun130033,China）【Abstract】The field of visual object tracking algorithms are introduced,including visual tracking based on contrast analysis,visual tracking based on feature matching and visual tracking based on moving detection.Feature matching,Bayesian filtering,probabilistic graphical models,kernel tracking and their recent developments are analyzed.The development of multiple cues based tracking,contexts based tracking and multi-target tracking are also discussed． 【Key words】visual tracking;feature matching;Bayesian filtering;probabilistic graphical models;mean shift;particle filter ·论文·*国家“863”计划项目（2006AA703405F）；福建省自然科学基金项目（2009J05141）；福建省教育厅科技计划项目（JA09040）
视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在 视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1 帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设(,)k f x y 和(1)(,)k f x y +分别为图像序列中的第k 帧和第k+1帧中象素点(x ，y)的象素值,则这两帧图像的差值图像就如公式2-1 所示： 1(1)(,)(,)k k k Diff f x y f x y ++=- (2-1) 2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1 式得到第k 帧和第k+1帧的差值图像1k Diff +；2、对所得到的差值图像1k Diff +二值化（如式子2-2 示）得到Qk+1；3、为消除微小噪声的干扰，使得到的运动目标更准确，对1k Q +进行必要的滤波和去噪处理，后处理结果为1k M +。 111255,,(,)0,,(,)k k k if Diff x y T Q if Diff x y T +++>?=?≤? （T 为阈值） （2-2）
1.1研究背景 随着人类社会的快速发展，图像识别已经迅速发展成为一项极为重要的科技手段，其研究目标是，赋予计算机类似于人类的视觉能力，使其通过二维图像认知周边环境信息，包括识别环境中三维物体的几何形状、位置和姿态等。图像识别需综合运用计算机科学、模式识别、机器视觉及图像理解等学科知识，并随着这些学科的发展而前进。图像识别技术己广泛应用到许多领域，例如：宇宙探测、生物医学工程、遥感技术、交通、军事及公安等。针对不同对象和环境有不同的识别方法。由于图像可以提供十分丰富有效的信息，为给识别带来较大方便。因此，图像识别技术一直受到研究者重视，是模式识别领域的研究热点之一。一般来说，图像识别技术大体经历了三个主要阶段即：文字识别、二维图像识别和处理、三维物体识别。文字识别开始于1950年前后，首先是识别字母、数字和符号，后来发展到识别文字，从识别印刷字体到手写文字，并研制出相应的文字识别设备。从六十年代初期开始，人们开始图像处理和识别的研究，逐步发展到识别静止图像和运动图像，最初主要利用成像技术光学技术等，后来人们结合了日新月异的计算机技术，获得巨大成功。接下来是对三维物体识别问题的研究。三维物体识别的任务是识别出图像中有什么类型的物体,并给出物体在图像中所反映的位置和方向，是对三维世界的感知理解。在结合了人工智能科学、计算机科学和信息科学之后，三维物体识别成为图像识别研究的又一重要方向。 目前，出于城市规划、工业自动化、交通监控、军事侦察及医疗等各个领域的大量应用需求，三维物体识别已成为一个活跃的研究领域，有较大的实用价值和重要意义，具有广阔前景。设计一个三维物体识别系统，理论上要求它有足够好的通用性、稳健性，且学习简单，即这个系统能够在各种条件下，无需手工干预就能识别任何物体，没有特殊或复杂的过程来获得数据库模型。当然这个需求一般很难达到，实际都是在一定约束条件下进行方法的研究，然后尽可能减约束条件。三维物体识别一般可分为五种主要的研究思路： 1)基于模型(model-based)或几何(geometry-based)的方法； 2)基于外观(appearance-based)或视图(view-based)的方法； 3)基于局部特征匹配的方法； 4)光学三维物体识别 5)基于深度图像的三维物体识别 现在主流的是前三项， 1.基于模型或几何的方法 如果在识别的过程中，要利用有关物体外观的先验知识，如CAD设计的模型则称为基于模型（model-based）或几何（geometry-based）的三维物体识别。基于模型的方法，从输入图像数据中得到物体描述，并与模型描述进行匹配，以达到对物体进行识别及定位目的。这里的物体模型一般仅描述物体的三维外形，省略颜色和纹理等其他属性，其算法流程如图1-1所示。
经过近４０多年的深入研究和发展，多目标跟踪技术在许多方面都有着广泛应用和发展前景，如军事视觉制导、机器人视觉导航、交通管 制、 医疗诊断等［１－２］。目前，虽然基于视频的多运动目标跟踪技术已取得了很大的成就，但由于视频中图像的变化和物体运动的复杂性，使得对多运动目标的检测与跟踪变得异常困难，如多目标在运动过程中互遮挡、监控场景的复杂性等问题，解决上述难题一直是该领域所面临的一个巨大挑战，因此，对视频中多目标跟踪技术研究仍然是近年来一个热门的研究课题［３－５］。 １、多目标跟踪的一般步骤 基于视频的多目标跟踪技术融合了图像处理、模式识别、人工智能、 自动控制以及计算机视觉等众多领域中的先进技术和核心思想。不同的多目标跟踪方法其实现步骤有一定的差异，但多目标跟踪的主要 流程是相同的，如图１所示，其主要包括图像预处理、 运动目标检测、多目标标记与分离、多目标跟踪四个步骤。 图１多目标跟踪基本流程图 ２、多目标跟踪方法 多目标跟踪方法可以根据处理图像或视频获取视点的多少分为两大类，一类是单视点的多目标跟踪，另一类就是多视点的多目标跟踪。 ２．１单视点的方法 单视点方法是针对单一相机获取的图像进行多目标的检测和跟踪。该方法好处在于简单且易于开发，但由于有限的视觉信息的获取，很难处理几个目标被遮挡的情况。 块跟踪（Ｂｌｏｂ－ｔｒａｃｋｉｎｇ）是一种流行的低成本的跟踪方法［６－７］。这种方法需要首先在每一帧中提取块，然后逐帧寻找相关联的块，从而实现跟 踪。 例如ＢｒａＭＢＬｅ系统［８］就是一个基于已知的背景模型和被跟踪的人的外表模型计算出块的似然性的多块跟踪器。这种方法最大的不足之处在于：当由于相似性或者遮挡，多个目标合并在一起时，跟踪将导致失败。因此，可以取而代之的方法是通过位置、外观和形状保留清晰目标的状态。文献［９］利用组合椭圆模拟人的形状，用颜色直方图模拟不同人的外观，用一个增强高斯分布模拟背景以便分割目标，一旦场景中发现对应于运动头部的像素，一个ＭＣＭＣ方法就被用于获取多个人的轮廓的最大后验概率，在单相机的多人跟踪应用中取得了非常有意义的结果。Ｏｋｕｍａ等人提出了一种将Ａｄａｂｏｏｓｔ算法和粒子滤波相结合的方法［１０］。该方法由于充分利用了两种方法的优点，相比于单独使用这两种方法本身，大大降低了跟踪失败的情形，同时也解决了在同一框架下检测和一致跟踪的问题。Ｂｒｏｓｔｏｗ等人提出了一个用于在人群中检测单个行人的特征点轨迹聚类的概率框架［１１］。这个框架有一个基本假设是一起运动的点对可能是同一个个体的一部分，并且把它用于检测和最终的跟踪。对于完全和部分遮挡目标以及外观变化，这些方法和另外一些相似的方法都有很大的局限性。 为了解决遮挡问题，一系列单视点跟踪技术应运而生。典型的方法 是利用块合并来检测遮挡的发生［１２］。当被跟踪的点消失， 跟踪特征点的方法就简单的将其作为一个被遮挡特征点。近年来，基于目标轮廓和外观的跟踪技术利用隐含的目标到相机的深度变化来表示和估计目标间的遮挡关系。但大多数方法都只能解决部分遮挡，不能解决完全被遮挡 的情况。 另外，小的一致运动被假设为是可以从遮挡视点中可以预测运动模式的，这些给没有预测运动的较长时间的遮挡的处理带来问题。尽管这些单视点的方法有较长的研究历史，但这些方法由于不能明锐的 观察目标的隐藏部分，因此不能很好地解决有２或３个目标的遮挡问题。 ２．２多视点的方法 随着复杂环境中对检测和跟踪多个被遮挡的人和计算他们的精确 位置的需要，多视点的方法成为研究的热点。 多视点跟踪技术的目的就是利用不同视点的冗余信息，减少被遮挡的区域，并提供目标和场景的３Ｄ信息。尽管通过相机不能很好地解决目标跟踪问题，但却提出了一些很好的想法，如选择最佳视点，但这些方法都以实际环境模型和相机校正为特征。 ９０年代后半期，在很多文献中给出了多视点相关的多目标跟踪方法。 比如利用一个或多个相机与观察区域相连的状态变化映射，同时给出一系列的行为规则去整合不同相机间的信息。利用颜色在多个视点中进行多目标的跟踪的方法，该方法模拟了从基于颜色直方图技术的 背景提取中获得的连接块并应用其去匹配和跟踪目标。 除此之外，也有在原来的单视点跟踪系统进行扩展的多视点跟踪方法。该方法主要是通过一个预测，当预测当前的相机不在有一个好的视点时，跟踪就从原来凯斯的那个单相机视点的跟踪转换到另外一个相机，从而实现多视点的跟踪。基于点与它对应的极线的欧氏距离的空间匹配方法、贝叶斯网络和立体相对合并的方法都是多目标多视点跟踪的常见方法。尽管这些方法都试图去解决遮挡问题，但由于遮挡的存在，基于特征的方法都不能根本解决，其次，这些方法中的遮挡关系的推理一般都是根据运动模型，卡尔曼滤波或者更普遍的马尔科夫模型的时间一致性来进行的。因此，当这个过程开始发散，这些方法也不能恢复遮挡关系。 最近一种基于几何结构融合多个视点信息的Ｈｏｍｅｇｒａｐｈｉｃｏｃｃｕｐａｎｃｙｃｏｎｓｒｒａｉｎｔ（ＨＯＣ）［１２］方法，可以通过在多场景平台对人的定位来解决遮挡问题。仅采用随时间变化的外表信息用于从背景中检测前景，这使得在拥挤人流的场景中的外表遮挡的解决更健壮。利用多视点中的前景信息，主要是试图找到被人遮挡的场景点的图像位置，然后这些被遮挡的信息用于解决场景中多个人的的遮挡和跟踪问题。在这种思想指导下，Ｍｉｔｔａｌ，Ｌｅｉｂｅ，Ｆｒａｎｃｏ等的研究工作和机器人导航中基于遮挡网格的距离传感器的并行工作是相似的，这些方法在融合３Ｄ空间信息的时候需要进行校正相机。但ＨＯＣ方法是完全基于图像的，仅需要２Ｄ结构信息进行图像平面的融合。当然也有另外一些不需要进行相机校正的算法被提出，但需要学习一个与相机最小相关的信息。在目标跟踪过程中，由于这些方法依赖于单个相机的场景，对于拥挤场景中目标分布密度增加九无能为力了。在ＨＯＣ的多视点的目标跟踪中，对于任何单一相机的场景，或者相机对的场景，都不需要进行定位和跟踪目标，而是从所有相机的场景中收集证据，形成一个统一的框架，由于该方法能够从多个时间帧的场景中进行场景被遮挡概率的全局轨迹优化，因此可以同时进行检测和跟踪。 ３、总结 动态目标检测与跟踪是智能监控系统的重要组成部分，它融合了图像处理、模式识别、自动控制及计算机应用等相关领域的先进技术和研究成果，是计算机视觉和图像编码研究领域的一个重要课题，在军事武器、工业监控、交通管理等领域都有广泛的应用。尤其是对于多目标检测与跟踪中的遮挡与被遮挡的处理，对提高智能监控中目标的行为分析有着重要的意义。随着监控设备的发展和设施的铺设，多视点的场景图像是很容易得到的，因此借助信息融合的思想，充分利用不同角度对目标的描述信息，可以很大地改进目前基于单视点的多目标检测和跟踪的精度，能够很好地解决单视点方法中不能很好解决的遮挡问题。参考文献 ［１］胡斌，何克忠．计算机视觉在室外移动机器人中的应用．自动化学报，２００６，３２（５）：７７４－７８４． ［２］Ａ．Ｏｔｔｌｉｋ，Ｈ．－Ｈ．Ｎａｇｅｌ．ＩｎｉｔｉａｌｉｚａｔｉｏｎｏｆＭｏｄｅｌ－ＢａｓｅｄＶｅｈｉｃｌｅＴｒａｃｋｉｎｇｉｎＶｉｄｅｏＳｅｑｕｅｎｃｅｓｏｆＩｎｎｅｒ－ＣｉｔｙＩｎｔｅｒｓｅｃｔｉｏｎｓ．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２００８，８０（２）：２１１－２２５．多目标跟踪方法研究综述 苏州联讯图创软件有限责任公司 陈宁强 ［摘要］文章对目前现有的多目标跟踪方法从信息获取的不同角度进行了综述。主要分析比较了目前单视点和多视点目标跟踪方 法对于目标遮挡问题的处理性能，并指出多视点的基于多源信息融合的思想，可以较好地解决场景中目标的遮挡问题。［关键词］单视点多视点目标跟踪信息融合基金项目：本文系江苏省自然科学基金（ＢＫ２００９５９３）。 作者简介：陈宁强（１９７３－），男，江苏苏州人，工程师，主要研究方向：ＧＩＳ、模式识别和图像处理与分析。 目标跟踪多目标标记与分离 匹配 目标模型 运动检测当前帧图像 背景提取 去噪 ＲＯＩ 预处理 视频序列 （下转第２６页）
基础目标检测算法介绍：CNN、RCNN、Fast RCNN和Faster RCNN 解决目标检测任务的简单方法（利用深度学习） 一、CNN 首先我们要说的就是在图像目标检测中用途最广、最简单的深度学习方法——卷积神经网络（CNN）。我要讲的是CNN的内部工作原理，首先让我们看看下面这张图片。 向网络中输入一张图片，接着将它传递到多个卷积和池化层中。最后输出目标所属的类别。 1图片的输入 2、将图片分成多个区域 3.将每个区域看作单独的图片。 4.把这些区域照片传递给CNN，将它们分到不同类别中。 5.当我们把每个区域都分到对应的类别后，再把它们结合在一起，完成对原始图像的目标检测
使用这一方法的问题在于，图片中的物体可能有不同的长宽比和空间位置。例如，在有些情况下，目标物体可能占据了图片的大部分，或者非常小。目标物体的形状也可能不同。 有了这些考虑因素，我们就需要分割很多个区域，需要大量计算力。所以为了解决这一问题，减少区域的分割，我们可以使用基于区域的CNN，它可以进行区域选择。 2. 基于区域的卷积神经网络介绍 2.1 RCNN简介 和在大量区域上工作不同，RCNN算法提出在图像中创建多个边界框，检查这些边框中是否含有目标物体。RCNN使用选择性搜索来从一张图片中提取这些边框。首先，让我们明确什么是选择性搜索，以及它是如何辨别不同区域的。组成目标物体通常有四个要素：变化尺度、颜色、结构（材质）、所占面积。选择性搜索会确定物体在图片中的这些特征，然后基于这些特征突出不同区域。下面是选择搜索的一个简单案例： 首先将一张图片作为输入： 之后，它会生成最初的sub-分割，将图片分成多个区域：
一、传统目标检测方法 首先在给定的图像上传统目标检测的方法一般分为三个阶段：如上图所示，最后使用训练的分类器进行分然后对这些区域提取特征，选择一些候选的区域，类。下面我们对这三个阶段分别进行介绍。由于目标可能出现在这一步是为了对目标的位置进行定位。区域选择(1) 所以最初采用滑动窗口而且目标的大小、长宽比例也不确定，图像的任何位置，这种穷而且需要设置不同的尺度，不同的长宽比。的策略对整幅图像进行遍历，时间举的策略虽然包含了目标所有可能出现的位置，但是缺点也是显而易见的：这也严重影响后续特征提取和分类的速度和性复杂度太高，产生冗余窗口太多，（实际上由于受到时间复杂度的问题，滑动窗口的长宽比一般都是固定的设能。即便是滑动窗口遍历也不所以对于长宽比浮动较大的多类别目标检测，置几个，能得到很好的区域） 由于目标的形态多样性，光照变化多样性，背景多样性等因特征提取(2)然而提取特征的好坏直接影响到分素使得设计一个鲁棒的特征并不是那么容易。HOG等）（这个阶段常用的特征有类的准确性。SIFT、等。主要有SVM, Adaboost分类器(3) 总结：传统目标检测存在的两个主要问题：一是基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余；二是手工设计的特征对于多样性的变化并没有很好的鲁棒性。 的深度学习目标检测算法二、基于Region Proposal对于传统目标检测任务存在的两个主要问题，我们该如何解 决呢？region 提供了很好的解决方案。proposalregion 对于滑动窗口存在的问题， proposal（候选区域）是预先找出图中目标可能出现的位置。但由于region proposal 利用了图像中的纹理、边缘、颜色等信息，可以保证在选取较少窗口（几千个甚至几百个）的情况下保持较高的召回率。这大大降低了后续操作的时间复杂度，并且获取的候选窗口要比滑动窗口的质量更高（滑动窗口固定长宽比）。比较常用的region proposal算法有selective Search和edge Boxes，如果想具体了解region proposal可以看一下PAMI2015的“What makes for effective detection proposals？” 有了候选区域，剩下的工作实际就是对候选区域进行图像分类的工作（特征提取+分类）。对于图像分类，不得不提的是2012年ImageNet大规模视觉识别挑战赛（ILSVRC）上，机器学习泰斗Geoffrey Hinton教授带领学生Krizhevsky使用卷积神经网络将ILSVRC分类任务的Top-5 error降低到了15.3%，而使用传统方法的第
。 目标跟踪算法综述 大连理工大学卢湖川一、引言 目标跟踪是计算机视觉领域的一个重 要问题，在运动分析、视频压缩、行为识 别、视频监控、智能交通和机器人导航等 很多研究方向上都有着广泛的应用。目标 跟踪的主要任务是给定目标物体在第一帧 视频图像中的位置，通过外观模型和运动 模型估计目标在接下来的视频图像中的状 态。如图1所示。目标跟踪主要可以分为5 部分，分别是运动模型、特征提取、外观 模型、目标定位和模型更新。运动模型可 以依据上一帧目标的位置来预测在当前帧 目标可能出现的区域，现在大部分算法采用的是粒子滤波或相关滤波的方法来建模目标运动。随后，提取粒子图像块特征，利用外观模型来验证运动模型预测的区域是被跟踪目标的可能性，进行目标定位。由于跟踪物体先验信息的缺乏，需要在跟踪过程中实时进行模型更新，使得跟踪器能够适应目标外观和环境的变化。尽管在线目标跟踪的研究在过去几十年里有很大进展，但是由被跟踪目标外观及周围环境变化带来的困难使得设计一个鲁棒的在线跟踪算法仍然是一个富有挑战性的课题。本文将对最近几年本领域相关算法进行综述。 二、目标跟踪研究现状 1. 基于相关滤波的目标跟踪算法 在相关滤波目标跟踪算法出现之前，大部分目标跟踪算法采用粒子滤波框架来进行目标跟踪，粒子数量往往成为限制算法速度的一个重要原因。相关滤波提出了 一种新颖的循环采样方法，并利用循环样 本构建循环矩阵。利用循环矩阵时域频域 转换的特殊性质，将运算转换到频域内进 行计算，大大加快的分类器的训练。同时， 在目标检测阶段，分类器可以同时得到所 有循环样本得分组成的响应图像，根据最 大值位置进行目标定位。相关滤波用于目 标跟踪最早是在MOSSE算法[1]中提出 的。发展至今，很多基于相关滤波的改进 工作在目标跟踪领域已经取得很多可喜的 成果。 1.1. 特征部分改进 MOSSE[1] 算法及在此基础上引入循 环矩阵快速计算的CSK[2]算法均采用简单 灰度特征，这种特征很容易受到外界环境 的干扰，导致跟踪不准确。为了提升算法 性能，CN算法[3]对特征部分进行了优 化，提出CN（Color Name）空间，该空 间通道数为11（包括黑、蓝、棕、灰、绿、 橙、粉、紫、红、白和黄），颜色空间的引 入大大提升了算法的精度。 与此类似，KCF算法[4]采用方向梯度 直方图（HOG）特征与相关滤波算法结合， 同时提出一种将多通道特征融入相关滤波 的方法。这种特征对于可以提取物体的边 缘信息，对于光照和颜色变化等比较鲁棒。 方向梯度直方图（HOG）特征对于运 动模糊、光照变化及颜色变化等鲁棒性良 好，但对于形变的鲁棒性较差；颜色特征 对于形变鲁棒性较好，但对于光照变化不 够鲁棒。STAPLE算法[5]将两种特征进行 有效地结合，使用方向直方图特征得到相 关滤波的响应图，使用颜色直方图得到的 统计得分，两者融合得到最后的响应图像 并估计目标位置，提高了跟踪算法的准确 度，但也使得计算稍微复杂了一些。 图1 目标跟踪算法流程图
综述 摘要：人体的运动分析主要指的是对场景中的运动个体或者群体进行运动检测、运动跟踪与理解以到达描述人体行为的目的。通过阅读文献，本文将从人体检测，人体跟踪和人群运动分析三个方面介绍人群特征分析的方法。 1．绪论 随着社会的发展，公共需求的提高，群体运动的分析越来越受关注。并且随着人口的增长，人群活动日益增加，相应的人群安全问题也越来越突出。对人群的分析研究分别在社会学、心理学、建筑学、计算机等各个学科受到极大的关注。人群分析主要分为以下五个方面。 (1)人群管理:对大型集会的人群管理，是公共安全管理领域中最亟待解决的问题。人群分析可以更好的发展人群管理策略，避免因人群拥挤而发生的灾难事件，确保人身安全。 (2)虚拟环境:通过构造人群的数学模型结构,在虚拟环境下来模拟人群场景,来丰富人的生活体验。如一些虚拟的聊天室、电影或者动画制作过程中的特效应用等。 (3)智能环境:在一些涉及到大型人群的智能环境下,人群分析可以预协调人群。如在博物馆,人群的模式决定了如何疏散人群。 (4)公共场所设计:人群分析可以为公共场所的设计提供指导,如对商场的人流估计，使得商场的布局更方便于顾客或者最可能有效的利用空间优化办公室场所。 (5)视觉监控:人群分析可以用来自动检测场景中的异常情况。而且,在人群中的个体跟踪有助于协助安防人员捕捉嫌疑犯。 虽然人群运动分析技术研究已取得了一定的成果，但是人群运动的复杂性以及实际运动场景的多变性仍然给人群运动分析带来很多的研究难点。目前在人群运动的自动检测与跟踪方面，也没有相对完善的理论基础，各向技术也处在完善阶段。主要表现在: (1)运动检测与分割：在人群运动分析系统中，如何对人群运动实现快速而准确的分割是极为重要的难题。由于视频序列中运动场景极易受到各种客观因素的影响，如光照变化、背景与前景的混杂干扰、运动目标与环境之间或者运动目标之间的遮挡现象等，使得对人群运动实现有效分割变的十分的困难。目前常用的运动分割算法如帧间差分法或背景相减法都难以适应复杂或者拥挤场景的运动分