Artificial Intelligence and Robotics Research 人工智能与机器人研究, 2015, 4(3), 17-22
Published Online August 2015 in Hans. https://www.doczj.com/doc/2e15086092.html,/journal/airr
https://www.doczj.com/doc/2e15086092.html,/10.12677/airr.2015.43003
A Survey on Object Tracking
Jialong Xu
Aviation Military Affairs Deputy Office of PLA Navy in Nanjing Zone, Nanjing Jiangsu
Email: pugongying_0532@https://www.doczj.com/doc/2e15086092.html,
Received: Aug. 1st, 2015; accepted: Aug. 17th, 2015; published: Aug. 20th, 2015
Copyright ? 2015 by author and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY).
https://www.doczj.com/doc/2e15086092.html,/licenses/by/4.0/
Abstract
Object tracking is a process to locate an interested object in a series of image, so as to reconstruct the moving object’s track. This paper presents a summary of related works and analyzes the cha-racteristics of the algorithm. At last, some future directions are suggested.
Keywords
Object Tracking, Track Alignment, Object Detection
目标跟踪相关研究综述
徐佳龙
海军驻南京地区航空军事代表室，江苏南京
Email: pugongying_0532@https://www.doczj.com/doc/2e15086092.html,
收稿日期：2015年8月1日；录用日期：2015年8月17日；发布日期：2015年8月20日
摘要
目标跟踪就是在视频序列的每幅图像中找到所感兴趣的运动目标的位置，建立起运动目标在各幅图像中的联系。本文分类总结了目标跟踪的相关工作，并进行了分析和展望。
徐佳龙
关键词
目标跟踪，轨迹校正，目标检测
1. 引言
目标跟踪是在一段视频序列中定位感兴趣的运动目标，并形成目标运动的路径或轨迹。它在对运动目标图像的分析和应用中产生，并成为计算机视觉领域中视频分析的基本内容之一，实质上是在捕获到的目标初始状态和通过特征提取得到的目标特征基础上，进行一种时空结合的目标状态估计。目标跟踪在智能监控、视频检索等领域均有广泛的应用[1]-[3]。
本文旨在总结目标跟踪的相关工作，并进行分析和展望。本文主要内容安排如下：第二节是对相关工作的总结，主要包括运动目标的表示与建模、特征选取、目标检测和目标跟踪；第三节是总结与展望。
2. 相关工作
根据目标跟踪的一般计算流程，本文分以下几个方面对相关工作分别进行描述：运动目标的表示与建模、特征选取、目标检测和目标跟踪，下面进行具体描述。
2.1. 运动目标表示与建模
在目标跟踪场景中，任何感兴趣的事物都可以作为跟踪目标，如在大海上行驶的船只、水族馆中的游鱼、路上行驶的车辆、空中飞行的飞机、街道上的行人甚至水中的水泡都可以作为跟踪目标，因为在一些特定的场景中这些目标的跟踪有着非常重要的意义。跟踪目标一般来说可以由目标的形状或外观来表示。图1给出了目标模型的分类。从大的方面，目标表示方法所获得的模型可以分为形状模型和综合模型，形状模型只考虑目标形状这一个因素，而综合模型则考虑形状和外观两方面的因素对目标进行表示。
Figure 1. Classification of the object model
图1. 目标模型的分类
徐佳龙
形状模型中，单一模型包括：
?点表示法：将目标由一点来表示，如由目标的中心点表示，或是由目标轮廓上的一系列关键点表示。?基本几何形状表示法：目标由一个框定目标区域的矩形或是椭圆形表示，在目标的运动过程中经常会发生目标运动的仿射变化、投影变化等形状上的改变。
?目标的轮廓和剪影表示法：轮廓的定义是指目标的边界；目标轮廓的内部区域称为目标的剪影。
组合模型则是在单一模型基础上，对复杂目标模型的组合，目前主要有两种方法：
?铰接形状模型表示法：铰接目标指的是有多个部分通过关节铰接在一起的目标。
?骨架模型表示方式：目标的骨架模型可通过中轴变换从目标轮廓提取。这种模型表示方式一般应用于目标识别。
综合模型是近年来兴起的一种目标建模方法，在实际跟踪中，目标的形状表示与目标的外形特征表示结合在一起。下面是一些目标跟踪中常用的表示方法。
?概率密度模型表示法：目标外形特征的概率密度估计可以是有参数的如高斯模型、混合高斯模型，或是无参的密度估计比如Parzen windows和直方图方式[18]。
?模板表示法：模板一般使用一些简单的结合形状或是轮廓表示。使用模板的目标表示方法的最大优点是，模板同时包含了目标的空间信息和外形信息。
?主动外观模型法(Active appearance model)：主动外观模型是通过对目标的外观和形状同时建模得出的。一般来讲，目标的形状是由一系列的界标表示的。
?多视点外形模型法：可以对目标的不同视角进行编码。其中的一种方法是在给定的视点中提取不同的子空间来表示不同视点的目标。
目标的表示是目标跟踪的基础，在目标跟踪过程中有着非常重要的意义。一个好的目标表示方法很大意义上能决定跟踪的成败与跟踪的性能。目标的表示到现在为止还没有一个统一的表示方法，一般都是基于不同的特定的跟踪场景选择目标的表示方式。
2.2. 特征选择
特征选取需考虑以下三方面问题：1) 鲁棒性，这主要是由于遮挡、光照变化及视角不同等造成的图像表象的变化，比如，边缘特征对场景中光线的变化不敏感，角点特征在图像中有很好的定位性；2) 简洁性，即用少量特征信息来描述目标，大大压缩目标的信息量，使整个算法简洁，也方便后续的处理；
3) 可计算性，即特征的获得可能需要一定的图像处理方法，需要特征具有可检测性。实践证明，目标跟踪算法中选取什么样的特征，很多情况下并没有一个有章可循的方法。但是，特征选取的结果却会对跟踪的效率影响很大。
特征的选择与目标的表示方法密切相关的，比如说，颜色可以作为基于直方图的外观目标表示方法的特征，在很多情况下跟踪算法是使用多种特征的，一些主要的目标跟踪特征如下：
①颜色特征。一个物体的颜色主要由两个物理特征因素决定。一个是光照环境；另外一个是目标表面的反射特性。在图像处理中RGB (Red, Green, Blue)颜色空间通常被用来表示颜色。
②边缘特征。边缘定义为两个强度明显不同的区域之间的过渡，图像的梯度函数即图像灰度变化的速率将在这些过渡边界上存在最大值。
③光流特征。光流是一个密集场位移矢量，用来确定每一个地区的像素。光流计算使用亮度限制，假定相邻帧的亮度相素恒定。
④纹理特征。关于图像纹理并不存在严格的一般定义，我们把灰度分布性质或图像表面呈现出的方向信息称为纹理结构，它有助于区别不同的图像区域。
徐佳龙
多数特征选取取决于其应用领域。然而，特征的自动选取问题已经引起了模式识别界的极大关注。
自动特征选择方法可分为过滤器法和封装法。过滤器法是基于一般标准选取特征，比如，特征无关联性。
以上所有特征中，颜色是跟踪中使用的最广泛的特征。在使用的过程中，目标重心、边缘、面积、矩和颜色等一般作为整体特征；线段、曲线段和角点等则为局部特征提取结果；另外，还可将各种距离和特征间的几何关系组合成新的特征。
2.3. 目标检测
与目标的表示方法和所选取的特征相对应，目标检测方法分为点检测、图像分割、背景建模、监督分类等四种。其中，典型的点检测方法有角点检测算法[4]、尺度不变特征转换(Scale Invariant Feature Transform)[5]、仿射不变点检测法(Affine Invariant Point Detector)[6]；图像分割方法则以均值平移(Mean-shift) [7]、图分割(Graph-cut) [8]、主动轮廓模型(Active contours) [9]等为代表；背景建模法包括混合高斯模型[10]、特征背景模型[11]、Wall flower [12]、动态纹理背景模型(Dynamic texture background) [13]；
监督分类的典型方法为支持矢量机(Support Vector Machines)[14]、神经网络(Neural Networks)[15]、Adaptive Boosting [16]。
2.4. 跟踪算法
为了克服由噪音、遮挡和复杂环境下引起的目标或背景的变化，已有许多目标跟踪算法被提出。不同算法对目标(外观、形状、数目)、相机数目及运动形式、目标运动形式、光照条件等都有不同要求。根据在目标检测所选择的特征不同，可以将跟踪算法分为点跟踪、核跟踪、轮廓跟踪和形状匹配。
点跟踪选取点特征作为目标检测的依据，以预测目标在下一帧的位置再根据实际图像进行修正为主要解决思路，图2给出了各种运动约束形式的示意图，各图中，?表示目标在第(t ? 1)帧的位置，x代表第t帧中目标的可能位置。
核跟踪方法可以选择模板等特征，典型算法有简单模板匹配、均值平移(Mean-shift)；也可以采用多视点外观模型，典型方法有Eigentracking[17]、支持矢量机[18]等。这类方法的主要目的是通过匹配的方式估计目标的运动，一般对目标采用模板表示法或概率密度模型表示法，施加的约束条件有运动模型约束(匀速或常加速等)和光流约束条件[19]。
轮廓跟踪的方法以活动轮廓模型为典型代表[20]。相对基于区域的跟踪，此类方法对于描述物体较为简单而有效率，可以减少运算的复杂程度。
2.5. 形状匹配
像人体目标这样的复杂目标一般不能用简单几何形状来表示，一般根据前几帧的检测结果生成复杂的形状模型来表示。比如，人体形状除了可以用线图法和二维轮廓简单近似外，还有利用广义锥台、椭圆柱、球等三维模型来描述人体的结构细节的立体模型和层次模型(包括四个层次：骨架、椭圆球体模拟组织和脂肪、多边形表面代表皮肤、阴影渲染)。形状匹配法通过将目标模型投影到图像数据进行匹配来完成目标跟踪，而形状模型则可以根据先验知识获取，通常利用离线的人工测量、计算机辅助设计(CAD)和计算机视觉技术来构造模型[21]。
3. 结束语
尽管目标跟踪已经获得很多研究成果，包括一些实时性和鲁棒性都很好的算法，但是很多算法都是在一定约束条件下进行的，因而与目标跟踪有关的特征选择、目标表示、运动估计等问题都值得进一步深入研究。时至今日，实现复杂场景下的稳健跟踪依然是一个具挑战意义的研究课题。这种挑战绝大多
徐佳龙
(a) (b) (c) (d) (e) Figure 2. Diversified moving constraints. (a) Proximity; (b) Maximum velosity (r is the radius); (c) Minimum velocity; (d) The same velocity; (e) Rigid constraint
图2. 不同的运动约束。(a) 邻近性；(b) 速度最大化(r 表示半径)；(c) 速度变化最小化；(d) 共同运动性；(e) 刚性约束
数是来自视频序列中的图像变化和多个运动目标存在。目前所有的流行方法都不足以做到对光照、多运动目标的鲁棒性。
基于对现有工作的研究和分析，可以预测未来的研究方向：
1) 将来的总体趋势是借助信息融合的思想，充分利用不同角度对目标的描述信息、多种特征以及视频上下文关联信息，并对不同的算法也进行优化组合，最终目标是能够处理无任何约束条件的视频(尤其是新闻视频)中的运动目标，这些自然场景的视频图像往往是含噪的、被压缩的或非结构性的，而且很多经过了多个摄像机成像结果的剪辑，处理难度较大。
2) 遮挡情况的处理。目前采用的方法有通过预测跟踪跳过目标的完全遮挡的画面继续跟踪，通过选取一些特征使得在遮挡情况下也能通过特征检测定位目标，变换摄像机位置或多摄像机跟踪。
3) 目标特征的自动选取。目前HMM 和DBN (Dynamic Bayes Networks)等概率方法中，DBN 效果较好，只是DBN 的有效求解方法仍然需要进一步研究。
4) 生物视觉系统的模拟。生物学结果表明，蛙眼有四种独立的图像动作使之对运动目标非常敏感：持续反差检测以检测尖锐边缘的存在性；本质突边检测用于检测暗运动目标是否具有弯曲的边界；运动边界检测；本质变暗检测则检测视野中的区域是如何变暗的。现在有人用自适应平滑滤波、Mean-shift 滤波、区域划分、轮廓提取等步骤，最后结合目标大小的先验信息获得期望的跟踪位置，基本上以Mean- shift 方法的思路为主。如何更好地模拟蛙眼的生理特性也是一个值得深入研究的课题。
参考文献 (References)
[1] Yilmaz, A., Javed, O. and Shah, M. (2006) Object tracking: A survey. ACM Computing Surveys , 38, 1-45.
https://www.doczj.com/doc/2e15086092.html,/10.1145/1177352.1177355
[2] 陈宁强 (2010) 多目标跟踪方法研究综述. 科技信息, 21-26.
[3] 尹宏鹏 (2009) 基于计算机视觉的运动目标跟踪算法研究. 重庆大学博士论文, 重庆.
[4] Harris, C.G. and Stephens, M. (1988) A combined corner and edge detector. Proceedings of 4th Alvey Vision Confe-
rence , 189-192. https://www.doczj.com/doc/2e15086092.html,/10.5244/c.2.23
[5] Lowe, D. (2004) Distinctive image features from scale-invariant key points. International Journal Computer Vision , 60,
91-110. https://www.doczj.com/doc/2e15086092.html,/10.1023/B:VISI.0000029664.99615.94
[6] Mikolajczyk, K. and Schmid, C. (2002) An affine invariant interest point detector. European Conference on Computer
Vision , 128-142.
[7] Lochner, M. and Trick, L. (2014) Multiple-object tracking while driving: The multiple-vehicle tracking task. Attention ,
Perception , & Psychophysics , 76, 2326-2345. https://www.doczj.com/doc/2e15086092.html,/10.3758/s13414-014-0694-3
[8] Meyerhoff, H., Papenmeier, F. and Huff, M. (2013) Object-based integration of motion information during attentive
tracking. Perception , 42, 119-121. https://www.doczj.com/doc/2e15086092.html,/10.1068/p7273
[9] Chevalier, F., Dragicevic, P. and Franconeri, S. (2014) The not-so-staggering effect of staggered animated transitions
on visual tracking. IEEE Transactions on Visualization and Computer Graphics , 20, 2241-2250.
x x x x x
x
r
x x x
x x
x x x
x x
徐佳龙
https://www.doczj.com/doc/2e15086092.html,/10.1109/TVCG.2014.2346424
[10]Stauffer, C. and Grimson, W. (2000) Learning patterns of activity using real time tracking. IEEE Transaction Pattern
Analysis and Machine Intelligence, 22, 747-767. https://www.doczj.com/doc/2e15086092.html,/10.1109/34.868677
[11]Oliver, N., Rosario, B. and Pentland, A. (2000) A Bayesian computer vision system for modeling human interactions.
IEEE Transactions on Pattern Analysis and Machine Intelligence, 22, 831-843. https://www.doczj.com/doc/2e15086092.html,/10.1109/34.868684
[12]Feria, C. (2013) Speed has an effect on multiple-object tracking independently of the number of close encounters be-
tween targets and distractors. Attention, Perception, & Psychophysics, 75, 53-67.
https://www.doczj.com/doc/2e15086092.html,/10.3758/s13414-012-0369-x
[13]Monnet, A., Mittal, A., Paragios, N. and Ramesh, V. (2003) Background modeling and subtraction of dynamic scenes.
Proceedings of the Ninth IEEE International Conference on Computer Vision, Nice, 13-16 October 2003, 1305-1312.
https://www.doczj.com/doc/2e15086092.html,/10.1109/ICCV.2003.1238641
[14]Lukavsky, J. (2013) Eye movements in repeated multiple object tracking. Journal of Vision, 13, 9-16.
https://www.doczj.com/doc/2e15086092.html,/10.1167/13.7.9
[15]Rowley, H., Baluja, S. and Kanade, T. (2014) Tracking by location and features: Object correspondence across spati-
otemporal discontinuities during multiple object tracking. Journal of Experimental Psychology: Human Perception and
Performance, 40, 159-171. https://www.doczj.com/doc/2e15086092.html,/10.1037/a0033117
[16]Viola, P., Jones, M. and Snow, D. (2003) Detecting pedestrians using patterns of motion and appearance. Proceedings
of the Ninth IEEE International Conference on Computer Vision, Nice, 13-16 October 2003, 734-741.
[17]Black, M. and Jepson, A. (1998) Eigen-tracking: Robust matching and tracking of articulated objects using a view-
based representation. International Journal of Computation Vision, 26, 63-84.
https://www.doczj.com/doc/2e15086092.html,/10.1023/A:1007939232436
[18]Avidan, S. (2001) Support vector tracking. Proceedings of the IEEE Computer Society Conference on Computer Vision
and Pattern Recognition, Kauai, 8-14 December 2001, 184-191.
[19]Rehman, A., Kihara, K., Matsumoto, A. and Ohtsuka, S. (2015) Attentive tracking of moving objects in real 3D space.
Vision Research, 109, 1-10. https://www.doczj.com/doc/2e15086092.html,/10.1016/j.visres.2015.02.004
[20]Franconeri, S., Jonathan, S. and Scimeca, J. (2010) Tracking multiple objects is limited only by object spacing, not
speed, time, or capacity. Psychological Science, 21, 920-925. https://www.doczj.com/doc/2e15086092.html,/10.1177/0956797610373935
[21]Zhang, S.L., Huang, Q.M., Jiang, S.Q., Gao, W. and Tian, Q. (2010) Affective visualization and retrieval for music
video. IEEE Transactions on Multimedia, 12, 510-522. https://www.doczj.com/doc/2e15086092.html,/10.1109/TMM.2010.2059634
Artificial Intelligence and Robotics Research 人工智能与机器人研究, 2015, 4(3), 17-22 Published Online August 2015 in Hans. https://www.doczj.com/doc/2e15086092.html,/journal/airr https://www.doczj.com/doc/2e15086092.html,/10.12677/airr.2015.43003 A Survey on Object Tracking Jialong Xu Aviation Military Affairs Deputy Office of PLA Navy in Nanjing Zone, Nanjing Jiangsu Email: pugongying_0532@https://www.doczj.com/doc/2e15086092.html, Received: Aug. 1st, 2015; accepted: Aug. 17th, 2015; published: Aug. 20th, 2015 Copyright ? 2015 by author and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). https://www.doczj.com/doc/2e15086092.html,/licenses/by/4.0/ Abstract Object tracking is a process to locate an interested object in a series of image, so as to reconstruct the moving object’s track. This paper presents a summary of related works and analyzes the cha-racteristics of the algorithm. At last, some future directions are suggested. Keywords Object Tracking, Track Alignment, Object Detection 目标跟踪相关研究综述 徐佳龙 海军驻南京地区航空军事代表室，江苏南京 Email: pugongying_0532@https://www.doczj.com/doc/2e15086092.html, 收稿日期：2015年8月1日；录用日期：2015年8月17日；发布日期：2015年8月20日 摘要 目标跟踪就是在视频序列的每幅图像中找到所感兴趣的运动目标的位置，建立起运动目标在各幅图像中的联系。本文分类总结了目标跟踪的相关工作，并进行了分析和展望。
目标跟踪的研究背景意义方法及现状 1目标跟踪的研究背景及意义 (1) 1.1电视监控 (2) 1.2视频压缩编码 (2) 1.3智能交通系统 (2) 1.4人机交互 (3) 2研究现状及研究面临的问题 (3) 2.1研究现状 (3) 2.2研究面临的难题 (4) 3目标跟踪的主要方法 (4) 3.1基于检测的方法 (5) 3.2基于识别的方法 (5) 1目标跟踪的研究背景及意义 感觉是人类与外界联系的窗口和交流的桥梁，它的主要任务是识别周边物体，判断与这些物体之间的联系，使人类的思维与周围世界建立某种对应的关系。而视觉系统是人类感觉的最主要来源，是获取外界信息的最主要途径，它是一种高清晰度的媒介，为人类提供着丰富的外界资源信息。据统计，大约有80%的外界信息是通过眼睛被人接收的。然而，由于人类的精力毕竟是有限的，人类的视野也是有限的，所以人类的视觉在各种领域的应用都受到很大限制甚至是低效的。 因而，随着数字计算机技术的飞速发展，让计算机能够处理视觉信息、完善人类视觉上的诸多短板就成了一项非常诱人的研究课题，也因此推动了计算机视觉这一学科的产生和发展。计算机视觉是融合了图像处理、计算机图形学、模式识别、人工智能、人工神经网络、计算机、心理学、物理学和数学等领域的一门交叉性很强的学科。计算机视觉研究的目的是使计算机感知环境中的物体的几何信息，包括它的形状、位置、姿态、运动等，并对其进行描述、存储、识别与理解，因此成为当今最热门的课题之一。 运动目标跟踪属于视频分析的内容，而视频分析则融合了计算机视觉研究领域的中层和高层处理阶段，即对图像序列进行处理，从而研究运动目标的规律，或者为系统的决策报警提供语义和非语义的信息支持，包括运动检测、目标分类、目标跟踪、行为理解、事件检测等。视频目标跟踪方法的研究和应用作为计算机视觉领域的一个重要分支，正日益广泛地应用到科学技术、国防建设、航空航天、医药卫生以及国民经济的各个领域，因而研究目标跟踪技术有着重大的实用价值
1引言 目标跟踪可分为主动跟踪和被动跟踪。视频目标跟踪属于被动跟踪。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。这些优点使得视频目标跟踪测量在靶场光电测量、天文观测设备、武器控制系统、激光通信系统、交通监控、场景分析、人群分析、行人计数、步态识别、动作识别等领域得到了广泛的应用[1-2]。 根据被跟踪目标信息使用情况的不同，可将视觉跟踪算法分为基于对比度分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。基于对比度分析的跟踪算法主要利用目标和背景的对比度差异，实现目标的检测和跟踪。基于匹配的跟踪主要通过前后帧之间的特征匹配实现目标的定位。基于运动检测的跟踪主要根据目标运动和背景运动之间的差异实现目标的检测和跟踪。前两类方法都是对单帧图像进行处理，基于匹配的跟踪方法需要在帧与帧之间传递目标信息，对比度跟踪不需要在帧与帧之间传递目标信息。基于运动检测的跟踪需要对多帧图像进行处理。除此之外，还有一些算法不易归类到以上3类，如工程中的弹转机跟踪算法、多目标跟踪算法或其他一些综合算法。2基于对比度分析的目标跟踪算法基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。这类算法按照跟踪参考点的不同可以分为边缘跟踪、形心跟踪和质心跟踪等。这类算法不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合（如要求跟踪目标的左上角或右下角等）有其独到之处。缺点是跟踪点易受干扰，跟踪随机误差大。重心跟踪算法计算简便，精度较高，但容易受到目标的剧烈运动或目标被遮挡的影响。重心的计算不需要清楚的轮廓，在均匀背景下可以对整个跟踪窗口进行计算，不影响测量精度。重心跟踪特别适合背景均匀、对比度小的弱小目标跟踪等一些特殊场合。图像二值化之后，按重心公式计算出的是目标图像的形心。一般来说形心与重心略有差别[1-2]。 3基于匹配的目标跟踪算法 3.1特征匹配 特征是目标可区别与其他事物的属性，具有可区分性、可靠性、独立性和稀疏性。基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的 文章编号：1002－8692（2010）12-0135-04 视频目标跟踪算法综述* 蔡荣太1，吴元昊2，王明佳2，吴庆祥1 （1.福建师范大学物理与光电信息科技学院，福建福州350108； 2.中国科学院长春光学精密机械与物理研究所，吉林长春130033） 【摘要】介绍了视频目标跟踪算法及其研究进展，包括基于对比度分析的目标跟踪算法、基于匹配的目标跟踪算法和基于运动检测的目标跟踪算法。重点分析了目标跟踪中特征匹配、贝叶斯滤波、概率图模型和核方法的主要内容及最新进展。此外，还介绍了多特征跟踪、利用上下文信息的目标跟踪和多目标跟踪算法及其进展。 【关键词】目标跟踪；特征匹配；贝叶斯滤波；概率图模型；均值漂移；粒子滤波 【中图分类号】TP391.41；TN911.73【文献标识码】A Survey of Visual Object Tracking Algorithms CAI Rong-tai1,WU Yuan-hao2,WANG Ming-jia2,WU Qing-xiang1 （1.School of Physics,Optics,Electronic Science and Technology,Fujian Normal University,Fuzhou350108,China; 2.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Science,Changchun130033,China）【Abstract】The field of visual object tracking algorithms are introduced,including visual tracking based on contrast analysis,visual tracking based on feature matching and visual tracking based on moving detection.Feature matching,Bayesian filtering,probabilistic graphical models,kernel tracking and their recent developments are analyzed.The development of multiple cues based tracking,contexts based tracking and multi-target tracking are also discussed． 【Key words】visual tracking;feature matching;Bayesian filtering;probabilistic graphical models;mean shift;particle filter ·论文·*国家“863”计划项目（2006AA703405F）；福建省自然科学基金项目（2009J05141）；福建省教育厅科技计划项目（JA09040）
龙源期刊网 https://www.doczj.com/doc/2e15086092.html, 多目标跟踪数据关联方法综述 作者：杨凡弟 来源：《科技视界》2016年第06期 【摘要】本文首先介绍了目标跟踪的基本概念和原理，并对在此过程中最重要的数据关 联进行了论述；再对经典的数据关联方法进行了分析与总结，指出了经典的数据关联方法的基本特征；并对近几年受到广泛关注的“多对一”问题、以及实际应用中基于特征的数据关联进行了总结。最后，基于数据关联的研究现状，提出了需要进一步研究的若干问题。 【关键词】多目标跟踪；数据关联；综述 【Abstract】Firstly， the basic concept， principle of target tracking are introduced， and the importance of data association is analyzed； Secondly， the classical data association methods are summarized and the basic feature of those methods are presented； For tracking a target when more than one target originated measurement may exist within the validation gate， the many-to-one measurement set-to-track association methods are summarized， as well methods based on features. Finally， the future study problems of development of data association methods are presented. 【Key words】Multi-target tracking； Data association； Summary 0 引言 目标跟踪是对传感器接收到的量测信息进行处理，从而维持对目标当前状态估计的过程[1]。目标跟踪在军事和民用领域具有重要的应用价值，随着航空航天、机器人以及智能交通 系统等领域的迅速发展，目标跟踪的越来越受到各国的广泛关注；因此，在近几十年来，这方面的研究相当活跃。目标跟踪的基本原理如下所示[2]： 由于在传感器观测过程和目标跟踪环境中存在的各种不确定性以及随机性，破坏了传感器量测与产生量测的目标源之间的对应关系，因此确定传感器接收到的量测和目标源之间对应关系的数据关联方法是多目标跟踪系统中最重要的内容。 1 经典的数据关联方法 最近邻算法[3]主要思想是，在相关跟踪门内“唯一”地选择与被跟踪目标预测位置距离最近的观测与其相关联，即测量值与目标之间是是一一对应的关系。 概率数据关联（PDA）算法[4]，其主要思想是将跟踪波门中所有量测进行概率意义上的 加权平均作为滤波输出。对多目标跟踪门相交情况进行了详尽的研究之后，Shalom提出了联 合概率数据关联（JPDA）算法[5]，该算法首次引入了聚的概念，按照多目标的跟踪门之间的几何关系将量测划分成多个聚。JPDA算法依次处理每个聚中的量测与目标的关联概率，该方
0引言 视觉跟踪是计算机视觉中引人瞩目且快速发展的领域,主要用于获取运动目标的位置、姿态、轨迹等基本运动信息,是理解服务对象或对目标实施控制的前提和基础。其涉及许多具有挑战性的研究热点并常和其他计算机视觉问题结合出现,如导航制导、事件检测、行为识 别、视频监控、自动驾驶、移动机器人等[1-4]。虽然跟踪方法取得了长足进展,但由于遮挡、目标的平面内/外旋 转、快速运动、模糊、光照及变形等因素的存在使其仍然是非常具有挑战性的工作。 近年来,基于相关滤波器CF(Correlation Filter)的跟踪 方法得到了极大关注[5-9]。CF 最大的优点是计算效率高,这归结于其假设训练数据的循环结构,因为目标和候选 区域能在频域进行表示并通过快速傅里叶变换(FFT)操作。Bolme [6]等首次将CF 应用于跟踪提出MOSSE 算法,其利用FFT 的快速性使跟踪速度达到了600-700fps 。瑞典林雪平大学的Martin Danelljan 在2016年ECCV 上提出的相关滤波器跟踪算法C -COT [7]取得了VOT2016竞赛冠军,2017年其提出的改进算法ECO [8]在取得非常好的精度和鲁棒性的同时,显著提高运算速度至C-COT 的6倍之多。 基于CF 的跟踪算法如此优秀,已然成为研究热点。近年和相关滤波有关的论文层出不穷,很有必要对这些论文及相关滤波的发展等进行一个归纳和总结,以推动该方向的发展。文献[9]虽已做过综述并取得了一定效果,但有两点不足:(1)过多介绍现有几种方法的具体细节,没有对更多文献进行对比分析;(2)缺乏对基于相关滤波器跟踪方法的分类对比分析。基于此,本文的不同 ?基金项目:陕西理工大学科研项目资助(SLGKY16-03) 基于相关滤波器的目标跟踪方法综述? 马晓虹1,尹向雷 2 (1.陕西理工大学电工电子实验中心,陕西汉中723000;2.陕西理工大学电气工程学院,陕西汉中723000) 摘要:目标跟踪是计算机视觉中的重要组成部分,广泛应用于军事、医学、安防、自动驾驶等领域。虽然取得了很大进展,但由于遮挡、快速运动、模糊、光照及变形等因素存在,其仍是具有挑战性的研究领域。近年来,属于判别式类型的相关滤波器跟踪方法由于具有非常高的处理速度备受关注。首先介绍了目标跟踪和相关滤波器的基本知识,之后对相关滤波器方法在朴素阶段、循环结构和核技巧、多特征通道、与深度特征的结合、尺度研究、边界效应以及其他信息的利用方面进行了详述,最后对基于相关滤波器方法的研究方向和发展趋势给出了几点看法。关键词:计算机视觉;目标跟踪;相关滤波器中图分类号:TP391 文献标识码:A DOI :10.16157/j.issn.0258-7998.174811 中文引用格式:马晓虹,尹向雷.基于相关滤波器的目标跟踪方法综述[J].电子技术应用,2018,44(6):3-7,14. 英文引用格式:Ma Xiaohong ,Yin Xianglei.Method of object tracking based on correlation filters :a survey[J].Application of Elec-tronic Technique ,2018,44(6):3-7,14. Method of object tracking based on correlation filters :a survey Ma Xiaohong 1,Yin Xianglei 2 (1.Electrical and Electronic Experiment Teaching Center ,Shannxi University of Technology ,Hanzhong 723000,China ; 2.School of Electrical Engineering ,Shannxi University of Technology ,Hanzhong 723000,China) Abstract :Object tracking is an important part in computer vision and is widely used in military,medical,security and autonomous driving.Although great progress has been made,it is still a challenging research field due to the factors such as occlusion,rapid speed,motion blur,illumination and deformation.In recent years,the correlation filter tracking method,one of discriminant type,has attracted much attention due to its higher processing speed.We first introduces the basic knowledge of the object tracking and the correlation filter tracking,and the correlation filter tracking methods in simple stage,we also discussed the circular structure and the kernel trick,the combination of multiple feature channels and deep feature,scale research,boundary effect and the use of other information.Finally,the research direction and development trend of the method based on the correlation filter is given.Key words :computer vision ;object tracking ;correlation filter
视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在 视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1 帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设(,)k f x y 和(1)(,)k f x y +分别为图像序列中的第k 帧和第k+1帧中象素点(x ，y)的象素值,则这两帧图像的差值图像就如公式2-1 所示： 1(1)(,)(,)k k k Diff f x y f x y ++=- (2-1) 2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1 式得到第k 帧和第k+1帧的差值图像1k Diff +；2、对所得到的差值图像1k Diff +二值化（如式子2-2 示）得到Qk+1；3、为消除微小噪声的干扰，使得到的运动目标更准确，对1k Q +进行必要的滤波和去噪处理，后处理结果为1k M +。 111255,,(,)0,,(,)k k k if Diff x y T Q if Diff x y T +++>?=?≤? （T 为阈值） （2-2）
经过近４０多年的深入研究和发展，多目标跟踪技术在许多方面都有着广泛应用和发展前景，如军事视觉制导、机器人视觉导航、交通管 制、 医疗诊断等［１－２］。目前，虽然基于视频的多运动目标跟踪技术已取得了很大的成就，但由于视频中图像的变化和物体运动的复杂性，使得对多运动目标的检测与跟踪变得异常困难，如多目标在运动过程中互遮挡、监控场景的复杂性等问题，解决上述难题一直是该领域所面临的一个巨大挑战，因此，对视频中多目标跟踪技术研究仍然是近年来一个热门的研究课题［３－５］。 １、多目标跟踪的一般步骤 基于视频的多目标跟踪技术融合了图像处理、模式识别、人工智能、 自动控制以及计算机视觉等众多领域中的先进技术和核心思想。不同的多目标跟踪方法其实现步骤有一定的差异，但多目标跟踪的主要 流程是相同的，如图１所示，其主要包括图像预处理、 运动目标检测、多目标标记与分离、多目标跟踪四个步骤。 图１多目标跟踪基本流程图 ２、多目标跟踪方法 多目标跟踪方法可以根据处理图像或视频获取视点的多少分为两大类，一类是单视点的多目标跟踪，另一类就是多视点的多目标跟踪。 ２．１单视点的方法 单视点方法是针对单一相机获取的图像进行多目标的检测和跟踪。该方法好处在于简单且易于开发，但由于有限的视觉信息的获取，很难处理几个目标被遮挡的情况。 块跟踪（Ｂｌｏｂ－ｔｒａｃｋｉｎｇ）是一种流行的低成本的跟踪方法［６－７］。这种方法需要首先在每一帧中提取块，然后逐帧寻找相关联的块，从而实现跟 踪。 例如ＢｒａＭＢＬｅ系统［８］就是一个基于已知的背景模型和被跟踪的人的外表模型计算出块的似然性的多块跟踪器。这种方法最大的不足之处在于：当由于相似性或者遮挡，多个目标合并在一起时，跟踪将导致失败。因此，可以取而代之的方法是通过位置、外观和形状保留清晰目标的状态。文献［９］利用组合椭圆模拟人的形状，用颜色直方图模拟不同人的外观，用一个增强高斯分布模拟背景以便分割目标，一旦场景中发现对应于运动头部的像素，一个ＭＣＭＣ方法就被用于获取多个人的轮廓的最大后验概率，在单相机的多人跟踪应用中取得了非常有意义的结果。Ｏｋｕｍａ等人提出了一种将Ａｄａｂｏｏｓｔ算法和粒子滤波相结合的方法［１０］。该方法由于充分利用了两种方法的优点，相比于单独使用这两种方法本身，大大降低了跟踪失败的情形，同时也解决了在同一框架下检测和一致跟踪的问题。Ｂｒｏｓｔｏｗ等人提出了一个用于在人群中检测单个行人的特征点轨迹聚类的概率框架［１１］。这个框架有一个基本假设是一起运动的点对可能是同一个个体的一部分，并且把它用于检测和最终的跟踪。对于完全和部分遮挡目标以及外观变化，这些方法和另外一些相似的方法都有很大的局限性。 为了解决遮挡问题，一系列单视点跟踪技术应运而生。典型的方法 是利用块合并来检测遮挡的发生［１２］。当被跟踪的点消失， 跟踪特征点的方法就简单的将其作为一个被遮挡特征点。近年来，基于目标轮廓和外观的跟踪技术利用隐含的目标到相机的深度变化来表示和估计目标间的遮挡关系。但大多数方法都只能解决部分遮挡，不能解决完全被遮挡 的情况。 另外，小的一致运动被假设为是可以从遮挡视点中可以预测运动模式的，这些给没有预测运动的较长时间的遮挡的处理带来问题。尽管这些单视点的方法有较长的研究历史，但这些方法由于不能明锐的 观察目标的隐藏部分，因此不能很好地解决有２或３个目标的遮挡问题。 ２．２多视点的方法 随着复杂环境中对检测和跟踪多个被遮挡的人和计算他们的精确 位置的需要，多视点的方法成为研究的热点。 多视点跟踪技术的目的就是利用不同视点的冗余信息，减少被遮挡的区域，并提供目标和场景的３Ｄ信息。尽管通过相机不能很好地解决目标跟踪问题，但却提出了一些很好的想法，如选择最佳视点，但这些方法都以实际环境模型和相机校正为特征。 ９０年代后半期，在很多文献中给出了多视点相关的多目标跟踪方法。 比如利用一个或多个相机与观察区域相连的状态变化映射，同时给出一系列的行为规则去整合不同相机间的信息。利用颜色在多个视点中进行多目标的跟踪的方法，该方法模拟了从基于颜色直方图技术的 背景提取中获得的连接块并应用其去匹配和跟踪目标。 除此之外，也有在原来的单视点跟踪系统进行扩展的多视点跟踪方法。该方法主要是通过一个预测，当预测当前的相机不在有一个好的视点时，跟踪就从原来凯斯的那个单相机视点的跟踪转换到另外一个相机，从而实现多视点的跟踪。基于点与它对应的极线的欧氏距离的空间匹配方法、贝叶斯网络和立体相对合并的方法都是多目标多视点跟踪的常见方法。尽管这些方法都试图去解决遮挡问题，但由于遮挡的存在，基于特征的方法都不能根本解决，其次，这些方法中的遮挡关系的推理一般都是根据运动模型，卡尔曼滤波或者更普遍的马尔科夫模型的时间一致性来进行的。因此，当这个过程开始发散，这些方法也不能恢复遮挡关系。 最近一种基于几何结构融合多个视点信息的Ｈｏｍｅｇｒａｐｈｉｃｏｃｃｕｐａｎｃｙｃｏｎｓｒｒａｉｎｔ（ＨＯＣ）［１２］方法，可以通过在多场景平台对人的定位来解决遮挡问题。仅采用随时间变化的外表信息用于从背景中检测前景，这使得在拥挤人流的场景中的外表遮挡的解决更健壮。利用多视点中的前景信息，主要是试图找到被人遮挡的场景点的图像位置，然后这些被遮挡的信息用于解决场景中多个人的的遮挡和跟踪问题。在这种思想指导下，Ｍｉｔｔａｌ，Ｌｅｉｂｅ，Ｆｒａｎｃｏ等的研究工作和机器人导航中基于遮挡网格的距离传感器的并行工作是相似的，这些方法在融合３Ｄ空间信息的时候需要进行校正相机。但ＨＯＣ方法是完全基于图像的，仅需要２Ｄ结构信息进行图像平面的融合。当然也有另外一些不需要进行相机校正的算法被提出，但需要学习一个与相机最小相关的信息。在目标跟踪过程中，由于这些方法依赖于单个相机的场景，对于拥挤场景中目标分布密度增加九无能为力了。在ＨＯＣ的多视点的目标跟踪中，对于任何单一相机的场景，或者相机对的场景，都不需要进行定位和跟踪目标，而是从所有相机的场景中收集证据，形成一个统一的框架，由于该方法能够从多个时间帧的场景中进行场景被遮挡概率的全局轨迹优化，因此可以同时进行检测和跟踪。 ３、总结 动态目标检测与跟踪是智能监控系统的重要组成部分，它融合了图像处理、模式识别、自动控制及计算机应用等相关领域的先进技术和研究成果，是计算机视觉和图像编码研究领域的一个重要课题，在军事武器、工业监控、交通管理等领域都有广泛的应用。尤其是对于多目标检测与跟踪中的遮挡与被遮挡的处理，对提高智能监控中目标的行为分析有着重要的意义。随着监控设备的发展和设施的铺设，多视点的场景图像是很容易得到的，因此借助信息融合的思想，充分利用不同角度对目标的描述信息，可以很大地改进目前基于单视点的多目标检测和跟踪的精度，能够很好地解决单视点方法中不能很好解决的遮挡问题。参考文献 ［１］胡斌，何克忠．计算机视觉在室外移动机器人中的应用．自动化学报，２００６，３２（５）：７７４－７８４． ［２］Ａ．Ｏｔｔｌｉｋ，Ｈ．－Ｈ．Ｎａｇｅｌ．ＩｎｉｔｉａｌｉｚａｔｉｏｎｏｆＭｏｄｅｌ－ＢａｓｅｄＶｅｈｉｃｌｅＴｒａｃｋｉｎｇｉｎＶｉｄｅｏＳｅｑｕｅｎｃｅｓｏｆＩｎｎｅｒ－ＣｉｔｙＩｎｔｅｒｓｅｃｔｉｏｎｓ．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２００８，８０（２）：２１１－２２５．多目标跟踪方法研究综述 苏州联讯图创软件有限责任公司 陈宁强 ［摘要］文章对目前现有的多目标跟踪方法从信息获取的不同角度进行了综述。主要分析比较了目前单视点和多视点目标跟踪方 法对于目标遮挡问题的处理性能，并指出多视点的基于多源信息融合的思想，可以较好地解决场景中目标的遮挡问题。［关键词］单视点多视点目标跟踪信息融合基金项目：本文系江苏省自然科学基金（ＢＫ２００９５９３）。 作者简介：陈宁强（１９７３－），男，江苏苏州人，工程师，主要研究方向：ＧＩＳ、模式识别和图像处理与分析。 目标跟踪多目标标记与分离 匹配 目标模型 运动检测当前帧图像 背景提取 去噪 ＲＯＩ 预处理 视频序列 （下转第２６页）
目标跟踪的研究背景意义方法及现状
目录 ? 1.课题背景与研究意义? 2.国内外研究现状 ? 3.存在的问题 ? 4.总结，发展与展望 ? 5.参考文献
1课题背景与研究意义 ?运动目标的跟踪就是在视频图像的每一幅图像中确定出我们感兴趣的运动目标的位置，并把不同帧中同一目标对应起来。 ?智能视频监控(IVS: Intelligent Video Surveillance)是计算机视觉领域近几年来发展较快，研究较多的一个应用方向。它能够利用计算机视觉技术对采集到的视频信号进行处理、分析和理解，并以此为基础对视频监控系统进行控制，从而使视频监控系统具备更好的智能性和鲁棒性。智能视频监控系统主要涉及到图像处理、计算机视觉、模式识别、人工智能等方面的科学知识，它的用途非常广泛，在民用和军事领域中都有着极大的应用前景。
2.国内外研究现状 视频目标跟踪算法 基于对比度分析基于匹配核方法运动检测其它方法 特征匹配贝叶斯 跟踪 Mean shift方法 光流法
基于对比度分析的方法 ?算法思想：基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。 ?分类：边缘跟踪，型心跟踪，质心跟踪。 ?优缺点：不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。
基于特征匹配的目标跟踪算法 ?算法思想：基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的过程就是特征匹配过 程。 ?目标跟踪中用到的特征主要有几何形状、子空间特征、外形轮廓和特征点等。其中，特征点是匹配算法中常用的特征。特征点的提取算法很多，如Kanade Lucas Tomasi （KLT）算法、Harris 算法、SIFT 算法以及SURF 算法等。?优缺点：特征点一般是稀疏的，携带的信息较少，可以通过集成前几帧的信息进行补偿。目标在运动过程中，其特征（如姿态、几何形状、灰度或颜色分布等）也随之变化。 目标特征的变化具有随机性，这种随机变化可以采用统计数学的方法来描述。直方图是图像处理中天然的统计量，因此彩色和边缘方向直方图在跟踪算法中被广泛采用。
。 目标跟踪算法综述 大连理工大学卢湖川一、引言 目标跟踪是计算机视觉领域的一个重 要问题，在运动分析、视频压缩、行为识 别、视频监控、智能交通和机器人导航等 很多研究方向上都有着广泛的应用。目标 跟踪的主要任务是给定目标物体在第一帧 视频图像中的位置，通过外观模型和运动 模型估计目标在接下来的视频图像中的状 态。如图1所示。目标跟踪主要可以分为5 部分，分别是运动模型、特征提取、外观 模型、目标定位和模型更新。运动模型可 以依据上一帧目标的位置来预测在当前帧 目标可能出现的区域，现在大部分算法采用的是粒子滤波或相关滤波的方法来建模目标运动。随后，提取粒子图像块特征，利用外观模型来验证运动模型预测的区域是被跟踪目标的可能性，进行目标定位。由于跟踪物体先验信息的缺乏，需要在跟踪过程中实时进行模型更新，使得跟踪器能够适应目标外观和环境的变化。尽管在线目标跟踪的研究在过去几十年里有很大进展，但是由被跟踪目标外观及周围环境变化带来的困难使得设计一个鲁棒的在线跟踪算法仍然是一个富有挑战性的课题。本文将对最近几年本领域相关算法进行综述。 二、目标跟踪研究现状 1. 基于相关滤波的目标跟踪算法 在相关滤波目标跟踪算法出现之前，大部分目标跟踪算法采用粒子滤波框架来进行目标跟踪，粒子数量往往成为限制算法速度的一个重要原因。相关滤波提出了 一种新颖的循环采样方法，并利用循环样 本构建循环矩阵。利用循环矩阵时域频域 转换的特殊性质，将运算转换到频域内进 行计算，大大加快的分类器的训练。同时， 在目标检测阶段，分类器可以同时得到所 有循环样本得分组成的响应图像，根据最 大值位置进行目标定位。相关滤波用于目 标跟踪最早是在MOSSE算法[1]中提出 的。发展至今，很多基于相关滤波的改进 工作在目标跟踪领域已经取得很多可喜的 成果。 1.1. 特征部分改进 MOSSE[1] 算法及在此基础上引入循 环矩阵快速计算的CSK[2]算法均采用简单 灰度特征，这种特征很容易受到外界环境 的干扰，导致跟踪不准确。为了提升算法 性能，CN算法[3]对特征部分进行了优 化，提出CN（Color Name）空间，该空 间通道数为11（包括黑、蓝、棕、灰、绿、 橙、粉、紫、红、白和黄），颜色空间的引 入大大提升了算法的精度。 与此类似，KCF算法[4]采用方向梯度 直方图（HOG）特征与相关滤波算法结合， 同时提出一种将多通道特征融入相关滤波 的方法。这种特征对于可以提取物体的边 缘信息，对于光照和颜色变化等比较鲁棒。 方向梯度直方图（HOG）特征对于运 动模糊、光照变化及颜色变化等鲁棒性良 好，但对于形变的鲁棒性较差；颜色特征 对于形变鲁棒性较好，但对于光照变化不 够鲁棒。STAPLE算法[5]将两种特征进行 有效地结合，使用方向直方图特征得到相 关滤波的响应图，使用颜色直方图得到的 统计得分，两者融合得到最后的响应图像 并估计目标位置，提高了跟踪算法的准确 度，但也使得计算稍微复杂了一些。 图1 目标跟踪算法流程图
综述 摘要：人体的运动分析主要指的是对场景中的运动个体或者群体进行运动检测、运动跟踪与理解以到达描述人体行为的目的。通过阅读文献，本文将从人体检测，人体跟踪和人群运动分析三个方面介绍人群特征分析的方法。 1．绪论 随着社会的发展，公共需求的提高，群体运动的分析越来越受关注。并且随着人口的增长，人群活动日益增加，相应的人群安全问题也越来越突出。对人群的分析研究分别在社会学、心理学、建筑学、计算机等各个学科受到极大的关注。人群分析主要分为以下五个方面。 (1)人群管理:对大型集会的人群管理，是公共安全管理领域中最亟待解决的问题。人群分析可以更好的发展人群管理策略，避免因人群拥挤而发生的灾难事件，确保人身安全。 (2)虚拟环境:通过构造人群的数学模型结构,在虚拟环境下来模拟人群场景,来丰富人的生活体验。如一些虚拟的聊天室、电影或者动画制作过程中的特效应用等。 (3)智能环境:在一些涉及到大型人群的智能环境下,人群分析可以预协调人群。如在博物馆,人群的模式决定了如何疏散人群。 (4)公共场所设计:人群分析可以为公共场所的设计提供指导,如对商场的人流估计，使得商场的布局更方便于顾客或者最可能有效的利用空间优化办公室场所。 (5)视觉监控:人群分析可以用来自动检测场景中的异常情况。而且,在人群中的个体跟踪有助于协助安防人员捕捉嫌疑犯。 虽然人群运动分析技术研究已取得了一定的成果，但是人群运动的复杂性以及实际运动场景的多变性仍然给人群运动分析带来很多的研究难点。目前在人群运动的自动检测与跟踪方面，也没有相对完善的理论基础，各向技术也处在完善阶段。主要表现在: (1)运动检测与分割：在人群运动分析系统中，如何对人群运动实现快速而准确的分割是极为重要的难题。由于视频序列中运动场景极易受到各种客观因素的影响，如光照变化、背景与前景的混杂干扰、运动目标与环境之间或者运动目标之间的遮挡现象等，使得对人群运动实现有效分割变的十分的困难。目前常用的运动分割算法如帧间差分法或背景相减法都难以适应复杂或者拥挤场景的运动分