目标跟踪技术在现代军事和民用中均占有非常重要的地位，提供可靠而准确的高质量目标信息始终是目标跟踪技术的主要任务。为此，国内外许多研究人员一直致力于该项目的研究。
目标跟踪系统一般是基于对图像序列的处理，力图从复杂的背景中识别出目标，并对目标的运动规律加以预测，实现对目标的连续、准确的跟踪。系统的算法涉及图像数据的预处理、目标检测、图像分割、特征提取、运动分析和目标跟踪等。其中图像分割、特征提取和目标跟踪算法是目标跟踪系统的关键。
运动目标跟踪一般先进行目标检测，这是一个较简单的运动目标分割过程，提取出待跟踪的目标，将其表示为一定形式，如特征点、目标轮廓、与目标相关的几何形状等。目标检测后是目标跟踪的过程。目标跟踪的目的是提供一个目标随时间运动的轨迹，也可以提供目标在每一时刻所覆盖的区域，并建立不同帧之间目标实例的对应关系。
运动目标检测的研究现状可见上一节，运动目标跟踪的方法根据目标描述的方式划分可分为三类：即点跟踪方法、基于核的跟踪方法和基于轮廓的跟踪方法[Object tracking survey]。
1点跟踪
由连续帧检测出的目标用点来描述，点之间的联系是基于目标先前的状态，该状态可能包括目标的位置或运动。这类方法要求外部机制来检测每一帧的目标。
点的对应关系在有遮挡、误检测、目标的加入和退出的情况下可能是一个复杂的问题。一般说来，点对应方法可以分解为两大类，即确定性和随机性方法。确定性的方法使用量化运动启发方法[Veenman20001]来约束对应关系问题。随机方法在考虑不确定性的情况下，直接采用目标测度来建立对应关系。
（1）确定性点对应方法
确定性点对应方法根据运动约束定义一个代价建立t-1帧的每个目标与t帧单个目标的关联。最小化对应关系代价被形式化为一个组合优化问题。一个由一一对应关系组成的解，在所有可能的关联中，可能通过优化分配方法得到。
Sethi和Jain[1987]通过一个基于逼近和刚体约束的贪婪搜索来解对应关系问题，他们的算法考虑两个连续帧，通过最近邻标准初始化。对应关系在迭代中交换以实现代价的最小化。这类方法不能处理遮挡、目标加入和退出问题。Salari和Sethi[1990]通过下述方法处理这些问题，先建立检测点的对应关系，然后通过加一个假设点数来将跟踪扩展到丢失目标上。Rangarajan和shah[1991]提出一个贪婪方法，基于逼近均匀约束，是通过在第一、二帧计算光流得到初始对应关系该方法不能解决目标加入和退出问题。如果检测点数量增加或减少，就假设出
现了误检测或遮挡现象。遮挡通过建立当前帧检测目标的对应关系处理，保留的目标位置根据一个常速假设来预测。Intille[1997]轻微修正了一下Rangarajan和shah的方法。他们的方法匹配的是目标中心，目标通过背景减除来检测。通过检查特定的区域来检查目标数的变化，在计算对应关系前检查目标的加入和退出。
Veenman[2001]扩展了前人的工作，他们引入了对应关系的一般运动约束，一般运动约束对于同目标上点的一致跟踪提供了强约束，但是，它们不适合朝不同方向运动的孤立目标上点。算法通过一个“双通过”算法生成初始跟踪，代价函数通过Hungarian分配算法最小化。该方法可以处理遮挡和误检测误差，但是它假设目标数在整个序列中不变。
Shafique和Shah[2003]提出一个多帧方法处理速度和位置的时间一致性。它们将对应关系形式化为图论问题。多帧对应关系与发现点唯一最佳路径相关。对于误检测或遮挡目标，路径中会有一些缺失的位置。直接的图是由第k帧中的点生成的，把每个节点（目标）分裂为两个（+和-）节点把直接边表示为由+到-的非直接边，这样形成一个双向图。然后通过贪婪搜索建立对应关系。在点对应的过程中使用一个多帧窗口处理遮挡，这个过程比进行匹配时用到的时间窗短。
（2）对应关系的统计模型
从视频所得到的测度一般含有噪声，而且目标的运动有可能经历一种随机扰动，统计对应方法在解这种跟踪问题时，在状态估计时考虑了测度和模型中的不确定因素。统计对应方法采用状态空间方法来模型化目标属性，如位置、速度和加速度。测度一般由目标在图像中的位置组成，通过一种检测机制得到。状态空间方法可以用于任何一种时变系统状态估计。
状态空间方法通过一种预测和修正过程采用一种循环方式实现时变状态的估计。在单目标跟踪中，最常用的状态估计方法是卡尔曼滤波和粒子滤波。卡尔曼滤波[]只能限于状态线性变化、噪声为正态分布的情况。粒子滤波，采用蒙特卡罗方法通过采样估计状态分布，可以适用于更广泛的情况，但采样粒子数必须达到一定数量才能体现状态分布，因而计算复杂度高。
当采用卡尔曼滤波或粒子滤波跟踪多目标运动时，需要找到对一个特定目标与其状态的确定关联，即在滤波器应用之前需解决对应关系问题。最简单的确定对应关系的方法是最近邻方法。但是，如果目标互相距离都较近，容易发生目标对应错误的问题。不正确的关联会导致滤波器不能收敛。有几种统计数据关联技术可以解决这个问题。细节可参见[Bar-shalom1988]或Cox[1993]的综述。
联合概率数
据关联滤波器(JPDAF)和多假设跟踪(MHT)是两种广泛采用的数据关联技术。这里给出两种技术的简介。
?联合概率数据关联滤波器
假设跟踪目标数不变，JPDAF将所有观测值与每个跟踪联系起来，第l个跟踪的状态更新为所有m个观测值的状态更新的加权平均。同时又需要建立每个观测值与每个跟踪之间的关联（即分配），一个观测值对一个跟踪的权值即在观测值条件下某种分配发生的条件概率。该方法可与卡尔曼滤波器相结合。Chang和Aggarval[1991]采用JPDAF实现一个视频序列的3D结构重构。Rasmussen和Hager[2001]采用一个约束JPDAF滤波器跟踪区域。JPDAF的主要局限是不能处理新目标进入视域（FOV），或现有目标退出FOV，因为该算法假设目标数在所有帧中是不变的。后面的MHT算法没有这个缺点。
?多假设跟踪
如果运动的对应关系是根据两帧建立的，总是有可能发生错误对应。如果对应关系确定推迟到后续几帧检测后，可能会得到较好的结果。MHT为每个目标维护几个对应关系假设[Reid1979]，最后的目标跟踪是通过一段时间观测后，可能性最大的对应关系集合。算法能够为在过程中进入FOV的目标建立新的跟踪，也可以终止退出目标对应的跟踪。该算法还能处理遮挡情况，当目标的测度丢失时继续跟踪。
MHT以确定性方式建立跟踪，穷举所有关联。为减少其计算代价，Streit和Luginbuhl[1994]提出一种概率性MHT(PMHT)，关联被当作统计独立的随机变量，不要求穷举所有关联。后来，处理多测度多目标跟踪问题的粒子滤波算法由[Hue2002]提出，在这种方法中，数据关联的处理方式类似于PMHT，但是其状态空间通过粒子滤波得到。
MHT算法在时间和存储上的复杂度都是指数级的，为克服这个缺陷，Cox和Hingorani[1996]使用Murty[1968]的方法来确定k个最佳假设，在多项式级时间范围内实现了目标点的跟踪。Cham和Rehg[1999]使用多假设框架跟踪整个人体运动。
（3）关于点跟踪的讨论
点跟踪方法可以根据其是否得到正确的点跟踪轨迹进行评估。具体评估方法见[survey]。
点跟踪方法还需要在以下方面进行比较：
?是否能处理目标数改变，即新目标出现和现有目标的退出。
?处理观测点丢失（即遮挡发生）
?提供一种解代价函数最小的最优化方法，用于建立对应关系
还有一个重要问题是点跟踪方法需要处理观测值丢失和噪声情况，为解决这一问题，确定性点跟踪方法[Veenman2001,Rangarajan和Saha1991]一般结合基于运动的约束来解决这一问题。统计点跟踪方法本身考虑了模型的不确定性，直接就能解决此问题。但是，测量值在预测值附近正态分布的假设可能不正确，在
很多情况下，噪声是未知的。在有效地假设分布和噪声的情况下，卡尔曼滤波和MHT可以得到最优解。另一个能处理噪声和丢失观察的方法是强化目标3D结构定义的约束，[Torresani和Bregler2002]采用这种方法跟踪非刚体目标，他们首先根据一系列可靠跟踪定义了一个形状集合，其点跟踪的轨迹具有最小的或零外观误差，所计算出的形状基作为一个约束用于其余标记为不可靠点的轨迹计算。
点跟踪方法适合于较小的目标的跟踪，这样的目标可以表示为单个点。大目标跟踪需要多个点，属于同目标点的自动聚类是一个重要问题。为简化问题，基于运动的跟踪[Wang和Adelson1994,Black和Anandan1996,Vidal和Ma2004]一般假设跟踪目标点属于刚体目标。