下载文档原格式
Tracking-Learning-Detection（TLD算法总结）⼀、TLD算法简介TLD(Tracking-Learning-Detection)是英国萨⾥⼤学的⼀个捷克籍博⼠⽣ZdenekKalal在2012年7⽉提出的⼀种新的单⽬标长时间跟踪算法。
该算法与传统跟踪算法的显著区别在于将传统的跟踪算法和传统的检测算法相结合来解决被跟踪⽬标在被跟踪过程中发⽣的形变、部分遮挡等问题。
同时，通过⼀种改进的在线学习机制不断更新跟踪模块的“显著特征点”和检测模块的⽬标模型及相关参数，从⽽使得跟踪效果更加稳定、鲁棒、可靠。
⼆、TLD frameworkTLD是⼀个⽤于针对视频中未知物体长期跟踪的架构。
简单来说，TLD算法由三部分组成：跟踪模块、检测模块、学习模块。
跟踪模块是观察帧与帧之间的⽬标的动向。
检测模块是把每张图看成独⽴的，然后去定位。
学习模块将根据跟踪模块的结果对检测模块的错误进⾏评估，⽣成训练样本来对检测模块的⽬标模型进⾏更新，避免以后出现类似错误。
TLD跟踪系统最⼤的特点就在于能对锁定的⽬标进⾏不断的学习，以获取⽬标最新的外观特征，从⽽及时完善跟踪，以达到最佳的状态。
也就是说，开始时只提供⼀帧静⽌的⽬标图像，但随着⽬标的不断运动，系统能持续不断地进⾏探测，获知⽬标在⾓度、距离、景深等⽅⾯的改变，并实时识别，经过⼀段时间的学习之后，⽬标就再也⽆法躲过。
TLD技术采⽤跟踪和检测相结合的策略，是⼀种⾃适应的、可靠的跟踪技术。
TLD技术中，跟踪器和检测器并⾏运⾏，⼆者所产⽣的结果都参与学习过程，学习后的模型⼜反作⽤于跟踪器和检测器，对其进⾏实时更新，从⽽保证了即使在⽬标外观发⽣变化的情况下，也能够被持续跟踪。
三、TLD算法实现1. detector 检测器的实现检测器包括三个：⼀是⽅差检测器；⼆是随机深林；三是最近邻分类器；step1 ⾸先，输⼊⼀幅图，⼈⼯指定⽬标矩形框，然后通过在整幅图上进⾏扫⾯窗⼝得到⼀堆图像patch。
• 76•多传感器目标跟踪技术对于运动目标的识别与追踪相对于单一传感器或传感器簇采集的片段式信息分析技术来说覆盖更广，具有更强的鲁棒性和准确性。
结合优化TLD 学习性跟踪算法实现较好的目标跟踪性能。
1.引言通过多传感器协作进行识别与跟踪，相比单一传感器性能更加优良，相对来说是一种复杂的实用型技术（刘大千，刘万军，费博雯，先验模型约束的抗干扰轮廓跟踪：中国图象图形学报，2017），这种方法首先是在军事范畴进行应用。
国外早在二战期间，就曾经使用过视频探头和雷达定位所获取的目标信息来进行较为精确的目标打击，不过效果相对较差。
在之后的现代战争中，用卫星雷达遥感侦查以及可见光图像，红外图像，毫米波图像等技术的融合，来实现目标识别跟踪达到打击目的。
我国在多传感器协同协作目标跟踪领域的研究相对较晚，但是也取得了卓越成果。
本文采用一种基于可见光传感器协同红外传感器的优化TLD 单目标跟踪算法来进行目标的跟踪。
2.一种多传感器协作设计方案多传感器协同就是为确认目标，通过选取多个处于最优的工作环境的传感器，对既定的目标实现识别与长时间的跟踪效果，并且更加准确稳定（刘钦，刘峥，等.多传感器优化部署下的机动目标协同跟踪算法：系统工程与电子技，2013）。
目前的跟踪方案分为是基于分布式和集中式两种布局方案。
考虑到当前传感器协作系统以及实际计算机数据的吞吐性能，在此采用的是基于可见光和红外传感器的集中式分布方案，将组成的独立单元与计算机相连，进行分析跟踪。
图1 基于红外和可见光传感器的传感器协同架构3.Tracking Learning Detector目标跟踪作为计算机视觉领域中的重要组成部分，目标跟踪除应用于智能交通监控，人机交互等领域之外，在某些军事领域也有很大应用。
TLD 跟踪算法能从静止目标图像特征分析到目标运动的过程中进行连续学习，通过这种方式来得到更新后的目标表面突出特性，一种基于多传感器的优化TLD跟踪算法技术研究沈阳理工大学 胡玉兰 李 响可以使跟踪过程更具实时性。
检测区域动态调整的TLD目标跟踪算法曲海成;单晓晨;孟煜;刘万军【摘要】针对经典跟踪-学习-检测(TLD)目标跟踪算法由于检测区域过大而导致的检测时间过长及对相似目标跟踪处理效果不理想的问题,提出一种检测区域可动态自适应调整的方法——TLD-DO.该方法利用两次Kalman滤波加速度矫正预测的检测区域优化算法DKF,通过缩小TLD检测器检测范围,以达到在跟踪精度略有提升的情况下提高跟踪速度的目的;同时此方法可排除画面内相似目标的干扰,提高在含有相似目标的复杂背景下目标跟踪的准确性.实验结果表明:TLD-DO算法在处理不同视频与跟踪目标时,检测速度有1.31 ～3.19倍提升;对含有相似目标干扰情况下,跟踪效果明显优于原TLD算法;对目标抖动及失真情况有较高的鲁棒性.【期刊名称】《计算机应用》【年(卷),期】2015(035)010【总页数】5页(P2985-2989)【关键词】目标跟踪;TLD算法;检测区域;Kalman滤波;跟踪速度【作者】曲海成;单晓晨;孟煜;刘万军【作者单位】辽宁工程技术大学软件学院,辽宁葫芦岛 125105;辽宁工程技术大学软件学院,辽宁葫芦岛 125105;辽宁工程技术大学软件学院,辽宁葫芦岛 125105;辽宁工程技术大学软件学院,辽宁葫芦岛 125105【正文语种】中文【中图分类】TP391.40 引言在计算机视觉研究领域中，针对视频影像中特定目标的实时跟踪是一个备受关注的前沿问题。
视频目标跟踪从解决方法的角度主要划分为两类:一类是短期跟踪器跟踪(shortterm tracking);一类是长期跟踪器跟踪(long-term tracking)。
短期跟踪器是一种帧到帧(frame-to-frame)短期跟踪方法，其只对视频影像序列中最新的相邻两帧进行处理从而达到跟踪的目的。
光流法［1-2］、帧间差方法［3-4］、颜色直方图法［5-6］这些基于短期跟踪器的方法具有快速、短期跟踪效果明显的特点。
基于改进TLD的自动目标跟踪方法易诗;林凡强;周姝颖【期刊名称】《重庆邮电大学学报（自然科学版）》【年(卷),期】2016(028)006【摘要】视觉跟踪一直是机器视觉研究热点，TLD（tracking-learning-detection）算法是近年来出现的一种高效的视觉跟踪算法，针对TLD算法中Lucas-Kanade（LK）光流法无法有效跟踪物体快速移动和尺度变化的问题，采用金字塔光流法对TLD算法进行改进。
并将所跟踪物体形心作为图像定位参考点，提取物体定位信息，通过定位信息运用比例-积分-微分（proportion-integral-derivative，PID）控制算法控制摄像头舵机云台转向，使摄像头快速、灵活、精确地自动跟踪指定物体。
通过系统测试，与传统TLD算法对比，采用金字塔光流法改进的TLD目标跟踪算法在跟踪目标发生光照变化、尺度变化等情况时，具有更加优良的跟踪性能，准确将跟踪目标形心位置提供给控制部分，控制算法高效灵活，在获取信息后精确、快速地控制摄像头方位，使其正对跟踪目标。
该系统对目标跟踪技术、安防技术、自动瞄准系统具有重大意义。
【总页数】5页(P892-896)【作者】易诗;林凡强;周姝颖【作者单位】成都理工大学信息科学与技术学院，四川成都610059;成都理工大学信息科学与技术学院，四川成都610059;成都理工大学信息科学与技术学院，四川成都610059【正文语种】中文【中图分类】TN919.5【相关文献】1.TLD视频目标跟踪方法改进 [J], 金龙;孙涵2.基于TLD框架的快速目标跟踪方法 [J], 童源;费树岷;沈捷3.基于改进的随机森林TLD目标跟踪方法 [J], 张丹;陈兴文;赵姝颖4.基于改进的随机森林TLD目标跟踪方法 [J], 张丹;陈兴文;赵姝颖;5.基于HSV-HOG的改进TLD目标跟踪方法 [J], 孙春梅;谢明;王婷因版权原因，仅展示原文概要，查看原文内容请购买。
目录摘要 (1)ABSTRACT (2)第一章绪论 (4)1.1课题研究背景和意义 (4)1.2国内外研究现状 (5)1.3本文的具体结构安排 (7)第二章运动目标检测 (8)2.1检测算法及概述 (8)2.1.1连续帧间差分法 (9)2.1.2背景去除法 (11)2.1.3光流法 (13)第三章运动目标跟踪方法 (16)3.1引言 (16)3.2运动目标跟踪方法 (16)3.2.1基于特征匹配的跟踪方法 (16)3.2.2基于区域匹配的跟踪方法 (17)3.2.3基于模型匹配的跟踪方法 (18)3.3运动目标搜索算法 (18)3.3.1绝对平衡搜索法 (18)3.4绝对平衡搜索法实验结果 (19)3.4.1归一化互相关搜索法 (21)3.5归一化互相关搜索法实验结果及分析 (22)第四章模板更新与轨迹预测 (26)4.1模板更新简述及策略 (26)4.2轨迹预测 (28)4.2.1线性预测 (29)4.2.2平方预测器 (30)I4.3实验结果及分析： (31)致谢 (36)参考文献 (37)毕业设计小结 (38)摘要图像序列目标跟踪是计算机视觉中的经典问题，它是指在一组图像序列中，根据所需目标模型，实时确定图像中目标所在位置的过程。
它最初吸引了军方的关注，逐渐被应用于电视制导炸弹、火控系统等军用备中。
序列图像运动目标跟踪是通过对传感器拍摄到的图像序列进行分析，计算出目标在每帧图像上的位置。
它是计算机视觉系统的核心，是一项融合了图像处理、模式识别、人工只能和自动控制等领域先进成果的高技术课题，在航天、监控、生物医学和机器人技术等多种领域都有广泛应用。
因此，非常有必要研究运动目标的跟踪。
本论文就图像的单目标跟踪问题，本文重点研究了帧间差分法和背景去除法等目标检测方法，研究了模板相关匹配跟踪算法主要是：最小均方误差函数(MES)，最小平均绝对差值函数(MAD)和最大匹配像素统计(MPC)的跟踪算法。
基于KCF相似度的TLD目标跟踪算法KCF（Kernelized Correlation Filter）相似度算法是一种常用于目标跟踪的算法。
TLD（Tracking-Learning-Detection）目标跟踪算法是一种融合了检测和学习的算法。
本文将介绍基于KCF相似度的TLD目标跟踪算法。
TLD目标跟踪算法的核心思想是通过检测算法来定位目标，并通过学习算法来提高目标跟踪的准确性和鲁棒性。
在传统的TLD算法中，通常使用HOG（Histogram of Oriented Gradients）特征来表示目标的外观信息，并使用机器学习算法（如随机森林）进行目标的分类和识别。
但是，由于目标的外观可能会发生剧烈变化，传统的TLD算法在目标出现遮挡、光照变化、形变等情况下的性能表现较差。
为了提高目标跟踪算法的准确性和鲁棒性，我们可以引入KCF相似度算法。
KCF相似度算法是一种基于相关滤波器的目标跟踪算法，它通过将目标特征的离散傅立叶变换（DFT）与正定核函数相结合，来进行目标的相似度计算。
KCF相似度算法具有较快的运算速度和较好的鲁棒性，可以在目标出现较大变化时仍能准确跟踪目标。
1.初始化目标区域：使用目标检测算法（如HOG+SVM）初始化目标的位置和外观信息。
2.提取目标特征：将目标区域的图像进行预处理，并提取图像特征，如颜色直方图、HOG特征等。
3.训练模型：使用KCF相似度算法对目标特征进行训练，得到目标的跟踪模型。
4.目标跟踪：对于每一帧图像，通过计算当前帧图像与目标模型之间的相似度，确定目标的位置。
5.目标更新：通过更新目标模型，使其能够适应目标的外观变化和遮挡等情况。
6.错误修正：根据目标跟踪的结果，对跟踪错误进行修正，如通过目标形状的检测和形状模型的更新等。
基于KCF相似度的TLD目标跟踪算法通过引入KCF相似度算法，克服了传统TLD算法在目标外观变化和遮挡等情况下的不足，提高了目标的跟踪准确性和鲁棒性。
【本文献信息】高帆，吴国平，刑晨，等.TLD 目标跟踪算法研究[J].电视技术，2013，37（11）.TLD 目标跟踪算法研究高帆，吴国平，刑晨，马丽（中国地质大学（武汉）信息与通信工程，湖北武汉430074）【摘要】在TLD （Tracking Learning Detector ）算法的基础上，提出了一种基于Online MIL （Online Multiple Instance Learning ）的TLD 目标跟踪算法。
算法使用改进的MIL 跟踪器进行目标跟踪，提高了目标在被遮挡情况下跟踪的鲁棒性。
另外，在学习机制部分，目标位置的决策策略使用了跟踪结果优先的原则，使算法能适应出现类似目标时的跟踪。
实验结果表明，该方法能够长时间准确地跟踪目标，并在出现类似目标时；跟踪效果较好。
此外，改进后的算法在跟踪的稳定性和跟踪效率上较原算法提高了1倍。
【关键词】TLD ；Online MIL ；目标跟踪【中图分类号】TN949.6【文献标志码】ATLD Target Tracking AlgorithmGAO Fan ，WU Guoping ，XING Chen ，MA Li（Information and Communication Engineering ，China University of Geosciences （Wuhan ），Wuhan 430074，China ）【Abstract 】On the basis of TLD algorithm ，t a TLD method based on online MIL algorithm is ing the improved MIL tracking algorithm to improve the robustness in object tracking through occlusion.And in the part of learning ，in order to tracking a siMILar target ，this paper changes the decision strategies of the target location ，and uses the principle of priority of tracking results to decide the target location.The experimental results show that the method can be long and accurate tracking targets and better tracking siMILar goals appear.In addition ，the improved algorithm in tracking stability and tracking efficiency increase one times compared with the original algorithm.【Key words 】TLD ；Online MIL ；target tracking基金项目：国家自然科学基金项目（61102104）长时间的目标跟踪技术是计算机视觉领域一个富有挑战性的工作[1-3]。
指定一个跟踪目标后，在目标跟踪过程中，经常会出现跟踪对象的丢失，跟踪对象的角度、姿态发生改变或者被遮挡等情况。
为了在这些情况发生时进行有效跟踪，有关该方面的算法层出不穷，其中MIL （Multiple Instance Learning ）和TLD （Tracking Learning Detector ）算法是不错的选择[3-5]。
但MIL 算法和传统跟踪算法一样，只是对目标的连续运动进行跟踪，并不具备目标检测功能，当被跟踪目标消失后再次出现时，跟踪就很容易失败。
TLD 算法是基于跟踪、检测和学习的长时跟踪未知物体的算法，该算法框架的鲁棒性很强，具备很强的学习恢复能力，但在有类似目标出现时，TLD 的跟踪效果较差。
因此，本文在TLD 思想的基础上，提出了一种基于MIL 的TLD 目标跟踪算法。
该算法在原TLD 框架的基础上对其进行改进：跟踪器模块使用了改进的MIL 跟踪器，检测器模块仍然使用Random Ferns 分类器[6]，学习模块中目标位置决策部分的决策参数根据跟踪结果优先的原则进行调整。
实验结果表明，该方法在长时间跟踪上具有良好的效果，在有类似目标出现时的跟踪效果较好，同时提高了目标在被部分遮挡时跟踪的鲁棒性和跟踪速度。
1基于MIL 的TLD 目标跟踪算法1.1基于MIL 的目标跟踪MIL 跟踪器系统主要由3个部分组成：图像表达、图片模型和运动模型。
本文主要对MIL 的图片模块进行改进，因此本文只对此部分作简要介绍。
根据Babenko B ，XU Y ，Grabner H 等[6-11]人的论文，Online MIL 是通过MIL 算法，使用Boosting 分类器，从M 个特征中选择出K 个特征，从而实现目标跟踪。
以下是选择特征的过程：先随机生成M 个Haar 特征，即位置大小是随机的。
并按以下形式形成训练集样本，即{(X 1,y 1),⋅⋅⋅,(X n ,y n )}，其中包X i ={x i 1,⋅⋅⋅,x im }，y i 为包标签，被定义为：数字视频DIGITAL VIDEOy i =max j(y i j )，其中y ij 是在第i 个包中的第j 个示例的标签，x ij 表示图片的某一个特征，代表在第i 个包中的第j 个示例。
每个包包含多个示例，并带有标签。
若包中包含一个正例，则该包被标记为正；若包中所有示例都是反例，则该包被标记为反。
Boosting 分类器使用贪婪逼近的方法[7]来最大化所有包的极大似然概率进行训练，即log L=∑ilog p (y i |X i )（1）如果X i 为正包，则p (y i |X i )可用Noisy-OR （NOR ）模型表示为p (y i |X i )=1-∏j[1-p (y i |x ij )]（2）式中：x ij 代表在第i 个包中的第j 个示例。
某个示例为正类的概率为p (y i |x ij )=σ(Η(x ij ))=11+exp(-y ij )（3）Online MIL 算法是基于Boosting 框架的，算法维护M（M ≫K ）个弱分类器，当有新的样本输入时，则对所有的弱分类器进行同时更新，再逐个选出K 个最佳的弱分类器，h k 的选择遵循h k =arg max h ∈{h 1,⋅⋅⋅,h M }log L (Ηk -1+h )（4）对弱分类器的权值进行更新后，得到由K 个弱分类器加权求和的强分类器为Η(x )=∑k =1Kαk h k (x )（5）每个弱分类器是由1个Haar 特征f k 和4个参数(μ1,σ1,μ0,σ0)来计算得到，即h k (x )=ln(p (f k (x )|y =1)p (f k (x )|y =0))（6）p (f k (x ij )|y i =1)~N (μ1,σ1)（7）p (f k (x ij )|y i =0)~N (μ0,σ0)（8）当弱分类器接收到新的数据时，参数μ1和σ1随下面的机制进行更新μ1←γμ1+(1-γ)1n ∑i|y i =1f k (x i )（9）σ1←γσ1+(1-γ（10）以上是Online MIL 的实现原理，算法实现流程如图1所示。
可以看出，在跟踪过程中，特征选择的好坏直接影响到跟踪的准确度和稳定性。
在Babenko 等人[7-8，11-12]的MIL算法和本文算法中，都使用Haar 特征进行特征的选择，以下简单介绍一下Haar 特征。
Haar 特征分为4类：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板，如图2所示。
特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。
Haar 特征值反映了图像的灰度变化情况。
对于图2a 、图2b 和图2d 这类特征，特征数值计算公式为：v =Sum 白-Sum 黑，而对于图2c 来说，计算公式为：v =Sum 白-2×Sum 黑；通过改变特征模板的大小和位置，可在图像子窗口中穷举出大量特征。
图2的特征模板称为“特征原型”；特征原型在图像子窗口中扩展（平移伸缩）得到的特征称为“矩形特征”；矩形特征的值称为“特征值”。
Haar 特征的计算主要是积分图方法，积分图就是只遍历一次图像就可以求出图像中所有区域像素和的快速算法，大大提高了图像特征值计算的效率，因此使用不同类型的haar 特征进行特征值的求取，不会影响计算的速度。
在Babenko 等人提出的MIL 算法中，主要使用了如图3a 所示的单一的Haar 特征进行特征提取，为了提高跟踪的准确度，本文使用了多种Haar 特征，如图3a ～图3h 所图1Online MIL 算法实现流程图开始m <M ?NY输入：数据集{}X i ,y i Ni -1其中X i ={}x i 1,⋯,x im ,y i ∈{}0,1使用数据{}x ij ,y i 更新M 个弱分类器初始化数据，对所有的i 和j ，H ij =0,K ,M 已知，并设k =1，m =1计算每个节点的值:P m y =σ(H ij +h m (x ij )),p m i =1-∏j (1-p m ij )L m =∑i [y i log(p m i )+(1-y i )log(1-p m i )],m =m +1k <K ?NY输出H (x )=∑k h k (x ),其中p (y|x )=σ(H (x ))结束图2Haar 特征类型图a 边缘特征b 线性特征c 中心特征d 对角线特征m*=arg max m L m ,h k (x ),←h m*(x ),H y =H y +h k (x ),k =k +1数字视频DIGITAL VIDEO示，这样能提取出目标的边缘、线性等多种特征，提高目标跟踪的准确率。
图3中每个图的特征值的计算方式为白色区域像素和乘以权值减去阴影区域像素和乘以权值，例如图3e 表示白色区域像素和减去9乘以灰色区域像素和。
另外，Babenko 等人对每一个特征的计算方式是：在样本中随机选择2～4个矩形框，对于选择的矩形框，根据此Haar 特征的特性进行加权和，最后的值作为样本的一个特征。
在目标被大部分遮挡的时候，若随机选择的矩形框落在了被遮挡部分，那么选择出的特征值将会影响分类器的性能。
因为随机选择了2～4个矩形框，那么选择的矩形框落在遮挡部分的概率会变大，这样在进行加权和时，特征变坏的概率变大，致使选择特征的错误率增加，从而累积误差，使分类器精度下降[14]，导致跟踪的稳定性下降。
