视觉跟踪实验调查
内容提要
在过去20年间的文献中，有各种各样的追踪器被提出，其中成败各半。在现实场景中，对象跟踪是个难题，因此，它仍然是计算机视觉中最活跃的研究领域。好的跟踪器应该在大量涉及照明变化、遮挡、混乱、相机运动、低对比度、高光和至少六个其他方面的视频中执行良好。然而，这些被提出的追踪器的性能，通常是通过不到10个视频或专用数据集来评估的，在本文中，我们的目的是针对包含了上文各个方面的315个视频碎片，用实验方法系统地评估追踪器性能。我们选择了一组19个包括在文献中经常被引用的各种算法的追踪器，用2010年和2011年出现的代码公开的追踪器作补充。
我们证明了可以通过生存曲线、卡普兰Meier统计和Grubbs测试客观地评价追踪器。我们发现,在评估实践中，F-score和对象跟踪精确度得分是一样有效的。这些多种情况下的分析对追踪器的优点与缺点提供了客观的见解。
【关键词】对象跟踪、跟踪评估、跟踪数据集,摄像头监控,视频理解, 计算机视觉,图像处理。
一．介绍
视觉跟踪是个难题，因为需要在一种算法中同时考虑不同且多变的各种情况。举个例子，有的追踪器可能善于处理光照变化，但在处理由于对象的观点变化而导致的对象的外观变化时有困难；有的追踪器可能通过预判移动来估计速度，但在追踪弹性物体时有很大困难；有的追踪器能对外观作出详细的假定，却可能在一个关节式物体上失败。
考虑到各种各样的跟踪情况和跟踪方法，评价视频序列的数量通常是有限的，这一点让人意外。在2011年出现在TPAMI或CVPR上的关于跟踪的文章中，不同的视频数量只有5到10个。视频长度可能长达1到15分钟，但在5到10个视频中，很少有以上条件能得到充分测试的。
考虑到对计算机视觉进行追踪的重要性，用于追踪的视频数量如此之少就显得更让人惊讶。在几乎每个视频分析任务中，跟踪都会发挥作用。跟踪确实已经发展得令人印象深刻，甚至令人惊异、独特的结果，就像对尘土中的摩托车或汽车追逐的跟踪。但是只要这些关于跟踪的文章依旧用有限数量的序列来检测他们方法的正确性，很多情况下就很难得出关于那些方法的鲁棒性的什么结论。我们觉得是时候进行一次针对各种条件的实验调查了。
调查的目的是评估一个视频中的目标跟踪的艺术状态，着重考察跟踪算法的准确性和鲁棒性。由于在这些方法之间没有统一的概念，我们试图从另一头来描述艺术状态：数据。我们设计了一组尽可能多样化的现实数据集，并且记录了所有被选用的追踪器的表现。我们想根据跟踪方法的实验表现来将它们分组。同时，我们也要评估跟踪绩效的表现度和相互依赖性。
我们在ALOV把315个视频碎片聚集起来，每个视频集中在一个情境，以此来
评估跟踪器的鲁棒性。为了包含动态情境的各种情况，我们选择了较短但最常出现的视频，平均长度9.2s。我们还补充了10个稍长的视频，每个在1到2分钟之间。对跟踪器来说，重要的短序列可能比长序列更难，因为它必须快速适应艰难的情况。当前的数据集看上去是从对所有跟踪器都简单到对所有跟踪器都困难变化的。
本次调查中的跟踪器涵盖了一组不同的方法。条件是已经得到了代码的使用权。这19个不同的跟踪器中，有一半是1999到2006年的，多种多样且常被引用，另一半则出现在近几年的重要学术会议上。对所有跟踪器来说，第一帧都是同一个，从第一帧给定的边界框开始，评估结果记录了跟踪器能够何种程度地通过比较计算的边界框和数据集中每5帧注解一次的地面实际边界框来跟踪目标。第二个目标是，单个跟踪目标的评估指标通过实验来评估和比对。
因为视频序列中包含了各种情况，而且又有各种跟踪器，我们建议对跟踪器的表现进行客观的评价。我们通过客观测试来评估跟踪器表现，以避免当前的跟踪器文章中常用的有限数量测试序列的主观评价。在整体性能的层次上，这是通过用相关的Kaplan Meier统计数据绘制存活曲线来实现的。为了给每个视频单独评分，我们用Grubbs异常值测试来相对比较跟踪器。在记录下的情况里面，我们把大量的视频分成类似的方面，然后通过关联分析来评估。
在此次调查中，我们重点放在了在初始帧中提供了边界框的在线跟踪器的层次上。我们不考虑提前训练过的目标模型已知的跟踪器。这些方法可能使用活动模型或者趋向于增强复杂性以捕捉对象的连续形变的主动表现模型。因此，这些方法需要注意漂移。预先训练跟踪是个不同的问题，因为跟踪表现不仅取决于视频的画面，还取决于一个我们在此尽力避免的问——训练数据。我们也不考虑在视频画面中允许路径和扫描方向的整体最佳化的离线跟踪器，当离线跟踪器与医学或其他领域相关时，我们的重点实际上是在线跟踪器的更大的应用领域。对前后向扫描来说，评估方法将很大程度地和计划中的保持一样。
调查的目的是评估单一对象追踪器的准确性和鲁棒性，这与跟踪多个对象形成对照，这些多个不同对象间需要建立数据关联，以确保单个跟踪器不会混乱。数据关联可以表现为二分图匹配的逐个画面的局部最优化，也可以表现为通过最小成本流程或GMCP实现的k-partite 图的整体最优化。多对象的团体需要不同方面的评估，而且，许多多对象跟踪器假设所有画面的对象检测都是已执行的。
在线跟踪是个难题，因为需要视频序列中的所有信息，特别是初始画面里面的。我们已经忽略了专门的基于轮廓的跟踪器层次。尽管基于轮廓的跟踪器提供了更多细节模型和对象由于被跟踪而产生的变形，但还是在轮廓的初始化、咬合以及突然的对象移动的鲁棒性等方面有很大困难。轮廓变形实现了，但一般来说，突然移动依然是个明显问题。在一般情况下，获得并维持轮廓是个艰难的问题，使得基于轮廓的跟踪现在适合专门的应用，比如面部或嘴唇跟踪。
这项工作的主要贡献是对在线跟踪器的系统分析和实验评估。我们证明了跟踪器可以通过统计学检验来客观评估，只要有充分多的跟踪器和充分多的数据被使用。在我们的评估中有个重要发现，那就是表现最佳的跟踪器并没有享有优先的方法。不管是现代的还是成熟的，也不管是基于目标匹配还是区分前景背景，也不管他们的更新机制是什么，他们总是表现良好。由于最好的跟踪器距离理想的结合还很遥远，我们提供了一个在各种实际情况出了问题的对象分析，它的总数说明了跟踪器的优点和不足。
二、相关工作
考虑到做出关于被赋予了一系列图像的对象的移动的推断的任务，跟踪是最有挑战性的计算机视觉问题之一。在这篇文章中，我们给自己限定了一个更简单的、易于客观评价的定义：跟踪就是分析视频序列，目的是在开始于初始画面中给定边界框的一系列画面中建立目标位臵。
A．跟踪调查文章
在文献中，通常结合其预期的应用领域，人们提出了很多的跟踪器。目标跟踪的一个简单应用是监控和安全控制，起初提供雷达和位臵传感器系统，然后提供视频监控系统。这些系统建立在几种典型模式上，即对象分割（往往是通过背景差分）、外观和运动模型的定义、预测和概率推理。举个例子，Avss 多个相机的人跟踪挑战评价概述提供了一些AVSS的跟踪算法实验评估，以及关于高级视频和基于信号的监控、多人监控的数据集的会议。这些评论的焦点依然很狭窄，就像在关于小组跟踪技术应用于体育的调查中只讨论跟踪具体目标,如运动员。基于视频的通道估计和驾驶员辅助设备：调查、系统、评估的调查正在驾驶员辅助设备的跟踪路线上。其他的调查则忙于很适合基于卡尔曼滤波器的跟踪的机器人应用。但还是有另外的调查，致力于单类型的目标，比如人类。其他的跟踪方法是为移动传感器设计的，比如航海。最近，一项调查提交了有线传感器网络，专注于作出物体位臵的简单估计的方法的能力。
关于调查应用独立跟踪器的表现的回顾很少存在。2006年Yilmaz等人的工作依旧为回顾文献、描述跟踪的方法论、特点和一般用途的数据关联提供了一个良好的参照标准。
以上提到的调查和对照论文在跟踪器的数量、视野上是有限的，或者限制为受试验的跟踪器的情况。就我们所知，在目前的文献中还没有实验调查和跟踪算法的系统评估能做到。
B．跟踪器评估的数据
在他们的实验评估中大多数的文章只用了有限数量的视频。比如说，使用了目标分类的跟踪算法的表现评估，只用了6个视频。还有，在任意物体的自适应实时视频跟踪测试中经常用到的BoBOT数据集，是由10个不同的视频序列组成的。在著名的CAVIAR数据集中，发现了一个大得多的集合，起初是为了用少数的又长又难的视频来评估人体跟踪和检测算法的。这个数据集包括人的行走、会面、购物、战斗、昏倒以及早公共场合留下包裹。然而，它仅限于一个应用。i-LIDS 多相机跟踪情境是在一个繁忙的机场大厅捕获的。它包含了119个人，以及用多个互不重叠的相机捕捉到的总共476个镜头，平均每人4个镜头，并且有很大的光照变化和遮挡。这个数据集限制到仅仅一个应用，因此并不适合这篇文章。最近的3DPes人类重定义数据集包含了在很长的视频序列中的8个不同相机记录的超过200人行走的视频，而常用的PETS-series包含了许多按问题陈述和监视应用分开的视频。
对通用的跟踪来说，有时会用到大的视频基准，比如TRECVid视频数据集。根据即时学术区分外观模型，多目标跟踪的选择仅限于28个不同视频。
许多文章用基准数据集来将新方法和文献中的作比较。跟踪器的常规实验评估最近已经完成了。B. Karasulu and S. Korukoglu的工作提出了一个有趣的评估和比较人体跟踪器的工具。
在这篇文章中我们用超过300个视频序列建立了一个广泛的ALOV++数据集，旨在包含尽可能多样的情况。初步讨论得出，数据集中有视觉跟踪中的13个难点。
C ．跟踪评估方法
许多评估跟踪表现的方法已被提出，考虑到目标的存在和位臵，和地面实况的比较就显得比较典型。这需要大量的注释，结果是到目前为止地面实况视频的数量常被限制。
Erdem 等人2004年提出了不靠地面实况而是结果的外形和色彩变化的性能测量。当且仅当跟踪结果处于可靠的分割时，这个提法有效。但经常不是这么回事（而且有人可能想知道它是否总是必要的）。其他不借助地面实况的评估的建议是基于比较对象的起止位臵的。这个方法仅仅评估跟踪的一个方面。在文章Filling the gap in quality assessment of video object tracking 中提出了一个混合方法。然而，这篇文章仅用了3个视频序列来执行评估，其中一个还是合成的。在Adaptive on-line performance evaluation of video tracker s 中，一个完整的在线预测跟踪器精确度的方法是，用小而多样化的目前流行视频的数据集来评价单个跟踪器。在Adaptive appearance modeling for video tracking: survey and evaluation 中，还分析了一个类似的方法，用11个跟踪器，但再次用非常少的视频且专门用于多人跟踪。对这个集合来说，提供地面实况集是有帮助的。
跟踪及监视性能评估（PETS ）研讨会丛书是最早使用地面实况来评估跟踪器者之一，他们提出了比较跟踪算法的性能测量。其他对跟踪的性能测量是由J. Popoola and A. Amer 和F. Bashir and F. Porikli 提出的，在Etiseo, performance evaluation for video surveillance systems 一文中也同样提到过。在较新的PETS 丛书中，开发了评估多目标检测和跟踪的表现的VACE 和CLEAR 指标，而对单一对象的跟踪评价没有共识,许多相同措施的不同变化被提出。在此我们提供一个关于单目标跟踪中最常用措施的调查。
跟踪中错误的3种基本类型为：
● 偏差：跟踪位臵偏离了地面实况。
● 误报：跟踪器识别了一个并非目标的目标。
● 漏报：跟踪器没有识别和定位目标。
针对目标和对象的重叠部分，PASCAL 标准是个合理的选择。
(1) i T 表示第i 个画面的跟踪边界框，i GT 表示第i 个画面的地面实况边界框。当公式的值为1时，可以认为跟踪与地面实况相匹配。类似于Etiseo, performance evaluation for video surveillance systems 中被称作Dice 的不带阈值的相似度测量，PASCAL 重叠测量在许多工作中被不带阈值地采用。我们更喜欢带阈值地使用它，因为这样会让评估大型序列集合更容易。
fn fp tp n n n ,,分别表示视频中正确、误报和漏报的数量，则
)/(fp tp tp n n n precision +=，)/(fn tp tp n n n recall +=。F-score 把两个式子结合起来，即
(2) F-score 类似于Video Tracking: Theory and Practice 一文中的正确跟踪率。F-score 的一个变形，基于区域的F1-score ，定义如下：
(3)
其中，
，。 这个公式让我们对跟踪边界框和地面实况边界框的平均覆盖范围有了了解。 CLEAR 组合开发的MOT A 评估了关于误报、漏报和ID 转换的多对象跟踪的表现。将MOT A 应用到单对象跟踪，我们认为目标跟踪准确度
(4)
式中i g 表示画面i 中地面实况边界框的数量，i g 等于0或1。OT A 表明了有多少跟踪边界框与地面实况边界框重叠。在同一个组合中，OT P 被定义为类似于Dice 方法的目标跟踪精密度：
(5) 式中s M 表示视频中跟踪边界框与地面实况边界框匹配的一组画面。VACE 值定义了平均跟踪准确度（AT A ），与OT P 稍微不同：
(6)
作者用偏差（Deviation ），即像素点中表达的中心位臵的误差，作为跟踪准确度的测量方法：
(7)
式中),(i i GT T d 是边界框中心i T 和i GT 之间的归一化距离。
A software for performance evaluation and comparison of people detection and tracking methods in video processing 这篇文章提供了许多评估参数，比如基于位臵的测量（PBM ）。这个方法通过地面实况边界框中心和跟踪边界框中心的平均距离来估计
对象的位臵精度。设2/))()()()(()(i i i i h GT Height GT width T Height T width i T +++=。如果i GT 和i T 有部分重叠，则Distance(i)定义为)(i GT C 和)(i T C 之间的L1标准距离，其中C(X)表示X 的中心。如果边界框没有重叠，则Distance(i)等于)(i T h 。基于位臵的测量（PBM ）：
(8)
这些文献中介绍的精密度和召回率的计算方法分为两种类型：一种是基于对象整体的定位，比如F-score 和OT A ；另一种是基于像素点。只有当能在像素级做到精确的目标分割时，第二种方法才有用。例如，在阴影检测中，建议用像素级评估。我们将重点研究对象级别的评估，因为无法分割。测量跟踪能力的方法有F-score,F1-score,OT A,AT A 和PBM ，从坚持目标的意义上来说。一个同时考虑到准确性和精密性的办法是展示不同重叠阈值的F-score 值的曲线。随着重叠阈值的减少，F-score 值增加，表明跟踪器能够更长时间地跟踪目标，但时间越长，精密度越低。Deviation 和OT P 则是测量跟踪器判定目标正确位臵的能力。我们将针对跟踪器和所有数据评估这些测量方法的效果。表格1总结了我们的评估中用到的评估指标。
表1 评估指标特点综述
图1 包含5个重要组成部分的跟踪器参考模型
三、此次实验调查选用的跟踪器
在这次调查中，我们旨在使用来自尽可能分散的来源的跟踪器，以涵盖现有的模型。我们选了19个跟踪器，这些跟踪器通过它们被引用的次数早已证明了其声誉，然后用近年来在主要会议上出现过的跟踪器加以补充。跟踪器的选择仅限于那些提供了代码的。图1是本文中被评估的跟踪器的一个参考模型。
A.跟踪应用匹配
第一组中的跟踪器表现得与由前一个画面建立的目标模型的表征相匹配。
归一化互相关(NCC)：跟踪的一个最基本概念是通过用初始目标边界框中的强度值作为样板的归一化互相关来直接匹配目标。我们用了[50]中一个提供了快速算法的版本。在每个画面中，跟踪器在上一个目标位臵周围均匀地选取候选窗口，每个候选窗口都与应用了归一化互相关的目标样板相比较，得分最高的候选窗口即被选为新的目标位臵。在NCC的这个版本中，不发生目标样板的更新。
Lucas-Kanade跟踪器(KLT)：跟踪器提前很久就找到了目标边界框和前一位臵周围的候选窗口之间的仿射变换匹配。仿射变换是通过基于时空衍生物的增量式图像配准计算的，且能够处理缩放、旋转和平移。用计算出的仿射变换将前一画面的目标位臵绘制到当前画面的位臵，目标位臵就可以确定了。我们使用了[51]中计算有效的版本。
Kalman外观跟踪器(KAT):[52]中文章通过处理遮挡条件下目标变化所用的预
测外观匹配研究外观变化。目标范围是20x20的样本密度，每个都关联一个单独的Kalman滤波器（汇集了所有预测的参数）。在附加的高斯噪声模型中，滤波器预测了每个样本密度随着时间的发展。目标的移动在单一缩放中被一个2D转换模仿，在前一目标位臵的周围区域被搜索。在随后的画面中，预测目标位臵周围的候选窗口减少为一个20x20的样本，并且与预测样本相比较，惩罚较大的不同处以减少异常值的影响。有最少不同之处的候选窗口将被选用。在KAT中，样本随着新的（预测）目标而更新。
基于碎片的鲁棒跟踪（FRT）：[53]中的跟踪器追求的是匹配进入目标边界框的全体斑块。这样部分遮挡和姿势变化就可以一个斑块一个斑块地解决。一个联结了斑块的10x2固定数组（此处称为碎片），记录着变化情况。当有新画面到达时，跟踪器在前一位臵周围均匀地选取候选窗口，包括将目标缩小或放大10%的缩放变化。每个候选窗口分裂进入相同的20个斑块中去，通过密度柱状图来表现，并且通过陆地移动距离（EMD）与目标区域中相应的斑块作比较。为了有力地防止被遮挡斑块中的异常值，所有斑块中得分值最低的25%被选为最终得分，来代表候选者。在FRT中，最低得分的候选窗口得到新的目标位臵。目标不发生更新。
均值漂移跟踪（MST）：这个著名的跟踪器与直方图匹配，而不是用关于像素点的任何空间信息，这使得它适合目标重大的外形变化。它用红绿蓝颜色直方图来描述目标。对每个新画面，跟踪器在两者直方图之间的巴氏标准的基础上将候选窗口和目标区域进行比较。为了在新的画面中找到最好的目标位臵，我们用均值漂移来寻找最大化巴氏距离的函数模型。MST使用初始画面中生成的目标直方图，跟踪过程中不进行任何更新。
局部无序跟踪（LOT）：这个跟踪器通过与挠曲刚度匹配提供了对象外观的自
适应。考虑到初始边界框，目标被分为超级像素点，每个超级像素点通过质心和平均HSV值来表示。对目标的情形用带高斯权值的粒子滤波在前一位臵周围取样。每个粒子对应一个生成了超级像素点的候选窗口。每个窗口有可能源于候选者的超级像素点和由参数判定目标适应性的目标窗口之间的参数化的EMD。新的目标状态很有可能是所有窗口的总和。目标通过噪声模型和EMD的参数进行更新。
B．跟踪应用匹配扩展外观模型
前进路上必要的一步，特别是对长期跟踪来说，是在初始画面上保留目标外观或行为的扩展模型的理念，这样的代价就是在图像和外观变化的扩展模型中都必须搜寻最佳匹配。
增量式视觉跟踪（IVT）：这个跟踪器认识到，在跟踪中保留一个捕捉目标过去的全面外观的扩展外观模型很重要。目标的Eigen图像是在目标的密度值样本上通过增量式PCA计算出来的，它们保存在泄露的内存中，以缓慢地遗忘旧的观察值。候选窗口是通过粒子滤波从前一位臵周围的高斯分布运动模型中选取的，每个样本的取信度是从候选窗口到目标的Eigen图像子空间的密度特征集的距离，最少得分的候选窗口被选用。
仿射群跟踪（TAG）：这篇文章也用到了扩展外观模型。它将传统的运动类型（平移、缩放、旋转）扩展到更一般化的二维仿射矩阵组。这个跟踪器与采用包括目标密度值的增量式PCA的外观模型的IVT的扩展模型相背离，它用高斯模型从仿射群中选取目标所有可能的转换。
抽样跟踪器跟踪（TST）：文章观察到，随着时间过去，现实世界发生显著变化，这就要求跟踪器适应现状。因为，这个方法依靠的是从许多跟踪器中抽样进行跟踪，这样就保持了跟踪器的扩展模型，可以认为它等价于IVT的扩展模型。每个跟踪器由4部分组成：外观模型，运动模型，状态表示方法和观测模型，组件又进一步分成子组件。目标的状态存储了中心、规模和空间信息，后者又通过边缘的垂直投影进一步细分，类似于FRT跟踪器。多位臵和缩放也被考虑到了。稀疏的HSI和边缘特征泄露的增量式PCA捕捉了过去5个画面的状态外观，类似于IVT。只有具有最高Eigen值的情形才会被计算出来。运动模型有多重高斯分布组成，观测模型则由密度特征的高斯滤波器响应组成。基本跟踪器就是由这4个组件组合而成的。在新的画面中，具有最好目标状态的基本跟踪器将被从跟踪器空间中选出。
C．跟踪应用匹配约束条件
以下在目标检测和分类的文献中的稀疏表示的主要成就、跟踪的最新发展，将目标表示减少为稀疏表示，并且表现出稀疏优化。
通过蒙特卡洛抽样跟踪（TMC）：这个方法目的是在成对的斑块上用稀疏优化跟踪那些随着时间变化外形发生大幅变化的目标。考虑到初始画面中的目标位臵，目标是通过选取固定数目的由边缘特征和颜色直方图描述的目标斑块来建模的。随后每个斑块与对象边界之外选取的对应的背景斑块联系起来，这些斑块被插入一个星形图作为节点，这个星形图由边缘表示到目标中心的相对距离。通过将每个目标斑块翘曲至旧的目标斑块，可以得出新画面中斑块的最好位臵。除了外观的可能性，几何可能性是建立在新旧位臵的不同点之上的，由最大后验概率估计可得出新目标的位臵。TMC有详细的更新方案，包括添加或去掉斑块，移动斑块至其他位臵，或者用现有外观缓慢地代替其外观。
自适应耦合层跟踪（ACT）：这个跟踪器目的是用稀疏优化跟踪两个层次中迅速和重大的外观变化。通过保持整体层，局部层的跟踪器约束条件发生改变。在每个局部层中，一开始，斑块将收到一致的权值，在目标边界框内集成到一个规则网络中。每层都是一个灰阶直方图和位臵。对新画面来说，斑块位臵是通过恒定速率的卡尔曼滤波器预测的，并且通过仿射变换在新画面中调准其位臵。从目标渐渐散开的斑块被移除。整体层包含外观、形状和运动的表示。目标和背景的颜色HSV直方图对每个像素的外观可能性进行评估。运动是用KLT通过计算一组显著点的光流来定义的。点的速率和跟踪器速率之间的不同评定了每个像素运动的可能性。最后，由斑块周围范围内在凸包内部或外部的程度判断像素的可能性。局部层用这三种可能性来修改每个斑块的权值，并决定是否去掉某斑块。最后，这三种可能性组合成一个整体的每个像素属于目标的可能性。ACT中的局部层通过添加和移除斑块来更新，整体层则是通过局部层中稳定斑块的性能来缓慢地更新。
L1最小化跟踪器（L1T）：这个跟踪器对过去的外观采用L1稀疏优化。它用
模板附近选取的目标窗口中的密度值作为稀疏表示的基础，个别的非目标密度值被用作可选基础。新画面中的候选窗口是通过粒子滤波从之前目标位臵中心的高斯分布中抽取而来的，它们通过L1最小化被表示成这些稀疏基础的一个线性组合，这样就导致许多系数为零。考虑到当前候选者的仿射扭曲，跟踪器将候选者的数量扩大了。研究在所有的候选窗口上实施，通过最小L1误差选取新目标。这个方法以一个详尽的目标窗口更新机制结束。
L1遮挡检测跟踪器（L1O）：超前于用L1实现稀疏优化，[60]这篇文章使用了L2最小二乘优化来提高速度，它也明确地考虑到了遮挡。候选窗口是基于最小二乘法中的重构误差来分类的，临界值之上的被选为L1最小化。为了探测被遮挡的像素点，跟踪器考虑了具体临界值上的替代基的系数，以找到被遮挡的像素点。当超过30%的像素点被遮挡时，L1O宣布被遮挡，使得模型更新失效。
D．用区别分类跟踪
跟踪的另一个视角是建立关于目标前景针对背景的区别的模型。通过侦测跟踪，顾名思义，它建立了一个分类器来区别目标像素点和背景像素点，然后用进入的新样品来更新。
前景-背景跟踪器（FBT）：增量式区别分类器的一个简单方法是用前景背景的纹理区别来强势跟踪，在此跟踪中有一个线性判别式分类器，能够区分目标区域的伽柏纹理特征向量和源于目标周围的本地背景的特征向量。目标在之前位臵中心的窗口被搜索，在FBT中评分决定目标的新位臵，通过一个关于来源于目标及周围的新旧点的训练数据的泄露内存来更新。我们用[62]中的具有色彩加速稳健特征的版本而非密度来作为参考。
基于霍夫变换的跟踪（HBT）：此跟踪器目的是在区别分类器中用目标分割来跟踪非刚性目标。一个矩形边界框将把目标或背景中的许多错误引入有监督的分类器，特别是对非刚性和关节型目标。因此，作者的目的是通过霍夫森林算法的反投影来定位目标的支持。霍夫森林算法是随机森林算法在向量d上的扩展，类似于广义霍夫转换中的R表。第一个画面中给出的目标被用来训练目标和背景。实验室彩色空间，x和y方向的第一、第二衍生物，和一个渐变的直方图作为学习富外观模型的特征。霍夫森林提供了目标的概率地图，最大分值的像素被选为目标的中心。该位臵的稀疏像素点投票用来分割使用了最大流算法的目标，并因
此生成了正样本，以在下一个画面中重新启动HBT。
超级像素跟踪（SPT）：该方法嵌入了超级像素聚集中的区别分类器，目的是处理缩放、移动和遮挡条件下的外形的变化。从扩展目标区域的前4个画面中提取出超级像素点的HIS直方图。使用均值漂移聚集，超级像素点在具有来源于目标边界框聚类重叠的聚类信心的超级像素直方图的基础上进行分组。在新画面中，候选窗口根据前一位臵周围的高斯分布的权重来选取。考虑到候选窗口的不同缩放，搜索空间扩大了。超级像素的信心来源于它所属的聚类的信心以及超级像素到聚类中心的距离。窗口的所有超级像素点钟具有最高信心的候选窗口将被选为目标。SPT每15个画面更新一次目标模型。
多示例学习跟踪（MIT）：[47]这篇文章承认了将当前跟踪器范围作为正样本来源和将周围环境作为反样本来源的难度，因为目标可能不会完全填满边界框，或者覆盖了一部分背景。因此，它从样品的正反包中学习了区别分类器。在MIL 分类器中，用其他近距离的矩形窗口加以补充的目标边界框被分到正样本包里，而许多反样本包里则是充满了更远距离的矩形窗口。Haar特征被用作特征。候
选窗口从前一位臵周围的圆形区域内均匀地选出，MIT中最高的分类得分决定新的位臵。在分类器的更新中，旧的分类器参数通过新数据点的输入来更新。
跟踪，学习和侦测（TLD）：该文章意在用区别分类器的有标签和无标签的示例来学习。这个方法应用于结合探测器和光流跟踪器结果的跟踪。考虑到第一画面中的目标边界框，探测器从许多区别于取自遥远背景的图案的2位二元图学习了外观模型。作者用快速随机蕨算法来学习探测器。当新画面到达时，探测器评分最高的50的位臵将被选取。光流跟踪器将一个KLT应用到目标区域，并在当前画面中提出一个目标窗口。计算出候选窗口的归一化互相关，系统将选择与对象模型相似度最高的候选窗口作为新的对象。一旦目标被定位，就在目标以及周围选取正样本，在远处选择反样本，以更新探测器目标模型。如果两个跟踪器都不输出窗口，TLD就宣布失去目标，这样TLD可以有效地处理短期遮挡。
E．用带约束的区别分类器跟踪
在传统的区别跟踪中，近期的文章注意到了精准选取训练样本的难度，要不有标签，要么无标签，就像局限于目标区域的HBT，MIT，TLD等研究的一样。该文章准确地观察到，跟踪器追求像素点的正确分类，而不是找到目标的最好位臵。带核心的有组织输出跟踪（STR）：这个有组织有监督的分类器避免了整个地得到正面的和负面的便签数据，因为它将贴标签程序和通用框架中的学习者合并了。考虑到目标边界框，它通过画面中的转化使用了不同的窗口。用这些窗口作为输入，有组织的SVM算法接收{窗口外观，转换}形式的训练数据。像MIT一样，窗口的外观用Haar特征来描述，排列在4x4的网格内，放大2倍，像素强度在目标和密度直方图的16x16重调节图像上。在新画面中，候选窗口从前一位臵周围均匀地选出，分类器计算出被选作新目标位臵的相应判别式最高的得分。随后，用于更新S-SVM的新数据由新目标位臵产生。更新时，S-SVM学习者执行约束，现有位臵依然保持最大值，违反约束的位臵将变成支撑向量。实际上，由于更新中的最大化很昂贵，学习者会使用粗糙取样策略。
技术细节 本项目应用了嵌入式中央控制及工业级图像高速传输控制技术，基于CCD/CMOS与DSP/FPGA的图像识别与处理技术，成功建立了光电检测系统。应用模糊控制的精选参数自整定技术，使系统具有对精确检测的自适应调整,实现产品的自动分选功能。 图1 控制系统流程图 光电检测系统主要通过检测被检物的一些特征参数(灰度分布,RGB分值等)，从而将缺陷信息从物体中准确地识别出来，通过后续的系统进行下一步操作，主要分为以下几部分 CCD/CMOS图像采集部分 系统图像数据采集处理板中光信号检测元件CCD/CMOS采用进口的适合于高精度检测的动态分析单路输出型、保证实际数据输出速率为320MB/s的面阵CCD/CMOS。像素分别为4000*3000和1600*1200，帧率达到10FPS。使用CCD/CMOS 作为输入图像传感器，从而实现了图像信息从空间域到时间域的变换。为了保证所需的检测精度，需要确定合理的分辨率。根据被检测产品的大小,初步确定系统设计分辨率为像素为0.2mm。将CCD/CMOS接收的光强信号转换成电压幅值，再经过A/D转换后由DSP/ FPGA芯片进行信号采集，即视频信号的量化处理过程，图像采集处理过程如图所示：
图2 图像采集处理过程 数据处理部分 在自动检测中，是利用基于分割的图像匹配算法来进行图像的配对为基础的。图像分割的任务是将图像分解成互不相交的一些区域，每一个区域都满足特定区域的一致性，且是连通的，不同的区域有某种显著的差异性。分割后根据每个区域的特征来进行图像匹配，基于特征的匹配方法一般分为四个步骤：特征检测、建立特征描述、特征匹配、利用匹配的“特征对”求取图像配准模型参数。 算法基本步骤如下: 1)利用图像的色彩、灰度、边缘、纹理等信息对异源图像分别进行分割，提取区域特征； 2)进行搜索匹配，在每一匹配位置将实时图与基准图的分割结果进行融合，得到综合分割结果； 3)利用分割相似度描述或最小新增边缘准则找出正确匹配位置。 设实时图像分割为m个区域，用符号{A1，A2，… Am}表示，其异源基准图像分割为n个区域，用符号{B1，B2，…Bn}表示。分割结果融合方法如下: 在每一个匹配位置，即假设的图像点对应关系成立时，图像点既位于实时图中，又位于其异源基准图像中，则融合后区域点的标识记为：（A1B1，A1B2，…，A2B1，A2B2，…）。标识AiBj表示该点在实时图中位于区域i，在基准图中位于区域j。算法匹配过程如下图所示：
视觉识别（VI）设计 CI是以塑造企业形象为主，彻底掌握视觉上设计系统的一种经营技法。企业导入CI所做的调查、企划，最后若不能以视觉开发设计的方式去表现，将会失去意义。 视觉识别的传播与感染力最具体，最直观，最强烈。透过视觉识别，能够充分表现企业的经营理念和企业精神、个性特征，使社会公众能够一目了然地了解企业传达的讯息，从而，达成识别企业，并建立企业形象之目的。 第一节视觉设计开发程序 实施CI战略是企业信息传播的系统工程。企业的视觉识别系统将企业理念、企业价值观，通过静态的、具体化的，视觉化的传播系统，有组织、有计划和正确、准确、快捷地传达出去，并贯穿在企业的经营行为之中，使企业的精神、思想、经营方针、经营策略等主体性的内容，通过视觉表达的方式得以外显化。使社会公众能一目了然地掌握企业的信息，产生认同感，进而达到企业识别的目的。 企业识别系统应以建立企业的理念识别为基础。换句话说，视觉识别的内容，必须反映企业的经营思想、经营方针、价值观念和文化特征，并广泛应在企业的经营活动和社会活动中进行统一的传播，与
企业的行为相辅相成。 因此，企业识别系统设计的首要问题是企业必须识别和发展的角度，从社会和竞争的角度，对自己进行定位，并以此为依据，认真整理、分析、审视和确认自己的经营理念、经营方针、企业使命、企业哲学、企业文化、运行机制、企业特点以及未来发展方向，使之演绎为视觉的符号或符号系统。其次，是将具有抽象特征的视觉符号或符号系统，设计成视觉传达的基本要素，统一地、有控制地应用在企业行为的方方面面，达到建立企业形象之目的。 在设计开发过程中，从形象概念到设计概念，再从设计概念到视觉符号，是两个关键的阶段。这两个阶段把握好了，企业视觉传播的基础就具备了。 就CI设计开发的程序而言，可依以下步骤进行： 1．制作设计开发委托书，委托设计机构，明确CI设计的开发目标、主旨、要点等； 2．说明设计开发要领，依调查结果订立新方针； 3．探讨企业标志要素概念与草图，即探讨拟定标志设计概念，再从构想出来的多数设计方案中，挑选几个代表性的标志草图； 4．企业标志设计案展现； 5．选择设计及测试设计案，包括对外界主要关系者，公司内部职员进行设计案的意见调查，进而选定造型性和美的价值反映良好的作品； 6．企业标志设计要素精致化。对选定的标志设计案，进行精致
行人检测与跟踪国内外研究现状 1.2行人检测与跟踪国内外研究现状 视觉跟踪和目标检测是计算机视觉领域内较早开始的研究方向。经过几十年的积累，这两个方向已经取得了显著的发展。然而，很多方法只是在相对较好地程度上解决了一些关键问题。并且仍旧有不少一般性的关键问题未得到有效的解决。国内外很多研究机构都在致力于研究和发展这两个方向。近些年这两个方向持续发展，涌现了很多比较优秀的方法。国外的很多大学和研究机构（如卡内基梅隆大学、南加州大学和法国国家计算机科学与控制研究所等）都有计算机视觉小组，长期地研究视频跟踪和目标检测。国内的很多大学和研究所等（如清华大学、上海交大和自动化所等）也有相关的研究小组，并取得了一些优秀的研究成果。 1.2.1行人检测技术国内外研究现状 中科院计算机科学重点实验室孙庆杰等人利用基于侧影的人体模型及其对应的概率模型,提出了一种基于矩形拟合的人体检测算法。中科院自动化所谭铁牛等对人运动进行视觉分析,其核心是利用计算机视觉技术从图像序列中检测、跟踪、识别人并对其行为进行理解与描述,它主要应用在视觉监控领域和基于步态的身份鉴定。步态识别就是根据人们走路的姿势进行身份鉴定,依据人体行走运动很大程度上依赖于轮廓随着时间的形状变化的直观想法,提出一种基于时空轮廓分析的步态识别算法；基于行走运动的关节角度变化包含着丰富的个体识别信息的思想,提出一种基于模型的步态识别算法。实验结果表明该算法不仅获得了令人鼓舞的识别性能,而且拥有相对较低的计算代价。但是该方法只能检测出运动的行人。 西安交通大学郑南宁等研究了利用支持向量机识别行人的方法,通过稀疏Gabor滤波器提取行人样本图像中行人的特征,然后利用支持向量机来训练所提取的样本特征,并用训练得到的分类器通过遍历图像的方式将图像中可能属于行人的窗口提取出来。尽管用Gabor滤波器提取特征效果相对较好,但耗时很长,不适合于实时图像的处理。 上海交通大学田广等提出了一种coarse-to-fine的行人检测方法,将一个人建模成人体自然部位的组装,人体的所有部位包括头肩、躯干和腿、采用绝对值类Haar特征集和Edgelet特征集,在这些特征集上,采用softcascade训练各个部位的检测器和全身检测器。首先采用全身检测器在整个图像中产生候选行人区域,然后用基于贝叶斯决策的组合算法进一步确定候选区域中的行人。实验结果表明该算法有很好的检测性能能在杂乱的自然场景中有效的检测行人。但该方法的识别率是78.3%,识别率不高，且该模型比较难构建,模型求解也比较复杂。 目前,在国外许多文献中提出了基于机器视觉的行人检测方法,意大利帕尔玛大学的AlbertoBroggi教授在ARGO项目中采用一种基于外形的行人检测算法。算法首先根据行人相对于垂直轴有很强的垂直边缘对称性、尺寸和外貌比例等在
动态视频目标检测和跟踪技术 传统电视监控技术只能达到“千里眼”的作用，把远程的目标图像（原始数据）传送到监控中心，由监控人员根据目视到的视频图像对现场情况做出判断。智能化视频监控的目的是将视频原始数据转化为足够量的可供监控人员决策的“有用信息”，让监控人员及时全面地了解所发生的事件：“什么地方”，“什么时间”，“什么人”，“在做什么”。将“原始数据”转化为“有用信息”的技术中，目标检测与跟踪技术的目的是要解决“什么地方”和“什么时间”的问题。目标识别主要解决“什么人”或“什么东西”的问题。行为模式分析主要解决“在做什么”的问题。动态视频目标检测技术是智能化视频分析的基础。 本文将目前几种常用的动态视频目标检测方法简介如下： 背景减除背景减除（Background Subtraction）方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动目标的一种技术。它一般能够提供相对来说比较全面的运动目标的特征数据，但对于动态场景的变化，如光线照射情况和外来无关事件的干扰等也特别敏感。实际上，背景的建模是背景减除方法的技术关键。最简单的背景模型是时间平均图像，即利用同一场景在一个时段的平均图像作为该场景的背景模型。由于该模型是固定的，一旦建立之后，对于该场景图像所发生的任何变化都比较敏感，比如阳光照射方向，影子，树叶随风摇动等。大部分的研究人员目前都致力于开发更加实用的背景模型，以期减少动态场景变化对于运动目标检测效果的影响。 时间差分时间差分（Temporal Difference 又称相邻帧差）方法充分利用了视频图像的特征，从连续得到的视频流中提取所需要的动态目标信息。在一般情况下采集的视频图像，若仔细对比相邻两帧，可以发现其中大部分的背景像素均保持不变。只有在有前景移动目标的部分相邻帧的像素差异比较大。时间差分方法就是利用相邻帧图像的相减来提取出前景移动目标的信息的。让我们来考虑安装固定摄像头所获取的视频。我们介绍利用连续的图像序列中两个或三个相邻帧之间的时间差分，并且用阈值来提取出视频图像中的运动目标的方法。我们采用三帧差分的方法，即当某一个像素在连续三帧视频图像上均有相
研究背景： 产品表面质量是产品质量的重要组成部分，也是产品商业价值的重要保障。产品表面缺陷检测技术从最初的依靠人工目视检测到现在以CCD 和数字图像处理技术为代表的计算机视觉检测技术，大致经历了三个阶段，分别是传统检测技术阶段、无损检测技术阶段、计算机视觉检测技术阶段。[] 传统检测技术 （1）人工目视检测法 （2）频闪检测法 无损检测技术 （1）涡流检测法 （2）红外检测法 （3）漏磁检测法 计算机视觉检测技术 （1）激光扫描检测法 （2）CCD 检测法 采用荧光管等照明设备，以一定方向照射到物体表面上，使用CCD摄像机来扫描物体表面，并将获得的图像信号输入计算机，通过图像预处理、缺陷区域的边缘检测、缺陷图像二值化等图像处理后，提取图像中的表面缺陷的相关特征参数，再进行缺陷图像识别，从而判断出是否存在缺陷及缺陷的种类信息等。 优点：实时性好，精确度高，灵活性好，用途易于扩充，非接触式无损检测。 基于机器视觉的缺陷检测系统优点： 集成化生产缩短产品进入市场时间改进生产流程100%质量保证实时过程监控提高产量精确检测100%检测 由于经济和技术原因国内绝大多数图像处理技术公司都以代理国外产品为主，没有或者很少涉足拥有自主知识产权的机器视觉在线检测设备，对视觉技术的开发应用停留在比较低端的小系统集成上，对需要进行大数据量的实时在线检测的研究很少也很少有成功案例，但是随着国内经济发展和技术手段不断提高对产品质量检测要求就更高，对在线检测设备的需求也就更大具有巨大的市场潜力。 机器视觉图像处理技术是视觉检测的核心技术 铸件常见缺陷：砂眼气孔缩孔披缝粘砂冷隔掉砂毛刺浇不足缺陷变形 问题的提出： 1.水渍、污迹等不属于铸件缺陷，但由于其外观形貌与缺陷非常类似, 因此易被检测系统误识为缺陷。从目前发表的文献来看，对于伪缺陷的识别率较低。 2.不同种缺陷之间可能存在形状、纹理等方面的相似性，造成缺陷误判。 国外研究发展现状： 20 世纪90 年代后，基于机器视觉检测系统的自动化功能和实用化水平得到了进一步的提高。 1990 年芬兰Rautaruukki New Technology公司研制了Smartivis表面检测系统[]，该系统具有自学习分类功能，应用机器学习方法对决策树结构进行自动设计优化。 1996 年美国Cognex公司研发了一套iLearn自学习分类器软件系统并应用于其研制了iS-2000 自动检测系统。通过这两套系统的无缝衔接，极大地提高了检测系统实时的运算速度，有效的改进了传统自学习分类方法在算法执行速度、数据实时吞吐量、样本训练集规模及模式特征自动选择等方面的不足之处[]。 2004 年Parsytec公司发布了新一代表面质量检测产品Parsytec5i，该系统运用了自学习神经
机器视觉检测 一、概念 视觉检测是指通过机器视觉产品（即图像摄取装置，分 CMOS 和CCD 两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 机器视觉检测的特点是提高生产的柔性和自动化程度。 2、典型结构 五大块：照明、镜头、相机、图像采集卡、软件 1.照明 照明是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果。目前没有通用的照明设备，具体应用场景选择相应的照明装置。照射方法可分为： 分类具体说明优点 背向照明被测物放在光源和摄像机之 间能获得高对比度的图像 前向照明光源和摄像机位于被测物的 同侧 便于安装 结构光将光栅或线光源等投射到被 测物上，根据它们产生的畸 变，解调出被测物的三维信 息 频闪光照明将高频率的光脉冲照射到物
体上，摄像机拍摄要求与光 源同步 2.镜头 镜头的选择应注意以下几点：焦距、目标高度、影像高度、放大倍数、影响至目标的距离、中心点/节点、畸变。 3.相机 按照不同标准可分为：标准分辨率数字相机和模拟相机等。 要根据不同的实际应用场合选不同的相机和高分辨率相机：线扫描CCD 和面阵CCD；单色相机和彩色相机。 为优化捕捉到的图像，需要对光圈、对比度和快门速度进行调整。 4.图像采集卡 图像采集卡是图像采集部分和图像处理部分的接口。将图像信号采集到电脑中，以数据文件的形式保存在硬盘上。通过它，可以把摄像机拍摄的视频信号从摄像带上转存到计算机中。 5.软件 视觉检测系统使用软件处理图像。软件采用算法工具帮助分析图像。视觉检测解决方案使用此类工具组合来完成所需要的检测。是视觉检测的核心部分，最终形成缺陷的判断并能向后续执行机构发出指令。常用的包括，搜索工具，边界工具，特征分析工具，过程工具，视觉打印工具等。 3、关键——光源的选择 1.光源选型基本要素： 对比度机器视觉应用的照明的最重要的任务就是使需要被观察的特征与需要被忽略的图像特征之间产生最大的对比度，从而易于特
机器视觉概念/研究现状/应用/检测 内容来源网络，由“深圳机械展（11万㎡，1100多家展商，超10万观众）”收集整理！ 更多cnc加工中心、车铣磨钻床、线切割、数控刀具工具、工业机器人、非标自动化、数字化无人工厂、精密测量、3D打印、激光切割、钣金冲压折弯、精密零件加工等展示，就在深圳机械展. 1、机器视觉 1.1机器视觉的概念 机器视觉被定义为用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。一个典型的工业机器视觉应用系统包括光源、光学系统、图像采集系统、数字图像处理与智能判断决策模块和机械控制执行模块。系统首先通过CCD相机或其它图像拍摄装置将目标转换成图像信号,然后转变成数字化信号传送给专用的图像处理系统，根据像素分布!亮度和颜色等信息，进行各种运算来抽取目标的特征,根据预设的容许度和其他条件输出判断结果。 值得一提的是，广义的机器视觉的概念与计算机视觉没有多大区别，泛指使用计算机和数字图像处理技术达到对客观事物图像的识别、理解。而工业应用中的机器视觉概念与普通计算机视觉、模式识别、数字图像处理有着明显区别，其特点是： 1、机器视觉是一项综合技术，其中包括数字图像处理技术、机械工程技术、控制技术、电光源照明技术，光学成像技术、传感器技术、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。这些技术在机器视觉中是并列关系。相互协调应用才能构成一个成功的工业机器视觉应用系统。 2、机器视觉更强调实用性，要求能够适应工业生产中恶劣的环境，要有合理的性价比，
要有通用的工业接口，能够由普通工作者来操作，有较高的容错能力和安全性，不会破坏工业产品，必须有较强的通用性和可移植性。 3、对机器视觉工程师来说，不仅要具有研究数学理论和编制计算机软件的能力，更需要光、机、电一体化的综合能力。 4、机器视觉更强调实时性,要求高速度和高精度，因而计算机视觉和数字图像处理中的许多技术目前还难以应用于机器视觉，它们的发展速度远远超过其在工业生产中的实际应用速度。 1.2机器视觉的研究范畴 从应用的层面看，机器视觉研究包括工件的自动检测与识别、产品质量的自动检测、食品的自动分类、智能车的自主导航与辅助驾驶、签字的自动验证、目标跟踪与制导、交通流的监测、关键地域的保安监视等等。从处理过程看,机器视觉分为低层视觉和高层视觉两阶段。低层视觉包括边缘检测、特征提取、图像分割等，高层视觉包括特征匹配、三维建模、形状分析与识别、景物分析与理解等。从方法层面看，有被动视觉与主动视觉之，又有基于特征的方法与基于模型的方法之分。从总体上来看，也称作计算机视觉。可以说，计算机视觉侧重于学术研究方面，而机器视觉则侧重于应用方面。 机器人视觉是机器视觉研究的一个重要方向，它的任务是为机器人建立视觉系统，使得机器人能更灵活、更自主地适应所处的环境，以满足诸如航天、军事、工业生产中日益增长的需要（例如，在航天及军事领域对于局部自主性的需要，在柔性生产方式中对于自动定位与装配的需要，在微电子工业中对于显微结构的检测及精密加工的需要等）。机器视觉作为一门工程学科，正如其它工程学科一样，是建立在对基本过程的科学理解之上的。机器视觉系统的设计依赖于具体的问题，必须考虑一系列诸如噪声、照明、遮掩、背景等复杂因素，折中地处理信噪比、分辨率、精度、计算量等关键问题。
机器视觉的辅助驾驶系统的视频中行人 实时检测识别研究文献综述 1机器视觉发展 国外机器视觉发展的起点难以准确考证，其大致的发展历程是：20世纪50年代提出机器视觉概念，20世纪70年代真正开始发展，20世纪80年代进入发展正轨，20世纪90年代发展趋于成熟，20世纪90年代后高速发展。在机器视觉发展的历程中，有3个明显的标志点，一是机器视觉最先的应用来自“机器人”的研制，也就是说，机器视觉首先是在机器人的研究中发展起来的；二是20世纪70年代CCD图像传感器的出现，CCD摄像机替代硅靶摄像是机器视觉发展历程中的一个重要转折点；三是20世纪80年代CPU、DSP等图像处理硬件技术的飞速进步，为机器视觉飞速发展提供了基础条件。 国内机器视觉发展的大致历程：真正开始起步是20世纪80年代，20世纪90年代进入发展期，加速发展则是近几年的事情。中国正在成为世界机器视觉发展最活跃的地区之一，其中最主要的原因是中国已经成为全球的加工中心，许许多多先进生产线己经或正在迁移至中国，伴随这些先进生产线的迁移，许多具有国际先进水平的机器视觉系统也进入中国。对这些机器视觉系统的维护和提升而产生的市场需求也将国际机器视觉企业吸引而至，国内的机器视觉企业在与国际机器视觉企业的学习与竞争中不断成长。 未来机器视觉的发展将呈现下列趋势: （1）技术方面的趋势是数字化、实时化、智能化 图像采集与传输的数字化是机器视觉在技术方面发展的必然趋势。更多的数字摄像机，更宽的图像数据传输带宽，更高的图像处理速度，以及更先进的图像处理算法将会推出，将会得到更广泛的应用。这样的技术发展趋势将使机器视觉系统向着实时性更好和智能程度更高的方向不断发展。 （2）产品方面：智能摄像机将会占据市场主要地位 智能摄像机具有体积小、价格低、使用安装方便、用户二次开发周期短的优点，非常适合生产线安装使用，越来越受到用户的青睐，智能摄像机所采用的许多部件与技术都来自IT行业，其价格会不断降低，逐渐会为最终用户所接受。因此，
视觉识别系统设计报价表 （此视觉识别系统设计报价表为设计公司报价，在此报价基础上打5折为设计团队报价） 基础设计系统（费用明细） １：企业标志设计 □ 企业标志及标志创意说明 5000元 □ 标志墨稿500元 □ 标志反白效果图500元 □ 标志标准化制图800元 □ 标志方格坐标制图 800元 □ 标志预留空间与最小比例限定400元 □ 标志特定色彩效果展示1000元 ２：企业标准字体 □ 企业全称中文字体800元 □ 企业简称中文字体800元 □ 企业全称中文字体方格坐标制图1000元 □ 企业简称中文字体方格坐标制图1000元 □ 企业全称英文字体 800元 □ 企业简称英文字体 800元 □ 企业全称英文字体方格坐标制图800元 □ 企业简称英文字体方格坐标制图 800元 ３：企业标准色（色彩计划） □ 企业标准色（印刷色）1000元 □ 辅助色系列 800元 □ 下属产业色彩识别800元 □ 背景色使用规定600元 □ 色彩搭配组合专用表800元 □ 背景色色度、色相600元 ４：企业造型（吉祥物） □ 吉祥物彩色稿及造型说明 5000元 □ 吉祥物立体效果图2000元 □ 吉祥物基本动态造型3000元 □ 企业吉祥物造型单色印刷规范 1000元 □ 吉祥物展开使用规范1000元 ５：企业象征图形 □ 象征图形彩色稿（单元图形） 2000元 □ 象征图形延展效果稿1000元 □ 象征图形使用规范800元 □ 象征图形组合规范800元
６：企业专用印刷字体 □ 企业专用印刷字体3000元 ７：基本要素组合规范 □ 标志与标准字组合多种模式1000元□ 标志与象征图形组合多种模式1000元□ 标志吉祥物组合多种模式1000元□ 标志与标准字、象征图形、吉祥物组合多种模式 800元□ 基本要素禁止组合多种模式600元 应用设计系统（费用明细） 1：办公事物用品设计 □ 高级主管名片200元□ 中级主管名片200元□ 员工名片200元 □ 信封200元 □ 国内信封300元 □ 国际信封300元 □ 大信封200元 □ 信纸200元□ 国内信纸150元 □ 国际信纸150元 □ 特种信纸 200元 □ 便笺100元□ 传真纸100元 □ 票据夹100元 □ 合同夹100元 □ 合同书规范格式 150元 □ 档案盒100元 □ 薪资袋100元 □ 识别卡（工作证）100元□ 临时工作证100元□ 出入证100元□ 工作记事簿100元 □ 文件夹150元 □ 文件袋250元 □ 档案袋200元 □ 卷宗纸150元 □ 公函信纸150元 □ 备忘录150元 □ 简报150元□ 签呈200元□ 文件题头150元 □ 直式、横式表格规范 250元
人体目标检测与跟踪算法研究 摘要：近些年以来，基于视频中人体目标的检测与跟踪技术研究越来越被重视。然而，由于受到目标自身特征多样性和目标所处环境的复杂性和不确定性的影响，现存算法的性能受到很大的限制。本文对目前所存在的问题进行了分析，并提出了三帧差分法和改进阈值分割法相结合的运动目标检测算法和多特征融合的改进运动目标跟踪算法。这两种算法不仅可以准确有效的检测出运动目标而且能够满足实时性的要求，有效的解决了因光照变化和目标遮挡等情况造成的运动目标跟踪准确度下降或跟踪目标丢失等问题。 关键词：三帧差分，Camshift，阈值分割 Research Based on Human Target Detectionand Tracking Algorithm Abstract: In recent years, human object detection and tracking become more and more important. However the complexity, uncertainty environment and the target’s own diversity limit the performance of existing algorithms. The main works of this paper is to study and analysis the main algorithm of the human object detection and tracking, and proposes a new moving target detection method based on three-frame difference method and threshold segmentation and improved Camshift tracking algorithm based on multi-feature fusion. These algorithm can satisfy the real-time, while accurately and efficiently detect moving targets, and also effectively solves the problem of tracking object lost or misplaced under illumination change or target occlusion. Keywords: three-frame difference, Camshift, threshold segmentation 一、绪论 （一）选题的背景和意义 人类和动物主要通过眼睛来感受和认知外部世界。人类通过视觉所获取的信息占了60%[1]，因此，在开发和完善人工智能的过程中，赋予机器视觉的功能这一操作极不可缺少。完善上述功能需要以许多技术为基础，特别是运动目标的检测与跟踪技术。近些年以来，此技术受到了越来越多的关注[2]。目前，此技术也在各领域得到了充分的应用，涵盖的领域有智能交通、导航、智能视频监控、精确制导、人机交互和多媒体视频编码压缩技术等。
视觉识别设计手册（VIS）作业要求 A4，横版竖版不限，PDF格式。 要求规范系统，编排合理，细节处理得当。 基础要素应用要素部分红色加粗为必做项目，其它任选。视觉识别设计基础要素（A）和应用要素(B)设计项目 总述：选题介绍，企业理念，手册使用规范 A基本要素系统 A-1 标志、标志释义 A-2 标志反白制作规范 A-3 标志最小使用范围 A-4 标志使用最小预留空间 A-5 标志标准制作图 A-6 标志方格座标制图 A-7 标志使用最小规范 A-8 企业全称中文标准字体 A-9 企业全称中文标准字体方格制图 A-10 企业全称中文标准字体反白使用规范 A-11 企业简称中文标准字体 A-12 企业简称中文标准字体方格制图 A-13 企业简称中文标准字体反白使用规范 A-14 企业全称英文标准字体 A-15 企业全称英文标准字体方格制图 A-16 企业全称英文标准字体反白使用规范 A-17 企业简称英文标准字体 A-18 企业简称英文标准字体方格制图 A-19 企业简称英文标准字体反白使用规范 A-20 中英文简称基本组合规范 A-21 中英文简称基本组合方格制图 A-22 中英文简称基本组合反白使用规范 A-23 中英文全称基本组合规范 A-24中英文全称基本组合方格制图 A-25 中英文全称基本组合反白使用规范
A-26 中英文简称基本组合规范之竖排、反白使用规范 A-27 中英文全称基本组合规范之竖排、反白使用规范 A-28 中英文简称基本组合规范之横排、反白使用规范 A-29 中英文全称基本组合规范之横排、反白使用规范 A-30 标志与中英文简称基本组合规范之横排、反白使用规范 A-31 标志与中英文全称基本组合规范之横排、反白使用规范 A-32 标志与中英文简称基本组合规范之竖排、反白使用规范 A-33 标志与中英文全称基本组合规范之竖排、反白使用规范 A-34标志与中英文简称基本组合规范之居中排（两种）、反白使用规范A-35 辅助图形结构图 A-36 辅助图形基本变化形式 A-37 辅助图形的组合规范、应用规范 A-38 企业标准色 A-39 辅助色 A-40 标志明度使用规范 A-41 标志、标准字与企业分支机构名称之基本组合规范 A-42 标志、中英文标准字与机构资料之基本组合规范 A-43 企业名称中英文标准字特殊组合规范 A-44 企业印刷专用指定中英文字体 A-45 吉祥物彩色稿及造型说明 A-46 吉祥物立体效果图 A-47 吉祥物基本动态造型 A-48 吉祥物使用规范 A-49 标志与吉祥物多种组合 A-50 基本要素禁止组合范例 B应用要素系统 事物用品类： B-1 集团高级职员名片 B-2 集团职员名片 B-3 分支机构职员名片 B-4 下属实体（子公司）职员名片 B-5 信纸 B-6 便笺纸 B-7 稿纸 B-8 传真纸 B-9 国内标准信封（５号，７号，９号） B-10 国际标准信封（５号，７号，９号） B-11 企业内部沟通格式 B-12 企业表格格式 B-13 档案袋 B-14 文件夹、袋
信息技术与信息化 计算机技术与应用 63 视觉跟踪技术发展和难点问题的分析 The Tendency of the V isual Tracking and the Analysis of Tr oubles 张 进3 ZHAN G J in 摘 要 本文介绍了计算机视觉领域里的一种新兴技术即视觉跟踪技术。其中,主要介绍了视觉跟踪技术的产生、发展,同时也提到了跟踪技术中难点问题和解决思路。 关键词 视觉跟踪 目标检测 目标识别 目标跟踪 Abstract I n this paper,it describes a new technol ogy which called visual tracking of the computer visi on field .The text intr oduces that the new technol ogy ’s e mergence and devel opment,at the sa me ti m e,it refers s ome p r oble m s of this technol ogy and how t o res olve these p r oble m s. Keywords V isual tracking Object detecti on Object identificati on Object tracking 3山东建筑大学信电学院 250010 在当今的信息化社会中,随着计算机网络、通信以及微电子技术的发展,计算机图像以其直观形象、内容丰富的特点备受人们青睐。然而,在很多应用领域,人类在全部依赖视觉获得信息的同时,也需要付出艰辛的劳动。需要一种智能计算机系统技术,来模拟人眼获取外界信息图像,并模拟人脑进行视觉信息的分析和理解,从而做出相应的响应,这种技术的研究越来越受到诸多学者专家的厚爱,它就是我要介绍的视觉跟踪技术。 视觉跟踪技术用途广泛,目前它已经应用于计算机视觉等许多领域,如:视频监控、视觉用户接口、虚拟现实、智能大楼、基于目标跟踪的视频压缩等。这种技术的研究同时也为高层次的计算机视觉的研究打下基础,如3-D 目标的识别与重建等。 1 研究的主要内容和目的 视觉跟踪技术主要完成的工作有以下三个:目标的检测,目标的识别和目标的跟踪。 1.1 目标检测 目标检测是从图像序列中将前景运动区域从背景中提取出来。目标检测是运动物体的分类与跟踪以及运动人体动作分析与理解的基础,该阶段处理结果直接影响到后续处理的效果,所以运动检测在人体运动分析中的作用非常重要。然而,实时多变的外界条件如天气,光照,运动物体的影子及混乱干扰的影响给运动检测带来了困难。目前几种常用的运动检测方法有:背景减除法,时域差分法和光流法。 1.2 目标识别 目标的识别即目标的分类,一般把检测到的运动目标分为两类:人和非人,其中人体跟踪的目的是从检测的运动区域中将人的运动区域提取出来。常用的分类方法有基于形状特征的分类 (利用检测的运动区域的形状特征进行分类),比如:区域的分散 度,面积,宽高比等作为特征;基于运动特性的分类,比如:利用人的运动具有周期性作为特征。为了得到更准确的分类效果,可以将上述两种方法结合起来使用,还可以考虑运动物体的色彩和运动特征。 1.3 目标跟踪 运动目标的跟踪是指在连续帧的图像间建立基于位置、形状和颜色等有关特征的匹配问题。简单来说,就是在序列图像中,为运动目标定位。目前视频监控系统己经广泛应用到了对安全要求非常敏感的场合和机构,如银行,商场,飞机场等,但是目前的应用并没有发挥它实时主动的监控作用。因为现阶段的视频监控系统大部分只提供视频录像和回放的功能,往往是当异常事件发生后,相关人员才通过记录的结果来观察曾经发生的事,但此时往往为时己晚。人们需要的监控系统是能够实行实时监控,并能自主分析摄像头捕捉的视频信息,若发生异常情况,可以及时报警,从而避免意外发生,同时也减少了雇佣大量监视人员所需要的物力和财力。 2 视觉跟踪技术的发展 近年来,随着运动分析的硬件的发展(包括视频获取设备如摄像头,图像采集卡,处理器和计算机等),基于视频信息的分析迅速渗透到人民生活的各个方面。巨大的商业价值和应用价值使越来越多的公司和学术机构致力于这种技术的研究。美国,英国等国家己经展开了大量相关项目的研究。 1997年,由美国国防高级研究项目署DARP A (Defence Ad 2vanced Research Pr ojects Agency )领头,以美国卡耐基梅隆大学为 首,麻省理工学院等高校参与了视频监控系统项目VS AM [1]的研究开发,并于2000年基本完成.此项目主要研究用于战场及普通民用场景进行监控的自动视频理解技术:分布于各个不同位置的摄像头获取的视频信号通过一个分布式的网络连接汇集到操作 中心,只需要一个操作人员就可以监控一个相当广阔的空间范
《图像探测、跟踪与识别技术》 实验报告 专业：探测制导与控制技术 学号：11151201 姓名：王进 2014 年11月
实验三复杂场景下目标的检测与跟踪 一、实验目的 1. 学习不同目标跟踪算法，对比不同算法对于复杂场景的效果； 2. 学习OpenCV与VS2010的联合编程，提高编程能力。 二、实验要求 1. 要求学生至少使用一种目标跟踪算法对视频中出现的目标进行跟踪； 2. 检验所选算法在复杂场景下的效果； 3. 使用VS2010/2012和OpenCV进行编程； 4. 本实验不要求目标检测，所以目标可以手动标出。 三、实验步骤 1. 想办法找到目标（可手动框出）。 2. 编写目标跟踪函数代码； 四、实验报告 1、CAMSHIFT算法原理 CAMSHIFT算法是利用目标的颜色直方图模型将图像转换为颜色概率分布图，初始化一个搜索窗的大小和位置，并根据上一帧得到的结果自适应调整搜索窗口的位置和大小，从而定位出当前图像中目标的中心位置。 这个算法可以分为三个部分： 1、色彩投影图（反向投影）： (1).RGB颜色空间对光照亮度变化较为敏感，为了减少此变化对跟踪效果的影响，首先将图像从RGB空间转换到HSV空间。(2).然后对其中的H分量作直方图，在直方图中代表了不同H分量值出现的概率或者像素个数，就是说可以查找出H分量大小为h的概率或者像素个数，即得到了颜色概率查找表。(3).将图像中每个像素的值用其颜色出现的概率对替换，就得到了颜色概率分布图。这个过程就叫反向投影，颜色概率分布图是一个灰度图像。 2、MEANSHIFT MEANSHIFT算法是一种密度函数梯度估计的非参数方法，通过迭代寻优找到概率分布的极值来定位目标。 算法过程为： (1).在颜色概率分布图中选取搜索窗W (2).计算零阶距： 计算一阶距：
视觉目标检测算法说明 1.功能 通过安装在战车上的摄像头，检测视野范围内的敌方战车。 2.算法： 2.1目标检测与识别 1.颜色检测 采集大量敌方机器人的图片数据，并进行训练，得到对方机器人的颜色区间， 并以此为阈值对整幅图像进行颜色检测，找到疑似敌方机器人的区域，量化 成二值图。 2.滤除噪声点 对得到的二值图像进行开运算处理，滤除颜色检测结果中的噪声点。 3.连通区域检测 对图像中的疑似区域进行连通区域检测，计算出每个疑似区域的外部轮廓， 用矩形近似表示。 4.连通区域合并 根据连通区域之间的距离和颜色相似性，将距离接近且相似性高的连通区域 进行合并。 5.形状和大小过滤 对大量敌方机器人图片进行训练，得到对方机器人的形状信息（例如长宽比） 和大小信息（面积），并以此为依据将不符合的区域过滤掉。 经过以上五步的处理，可以初步得到敌方机器人的位置、大小和形状信息。 2.2目标运动跟踪 对上步中的检测结果进行运动跟踪。 1.状态估计 根据上一时刻地方机器人的运动状态（包括位置和速度），估算当前时刻机 器人的运动状态。 2.轨迹关联 根据位置和颜色信息，对当前时刻机器人的估计状态和检测结果进行关联。 3.状态更新 若上一步中关联成功，更新当前时刻的运动状态。 通过对检测结果进行运动跟踪，可以计算出当前时刻敌方机器人的运动速度和方 向。 2.3预估提前量
1.评估延迟时间 根据己方机器人实际的调试情况，通过多次试验和统计的方法，估算己方机器人从接收命令到炮弹（或子弹）击中目标区域的时间延时（包括图像处理 时间、落弹时间和炮弹飞行时间）。 2.计算提前量 根据延迟时间和敌方机器人的运动速度，计算炮弹发射的提前量，补偿到敌方机器人的运动状态中。 3.总结： 对于机器人战车中的敌方目标检问题，有很多种方法可以实现，视觉检测只是其中的一种方法，而基于颜色识别的目标检测也只是视觉算法中比较简单有效的一种。所以，本段代码只是抛砖引玉的一个样本，适用范围只针对于2014年RoboMasters夏令营的场地和战车，希望可以看到大家更加简单有效的算法。
视觉识别系统（手册） 设计项目明细表 一．基础设计系统 ：标志设计 □标志及标志创意说明 □标志墨稿 □标志反白效果图 □标志标准化制图 □标志方格坐标制图 □标志预留空间与最小比例限定 □标志特定色彩效果展示 ：标准字体 □全称中文字体 □简称中文字体 □全称中文字体方格坐标制图 □简称中文字体方格坐标制图 □全称英文字体 □简称英文字体 □全称英文字体方格坐标制图 □简称英文字体方格坐标制图 ：标准色（色彩计划） 标准色（印刷色）□ 辅助色系列□ 下属产业色彩识别□ □背景色使用规定 色彩搭配组合专用表□背景色色度、色相□ ：造型（吉祥物） 吉祥物彩色稿及造型说明□ □吉祥物立体效果图 □吉祥物基本动态造型 吉祥物造型单色印刷规范□ □吉祥物展开使用规范 ：象征图形 象征图形彩色稿（单图形）□
象征图形延展效果稿□ 象征图形使用规范□ 象征图形组合规范□ 0 / 8 ：专用印刷字体 □专用印刷字体 ：基本要素组合规范 □标志与标准字组合多种模式 □标志与象征图形组合多种模式 □标志吉祥物组合多种模式 □标志与标准字、象征图形、吉祥物组合多种模式 □基本要素禁止组合多种模式 二．应用设计系统 ：办公事物用品设计 □高级主管名片 □中级主管名片 □员工名片 □信封 □国内信封 □国际信封 □大信封 □信纸 □国内信纸 □国际信纸 □特种信纸□便笺 □传真纸□票据夹 □合同夹 □合同书规范格式 □档案盒 □薪资袋 □识别卡（工作证） □临时工作证 □出入证 工作记事簿□
□文件夹 文件袋□ □档案袋 卷宗纸□ 公函信纸□ □备忘录 简报□ 签呈□ 1 / 8 □文件题头 □直式、横式表格规范 □电话记录 □办公文具 □聘书 □岗位聘用书 □奖状 □公告 □维修网点名址封面及内页版式 □产品说明书封面及内页版式 □考勤卡 □请假单 名片盒□□名片台 □办公桌标识牌 □及时贴标签 □意见箱 □稿件箱 □企业徽章 □纸杯 □茶杯、杯垫 □办公用笔、笔架 □笔记本 □记事本 □公文包 □通讯录 □财产编号牌 □培训证书 □国旗、企业旗、吉祥物旗旗座造型 挂旗□□吊旗 □竖旗 □桌旗 ：公共关系赠品设计
目标检测、跟踪与识别技术与现代战争 【摘要】本文讨论目标检测、跟踪与识别技术在现代战争各个领域中的应用，总结目标识别技术的发展方向，提出目标识别技术工程化实现方法，同时本文介绍了国外目标识别的现状及发展趋势，提出了现代战争应采用综合识别系统解决目标识别问题的建议。 关键词目标检测；目标跟踪；目标识别；雷达；人工神经网络；精确制导 1．引言 随着现代科学技术的飞速发展及其在军事领域内日益广泛的应用，传统的作战思想、作战方式已发生根本性的变化。从第一次海湾战争到科索沃战争，特别是刚刚结束的海湾战争，空中精确打击和空地一体化作战已经成为最重要的作战形式。集指挥、控制、通信、计算机、情报、监视侦察于一体的C ISR 已成为取得战场主动权，赢得最后胜利的关键因素。目标识别技术是雷达智能化、信息化的重要技术支撑手段。在现代化战争中，目标识别技术在预警探测、精确制导、战场指挥和侦察、敌我识别等军事领域都有广泛的应用前景，已受到了世界各国的关注。 现代战争中取得战场制信息权的关键之一是目标属性识别。现代战争的作战环境十分复杂，作战双方都在采用相应的伪装、隐蔽、欺骗和干扰等手段和技术，进行识别和反识别斗争。因此仅仅依靠一种或少数几种识别手段很难准确地进行目标识别，必须利用多个和多类传感器所收集到的多种目标属性信息，综合出准确的目标属性，进行目标检测，跟踪后进行识别。 2．目标检测、跟踪与识别技术在现代战争中的应用 2．1 目标检测、跟踪与识别技术在预警探测上的应用 目标检测、跟踪与识别技术对于弹道导弹的预警工作有重要的作用。弹道导弹一般携带多个弹头，其中可能包含核弹头或大规模杀伤的弹头以及常规弹头，预警雷达必须具备对目标进行分类和识别真假弹头的能力，将核弹头或大规模杀伤的弹头分离出来，为弹道导弹防御(BMD)系统进行目标攻击和火力分配提供依据。早期的BMD系统假设只有一个核弹头，多弹头分导技术的出现，使问题转化为雷达的多目标识别问题，加上电子对抗技术的广泛使用，给目标识别技术带来很大困难。另外，预警雷达还要对空中目标或低空目标进行探测，对来袭目标群进行分类识别。利用星载雷达以及远程光学望远镜等观测设备，可以对外空目标进行探测，对外空来袭目标进行分类和识别，达到早期预警的工作。
视觉识别系统CIS基本构成 企业识别系统Corporated Identity System基本构成； 1、企业的理念识别Mind Identity — MI 2、企业行为识别Behavior Identity — BI 3、企业视觉识别Visual Identity — VI 其他识别 EI — Environment Identity 环境识别 SI — Store Identity 商店识别 ◆MI理念识别系统 一般包括企业的经营信条、企业精神、座右铭、企业风格、经营战略策略、广告、员工的价值观等。 ◆BI行为识别系统 包括对内和对外两部分，对内包括对干部的教育、员工的教育(如服务态度、接待技巧、服务水准、工作精神等)、生产福利、工作环境、生产效益、废气物处理、公害对策、研究发展等；对外包括市场调查、
产品开发公共关系、促销活动、流通政策、银行关系、股市对策，公益性、文化性活动等。 ◆VI视觉识别系统 一般包括基本设计、关系应用、辅助应用三个部分，基本设计包括：如企业名称、品牌标志、标准字、标准色、企业造型、企业象征图案、企业宣传标语、口号、吉祥物等；关系应用包括：如办公器具、设备、招牌、标识牌、旗帜、建筑外观、橱窗、衣着制服、交通工具、包装用品、广告传播、展示、陈列等；辅助应用：如样本使用法、物样使用规格及其他附加使用等。 企业可以通过VI设计实现，对内征得员工的认同感、归属感，加强企业凝聚力，对外树立企业的整体形象、资源整合，有控制的将企业的信息传达给受众，通过视觉符码，不断的强化受众的意识，从而获得认同的目的。 VI系统基本要素： 1、企业名称 2、企业标志 3、企业的标准字体 4、标准色彩 5、象征图案 6、企业提出的标语 7、企业吉祥物 8、专用字体 一、基本要素： 1、企业标识 2、产品商标 3、企业标志释义 4、标志制图法 5、标志的使用规范 6、标志的色彩规范 7、英文标准字