halcon:基于HALCON的视频对象分割及跟踪方法总结(..
疯狂代码 https://www.doczj.com/doc/7d6726427.html,/ ?:http:/https://www.doczj.com/doc/7d6726427.html,/DeveloperUtil/Article31476.html
基于HALCON的视频对象分割及跟踪方法总结
2006-9-3 22:15:00
前面总结了利用HALCON进行模板匹配的一些方法，讨论了利用物体形状的轮廓进行匹配的步骤和如何来优化匹配的速度，提高匹配的精度和速度，当然这两者之间本身也存在着制约，而在这两者之间找到一个适合自己要求的结合点，正是我们要研究和实验的。模板匹配并不是单纯的一个任务，它是一些其他工作的一个必备环节，比如物体识别、对象跟踪、检验产品、零件统计等等一些机器视觉应用。在很多情况下，模板匹配是个不错的选择。在前面总结模板匹配方法的基础上，利用HALCON做了一些视频对象跟踪的实验，并多次试验来调整程序参数优化跟踪过程，采用标准视频进行测试，将这些方法作了如下总结。
首先来看看HALOCN中的帧采集器（FrameGrabber），HDevelop提供这样一个函数来开启你采用的帧采集器（这里我的理解就是图像采集卡或工业摄像机）open_framegrabber()，这个函数中指定了HALCON目前支持的一些帧采集器的文件参数，主要有'BARRACUDA', 'BaumerFCAM', 'BCAM1394', 'BitFlow',
'DahengCAM', 'DahengFG', 'DFG-BW', 'DFG-LC', 'DirectFile', 'DirectShow', 'DT315x', 'DT3162', 'File',
'FireGrab', 'FirePackage', 'FlashBus', 'FlashBusMX', 'Ginga++', 'GingaDG', 'IDS', 'INSPECTA', 'Leutron', 'MatrixVision', 'MeteorII', 'mEnable3', 'MultiCam', 'Opteon', 'p3i2', 'p3i4', 'PT1000CL', 'PX', 'PXC', 'PXD', 'PXR', 'SaperaLT', 'TAG', 'TWAIN', 'uEye'；除此之外，在官方网站上也在逐步推出新支持的一些采集卡，比如近期推出的支持大恒的DahengCAM的USB2.0接口（更多的信息请访问
https://www.doczj.com/doc/7d6726427.html,/halcon/news/）。由于实验条件有限，我在实验中只能采用标准的视频，有CIF和QCIF两种格式的。这个当中我也在摸索，read_sequence()只是读取无格式的图像数据，因为找不到如何直接打开视频文件，所以在实验时只能采用保存好的单帧图像。
在利用模板匹配进行跟踪之前，需要对选定的初始帧或者某一帧进行分割，比如在实验中，采用标准Akiyo视频文件（352×288），我选定初始帧进行分水岭的分割，然后采用马儿可夫随机场的分类，分割出前景对象和背景；也可以直接利用watersheds_threshold()进行阈值化的分割，当然分割的方法还很多，比如基于边缘的，基于区域增长的，基于阈值的，其中基于阈值的用的较多，里面也分为二值化，自动阈值，动态阈值等，各具特点，使用针对图像特征采用不同的方法。如果想进一步的获取精确的分割，可以采用数学形态学算子，这个可以根据具体需要选择不同的膨胀、腐蚀、开、闭操作的结合，这里就不多说了。
对已经分割好的初始帧建立模板，这里没有再确定某个区域，因为是采用已分割的图像。也可以先确定感兴趣区域（ROI），然后在对该区域建立模板，但这样获得的模板就不怎么精确了。接下来的步骤就更按模板匹配的方法来进行，用create_shape_model()来对初始帧创建模板，但这里要注意一点，Metric有个可选项
，use_polarity(匹配时要求有相同的对比度),ignore_global_polarity(在全局上有对比度的情况下仍可匹配)，ignore_local_polarity(即使局部灰度发生变化，也可找到模板，可以应用于遮挡条件)如果在非常低对比度下找到模板，可将MinContrast设置为一个相应小的值；如果即使在严重重叠条件下，仍可以认识模板
，MinContrast应该大于噪声造成的灰度波动范围，这是为了确保模板的位置和旋转能被精确的找到。之后获取轮廓，照样使用inspect_template()监视模板。
再接下来就是跟踪的过程，因为是对单帧图像进行匹配，所以要读取这个视频文件的所有帧。如何自动读取多个图像文件也就成了一个问题？这里采用for循环，还是利用read_image(Image,’E:/实验图像
/Akiyo/’+k$’d’)来读取，循环当中采用find_shape_model()来匹配，这个过程跟前面介绍的一样，不再细说。要重点总结的是如何来加速匹配以及模板更新的问题，因为考虑到由于视频对象变化过大，或者发生了非刚体的运动，这时某帧不能匹配，就需要重新针对该帧重新建立模板，便于后面帧的匹配。当然在这之前的跟踪过程中，对象与模板之间的测量匹配需设定一个阈值，两者之差在这个阈值之内，则认为是匹配的，否则是不匹配的。当出现不匹配时，记录下该帧；然后对这帧采用图像分割并分类，跟初始帧样建立新模板；于是继续后面的跟踪匹配。在实验中，我采用的视频图像有对象相对于背景变化不大的，比如新闻人、视频会议等
；也有对象相对于背景变化大，但对象的运动是刚体运动；如果对于非刚体的运动，匹配过程会更复杂，考虑的问题也更多。
例如，采用claire标准视频图像序列（176×144），由于对象相对背景变化较小，在匹配中尽量不采用更新模板来匹配，这里可以放宽匹配的要求，比如在MaxOverlap参数设置中可以减小其值，将MinSocre的值尽量调小点，这样会增加匹配的时间，可以在匹配的前提下尽量增大Greediness的值，这个实验中我设置的值分别为MaxOverlap=0.3, MinSocre=0.35, Greediness=0.9,共有492帧，总共匹配的时间大约12秒左右。当然这里的时间还更计算机配置有关。对foreman视频序列，由于摄像机的运动，对象和背景都有较大变化，因此在这里匹配要放宽要求，在创建模板时将对比度设置大一点，而在优化过程中选取忽略局部对比度变化的参数，在找模板中将贪婪度（Greediness）设置较低值，并且匹配度也尽量设较低值，这样可以通过部分匹配来跟踪对象。
采用Vectra标准视频图像序列（352×288），汽车行走，可作为一个刚体运动，这时就需要更新模板了，因为在行走的过程中，汽车在转弯或遇到遮挡物时就无法跟踪了，这里暂时不考虑完全遮挡的情况。在这个视频中，汽车在途中会有一些树木的遮挡，遮挡面积不大，可以完整看到汽车的轮廓。这时在前面有转弯的地方，可以放宽匹配的要求，当遇到遮挡时，更新不能匹配的模板。这个视频有141帧，在前面100帧以内，可以很好的跟踪，而在以后出现了较大的偏差，这跟寻找模板的参数设置有关；由于更新模板需要消耗时间，所以整个跟踪匹配的时间会较长。在实际应用中，我们更应该考虑到跟踪的效果，即跟踪的准确性；如何提高视频对象跟踪的精确性和快速性也是需要进一步研究实验的。
[附：流程图和实验图像无法上传，所以没有一个直观的感受～！欢迎一起交 2008-12-10 11:48:44
疯狂代码 https://www.doczj.com/doc/7d6726427.html,/
Artificial Intelligence and Robotics Research 人工智能与机器人研究, 2015, 4(3), 17-22 Published Online August 2015 in Hans. https://www.doczj.com/doc/7d6726427.html,/journal/airr https://www.doczj.com/doc/7d6726427.html,/10.12677/airr.2015.43003 A Survey on Object Tracking Jialong Xu Aviation Military Affairs Deputy Office of PLA Navy in Nanjing Zone, Nanjing Jiangsu Email: pugongying_0532@https://www.doczj.com/doc/7d6726427.html, Received: Aug. 1st, 2015; accepted: Aug. 17th, 2015; published: Aug. 20th, 2015 Copyright ? 2015 by author and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). https://www.doczj.com/doc/7d6726427.html,/licenses/by/4.0/ Abstract Object tracking is a process to locate an interested object in a series of image, so as to reconstruct the moving object’s track. This paper presents a summary of related works and analyzes the cha-racteristics of the algorithm. At last, some future directions are suggested. Keywords Object Tracking, Track Alignment, Object Detection 目标跟踪相关研究综述 徐佳龙 海军驻南京地区航空军事代表室，江苏南京 Email: pugongying_0532@https://www.doczj.com/doc/7d6726427.html, 收稿日期：2015年8月1日；录用日期：2015年8月17日；发布日期：2015年8月20日 摘要 目标跟踪就是在视频序列的每幅图像中找到所感兴趣的运动目标的位置，建立起运动目标在各幅图像中的联系。本文分类总结了目标跟踪的相关工作，并进行了分析和展望。
2008 10th Intl. Conf. on Control, Automation, Robotics and Vision Hanoi, Vietnam, 17–20 December 2008 多个目标的实时视频跟踪的先进的算法 1110200210俞赛艳 Artur Loza Department of Electrical and ElectronicEngineering University of Bristol Bristol BS8 1UB, United Kingdom artur.loza@https://www.doczj.com/doc/7d6726427.html, Miguel A. Patricio, Jes′us Garc′?a, and Jos′e M. Molina Applied Artificial Intelligence Group (GIAA) Universidad Carlos III de Madrid 28270-Colmenarejo, Spain mpatrici,jgherrer@inf.uc3m.es, molina@ia.uc3m.es 摘要——本文调查了用组合和概率的方法来实现实时的视频目标跟 踪。特殊兴趣是真实世界的场景,在这场景里.多目标和复杂背景构成对非平凡的自动追踪者的挑战。在一个规范的监控视频序列里，对象跟踪是以组合数据协会和粒子过滤器为基础，通过选择完成视觉跟踪技术实现的。以详细的分析性能的追踪器测试的优点为基础，已经确定了互补的失效模式和每种方法的计算要求。考虑到获得的结果,改善跟踪性能的混合策略被建议了,为不同追踪方法带来了最好的互补特性。 关键字--概率、组合、粒子过滤器、跟踪、监视、实时、多个目标. 1、介绍 最近人们对通过单个摄像机或一个网络摄像头提供来跟踪视频序列增加了兴趣。在许多监测系统中，可靠的跟踪方法至关重要的。因为它们使运营商在远程监控感兴趣的领域,增加对形势感知能力和帮助监测分析与决策过程。跟踪系统可以应用在一个广泛的环境如:交通系统、公共空间(银行、购物)购物中心、停车场等)、工业环境、政府或军事机构。跟踪的对象通常是移动的环境中的一个高可变性。这需要复杂的算法对视频采集,相机校正、噪声过滤、运动检测，能力学习和适应环境。因为它的情况往往现实场景,系统也应该能够处理多个目标出现在现场。 为了实现强大的和可靠的多个跟踪目标,，各种各样的问题，具体到这种场景，都必须加以解决。不仅要解决状态估计问题，而且还必须使执行数据联合运行得准确,特别是当多目标交互存在时。早期多个对象跟踪的工作，关注于一个固定的数字的目标,但是人们已经认识到,很有必要解释新出现的目标以及消失的目标造成的变量数量及多个轨道数量，具有相当良好的间隔。这是典型的用扩展状态估计框架联合跟踪所有检测目标[4]。联合跟踪目标[6],避免使用几个独
1引言 目标跟踪可分为主动跟踪和被动跟踪。视频目标跟踪属于被动跟踪。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。这些优点使得视频目标跟踪测量在靶场光电测量、天文观测设备、武器控制系统、激光通信系统、交通监控、场景分析、人群分析、行人计数、步态识别、动作识别等领域得到了广泛的应用[1-2]。 根据被跟踪目标信息使用情况的不同，可将视觉跟踪算法分为基于对比度分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。基于对比度分析的跟踪算法主要利用目标和背景的对比度差异，实现目标的检测和跟踪。基于匹配的跟踪主要通过前后帧之间的特征匹配实现目标的定位。基于运动检测的跟踪主要根据目标运动和背景运动之间的差异实现目标的检测和跟踪。前两类方法都是对单帧图像进行处理，基于匹配的跟踪方法需要在帧与帧之间传递目标信息，对比度跟踪不需要在帧与帧之间传递目标信息。基于运动检测的跟踪需要对多帧图像进行处理。除此之外，还有一些算法不易归类到以上3类，如工程中的弹转机跟踪算法、多目标跟踪算法或其他一些综合算法。2基于对比度分析的目标跟踪算法基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。这类算法按照跟踪参考点的不同可以分为边缘跟踪、形心跟踪和质心跟踪等。这类算法不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合（如要求跟踪目标的左上角或右下角等）有其独到之处。缺点是跟踪点易受干扰，跟踪随机误差大。重心跟踪算法计算简便，精度较高，但容易受到目标的剧烈运动或目标被遮挡的影响。重心的计算不需要清楚的轮廓，在均匀背景下可以对整个跟踪窗口进行计算，不影响测量精度。重心跟踪特别适合背景均匀、对比度小的弱小目标跟踪等一些特殊场合。图像二值化之后，按重心公式计算出的是目标图像的形心。一般来说形心与重心略有差别[1-2]。 3基于匹配的目标跟踪算法 3.1特征匹配 特征是目标可区别与其他事物的属性，具有可区分性、可靠性、独立性和稀疏性。基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的 文章编号：1002－8692（2010）12-0135-04 视频目标跟踪算法综述* 蔡荣太1，吴元昊2，王明佳2，吴庆祥1 （1.福建师范大学物理与光电信息科技学院，福建福州350108； 2.中国科学院长春光学精密机械与物理研究所，吉林长春130033） 【摘要】介绍了视频目标跟踪算法及其研究进展，包括基于对比度分析的目标跟踪算法、基于匹配的目标跟踪算法和基于运动检测的目标跟踪算法。重点分析了目标跟踪中特征匹配、贝叶斯滤波、概率图模型和核方法的主要内容及最新进展。此外，还介绍了多特征跟踪、利用上下文信息的目标跟踪和多目标跟踪算法及其进展。 【关键词】目标跟踪；特征匹配；贝叶斯滤波；概率图模型；均值漂移；粒子滤波 【中图分类号】TP391.41；TN911.73【文献标识码】A Survey of Visual Object Tracking Algorithms CAI Rong-tai1,WU Yuan-hao2,WANG Ming-jia2,WU Qing-xiang1 （1.School of Physics,Optics,Electronic Science and Technology,Fujian Normal University,Fuzhou350108,China; 2.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Science,Changchun130033,China）【Abstract】The field of visual object tracking algorithms are introduced,including visual tracking based on contrast analysis,visual tracking based on feature matching and visual tracking based on moving detection.Feature matching,Bayesian filtering,probabilistic graphical models,kernel tracking and their recent developments are analyzed.The development of multiple cues based tracking,contexts based tracking and multi-target tracking are also discussed． 【Key words】visual tracking;feature matching;Bayesian filtering;probabilistic graphical models;mean shift;particle filter ·论文·*国家“863”计划项目（2006AA703405F）；福建省自然科学基金项目（2009J05141）；福建省教育厅科技计划项目（JA09040）
万罡周洞汝崔永毅傅华胜 （武汉大学计算机信息学院，武汉<#""=!） 摘要文章对三种文字分割算法，包括基于阈值的二值化算法、基于分裂/ 合并的算法和基于纹理的算法，进行了分析、实验与评价，最后提出一种边缘检测— —投影— —局部区域二值化的文字分割算法，并给出与前面一些算法的比较。关键词文字分割阈值分裂/ 合并边缘检测 文章编号0""!6>##06（!""#）"!6"0"#6"#文献标识码? 中图分类号@A#B0 !"#$%&’"()*+,&-."(/&0 1)2"!),/)’"3".&’.’4.,."3+5.$)& 63’73’,8(&’,-#9#. :&’,%.;#<#3=()’, （C)D’:,&)+,.E F.&D G,):*H-)+H)，I G8’+J+-K):;-,L，I G8’+<#""=!） *>="-3?"：%+,8-;,8);-;，,8:))M-EE):)+,’5(.:-,8&.E,)N,;)(&)+,’,-.+，-+H5G M-+(,8:);8.5M6O’;)M’5(.:-,8&，;D5-,,-+(/ &):(-+(O’;)M’5(.:-,8&’+M,)N,G:)O’;)M’5(.:-,8&，’:)’+’5L P)M’+M)K’5G)M，,8)+，,8)’G,8.:;O:-+(’+)EE-H-)+,,)N, ;)(&)+,’,-.+’5(.:-,8&’;E.55.Q，E-:;,，’+)M()M),)H,-.+ R D:.S)H,-.+O’;)M&),8.M-;G;)M,.(),,)N,:)(-.+;，;)H.+M，,)N,:)(-.+;’:);)(&)+,)M OL ,8:);8.5M6O’;)M&),8.M$ @)%A&-$=：@)N,;)(&)+,’,-.+，@8:);8.5M，*D5-,,-+(/ &):(-+(，T M()M),)H,-.+ 文字分割的本质是图像分割（%&’()*)(&)+,’,-.+）。图像分割是计算机视觉领域中极为重要的内容之一，是实现自动图像分析时首先需要完成的操作。它是根据图像的某些特征或特征集合的相似性准则，对图像像素进行分组聚类，把图像平面划分为一系列“有意义”的区域，使其后的图像分析、识别等高级处理阶段所要处理的数据量大大减少，同时又保留有关图像结构特征的信息。尽管对图像分割算法的研究已有几十年的历史，依据各种理论，至今已提出了上千种类型的分割算法，但是它们大都是针对具体问题的，目前还没有通用的分割理论和算法。下面将对三种文字分割算法，包括基于阈值的二值化算法、基于分裂/ 合并的算法和基于纹理的算法，进行分析、实验与评价，并提出一种边缘检测— —投影— —局部区域二值化的文字分割算法。有关，则所得的阈值是与坐标相关的（即动态阈值，前两种阈值对应可称为固定阈值）。 以上对阈值分割方法的分类思想是通用的。近年来，许多取阈值分割方法借用了神经网络、模糊数学、遗传算法、信息论等工具，但这些方法仍可归纳到以上三种方法类型中。 0$0阈值的灰度图像二值化 在利用单阈值方法来分割灰度图像时一般都对图像有一定的假设。最常用的模型可描述如下：假设图像由具有单峰灰度分布的目标和背景组成，且目标和背景象素在灰度值上有很大的差别。对于这类图像，它们的灰度直方图基本上可看作是由分别对应目标和背景的两个单峰直方图混合而成，可以把双峰之间的谷点作为阈值!，对图象作以下二值化处理： ’（#，$）3!0 若%（#，$）!!（! " 若%（#，$）"! 0 基于阈值的二值化算法 在基于阈值的灰度图像分割算法中，确定阈值是关键。阈值一般可写成如下形式： 对于某些新闻视频中的标题新闻、影视片名或演员表等它们的背景一般比较简单，可以采用单阈值分割方法。但是，大多数视频中的文字都有较复杂的背景，反映在其灰度直方图上 !"!1#，$，%（#，$），&（#，$）2（0）将出现多个峰谷，此时若采用单阈值的分割方法则无法将文字 其中%（#，$）是在象素点（#，$）对处的灰度值，&（#，$）是该点邻域的某种局部性质。换句话说，!在一般情况下可以是（#，$），%（#，$）和&（#，$）的函数。借助式（0），可以将阈值分割方法分成如下三类： （0）如果仅根据%（#，$）来选取阈值，所得的阈值仅与各个图像象素的本身性质相关（即全局阈值）； （!）如果阈值是根据%（#，$）和&（#，$）来选取的，所得的阈值就是与（局部）区域性质相关的（即局部阈值）。 （#）如果阈值除根据%（#，$）和&（#，$）来选取外，还与（#，$）从背景中分离出来。为此，作者尝试采用多阈值方法将所有的峰都分离出来，如果灰度图像中的文字所占的象素的灰度值相近且与图像中其他目标的灰度值不同，则必然有一个被分离出来的峰对应于图像中的文字目标。 基于局部阈值的二值化算法 0$! 基于局部阈值的方法通过定义考察点的领域，并由邻域计算模板来实现考察点灰度与邻域点的比较，较全局阈值方法有更广泛的应用。其中典型的局部比较方法有4’&)5678’.算法和9):+;)+算法等。与4’&)5678’.算法相比，9):+;)+算法的 作者简介：万罡，男，0B=U年生，湖北荆州人，硕士研究生，主要研究方向：图形图像处理及多媒体技术。周洞汝，0B#B年生，教授，博士生导师，主要研究方向：图形图象视频压缩，V%*应用技术等。
视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在 视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1 帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设(,)k f x y 和(1)(,)k f x y +分别为图像序列中的第k 帧和第k+1帧中象素点(x ，y)的象素值,则这两帧图像的差值图像就如公式2-1 所示： 1(1)(,)(,)k k k Diff f x y f x y ++=- (2-1) 2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1 式得到第k 帧和第k+1帧的差值图像1k Diff +；2、对所得到的差值图像1k Diff +二值化（如式子2-2 示）得到Qk+1；3、为消除微小噪声的干扰，使得到的运动目标更准确，对1k Q +进行必要的滤波和去噪处理，后处理结果为1k M +。 111255,,(,)0,,(,)k k k if Diff x y T Q if Diff x y T +++>?=?≤? （T 为阈值） （2-2）
视频序列中运动对象分割方法的设计与实现[1][repaste] 2009-03-23 09:36 转自：https://www.doczj.com/doc/7d6726427.html,/2008/07/video-sequence.html The technology of multimedia correspondence developed quickly. After the standard MPEG-1 and MPEG-2, a new standard named MPEG-4 was put forward by the MPEG committee. The key technical of the standard is the standard is the Video Object Segmented from the video frame. The results of object segmentation will affect subsequent applications directly. At the present time, there is no current method, which can segment object models from the background efficiently, though a great deal of research work has been done for video coding. Most algorithms aim at particular image sequences. The video segmentation has been widely applied in many fields, especially in low bite-rate ratio multimedia fields, so it is more and more becoming the hot point in the video research field. This paper discusses the basic theory of digital image segmentation, and then analyzes the exist method for the segmentation of moving objects in video sequences. At last an effective moving object segmentation algorithm is used. First, the moving regions are obtained by the intersections of two neighbor difference images, and then small regions that are not accurate are removed. Finally, the moving regions are filled using the method of mathematical morphology. This arithmetic makes use of the functions of the library effectively, improves precision and efficiency of computation, and has a good property for the application to multi-platform. Experimental result shows that the algorithm can get satisfactory result. Key words: Image segmentation, Frame difference, video sequence, moving object, mathematical morphology 目录 摘要 I ABSTRACT II 第一章绪论 1 1.1 研究背景与意义 1 1.2 国内外研究状况 3 1.3论文内容与结构安排 4 第二章典型的图像分割方法 6 2.1阈值法与边缘检测法 6 2.1.1阈值法 6 2.1.2边缘检测法 7
经过近４０多年的深入研究和发展，多目标跟踪技术在许多方面都有着广泛应用和发展前景，如军事视觉制导、机器人视觉导航、交通管 制、 医疗诊断等［１－２］。目前，虽然基于视频的多运动目标跟踪技术已取得了很大的成就，但由于视频中图像的变化和物体运动的复杂性，使得对多运动目标的检测与跟踪变得异常困难，如多目标在运动过程中互遮挡、监控场景的复杂性等问题，解决上述难题一直是该领域所面临的一个巨大挑战，因此，对视频中多目标跟踪技术研究仍然是近年来一个热门的研究课题［３－５］。 １、多目标跟踪的一般步骤 基于视频的多目标跟踪技术融合了图像处理、模式识别、人工智能、 自动控制以及计算机视觉等众多领域中的先进技术和核心思想。不同的多目标跟踪方法其实现步骤有一定的差异，但多目标跟踪的主要 流程是相同的，如图１所示，其主要包括图像预处理、 运动目标检测、多目标标记与分离、多目标跟踪四个步骤。 图１多目标跟踪基本流程图 ２、多目标跟踪方法 多目标跟踪方法可以根据处理图像或视频获取视点的多少分为两大类，一类是单视点的多目标跟踪，另一类就是多视点的多目标跟踪。 ２．１单视点的方法 单视点方法是针对单一相机获取的图像进行多目标的检测和跟踪。该方法好处在于简单且易于开发，但由于有限的视觉信息的获取，很难处理几个目标被遮挡的情况。 块跟踪（Ｂｌｏｂ－ｔｒａｃｋｉｎｇ）是一种流行的低成本的跟踪方法［６－７］。这种方法需要首先在每一帧中提取块，然后逐帧寻找相关联的块，从而实现跟 踪。 例如ＢｒａＭＢＬｅ系统［８］就是一个基于已知的背景模型和被跟踪的人的外表模型计算出块的似然性的多块跟踪器。这种方法最大的不足之处在于：当由于相似性或者遮挡，多个目标合并在一起时，跟踪将导致失败。因此，可以取而代之的方法是通过位置、外观和形状保留清晰目标的状态。文献［９］利用组合椭圆模拟人的形状，用颜色直方图模拟不同人的外观，用一个增强高斯分布模拟背景以便分割目标，一旦场景中发现对应于运动头部的像素，一个ＭＣＭＣ方法就被用于获取多个人的轮廓的最大后验概率，在单相机的多人跟踪应用中取得了非常有意义的结果。Ｏｋｕｍａ等人提出了一种将Ａｄａｂｏｏｓｔ算法和粒子滤波相结合的方法［１０］。该方法由于充分利用了两种方法的优点，相比于单独使用这两种方法本身，大大降低了跟踪失败的情形，同时也解决了在同一框架下检测和一致跟踪的问题。Ｂｒｏｓｔｏｗ等人提出了一个用于在人群中检测单个行人的特征点轨迹聚类的概率框架［１１］。这个框架有一个基本假设是一起运动的点对可能是同一个个体的一部分，并且把它用于检测和最终的跟踪。对于完全和部分遮挡目标以及外观变化，这些方法和另外一些相似的方法都有很大的局限性。 为了解决遮挡问题，一系列单视点跟踪技术应运而生。典型的方法 是利用块合并来检测遮挡的发生［１２］。当被跟踪的点消失， 跟踪特征点的方法就简单的将其作为一个被遮挡特征点。近年来，基于目标轮廓和外观的跟踪技术利用隐含的目标到相机的深度变化来表示和估计目标间的遮挡关系。但大多数方法都只能解决部分遮挡，不能解决完全被遮挡 的情况。 另外，小的一致运动被假设为是可以从遮挡视点中可以预测运动模式的，这些给没有预测运动的较长时间的遮挡的处理带来问题。尽管这些单视点的方法有较长的研究历史，但这些方法由于不能明锐的 观察目标的隐藏部分，因此不能很好地解决有２或３个目标的遮挡问题。 ２．２多视点的方法 随着复杂环境中对检测和跟踪多个被遮挡的人和计算他们的精确 位置的需要，多视点的方法成为研究的热点。 多视点跟踪技术的目的就是利用不同视点的冗余信息，减少被遮挡的区域，并提供目标和场景的３Ｄ信息。尽管通过相机不能很好地解决目标跟踪问题，但却提出了一些很好的想法，如选择最佳视点，但这些方法都以实际环境模型和相机校正为特征。 ９０年代后半期，在很多文献中给出了多视点相关的多目标跟踪方法。 比如利用一个或多个相机与观察区域相连的状态变化映射，同时给出一系列的行为规则去整合不同相机间的信息。利用颜色在多个视点中进行多目标的跟踪的方法，该方法模拟了从基于颜色直方图技术的 背景提取中获得的连接块并应用其去匹配和跟踪目标。 除此之外，也有在原来的单视点跟踪系统进行扩展的多视点跟踪方法。该方法主要是通过一个预测，当预测当前的相机不在有一个好的视点时，跟踪就从原来凯斯的那个单相机视点的跟踪转换到另外一个相机，从而实现多视点的跟踪。基于点与它对应的极线的欧氏距离的空间匹配方法、贝叶斯网络和立体相对合并的方法都是多目标多视点跟踪的常见方法。尽管这些方法都试图去解决遮挡问题，但由于遮挡的存在，基于特征的方法都不能根本解决，其次，这些方法中的遮挡关系的推理一般都是根据运动模型，卡尔曼滤波或者更普遍的马尔科夫模型的时间一致性来进行的。因此，当这个过程开始发散，这些方法也不能恢复遮挡关系。 最近一种基于几何结构融合多个视点信息的Ｈｏｍｅｇｒａｐｈｉｃｏｃｃｕｐａｎｃｙｃｏｎｓｒｒａｉｎｔ（ＨＯＣ）［１２］方法，可以通过在多场景平台对人的定位来解决遮挡问题。仅采用随时间变化的外表信息用于从背景中检测前景，这使得在拥挤人流的场景中的外表遮挡的解决更健壮。利用多视点中的前景信息，主要是试图找到被人遮挡的场景点的图像位置，然后这些被遮挡的信息用于解决场景中多个人的的遮挡和跟踪问题。在这种思想指导下，Ｍｉｔｔａｌ，Ｌｅｉｂｅ，Ｆｒａｎｃｏ等的研究工作和机器人导航中基于遮挡网格的距离传感器的并行工作是相似的，这些方法在融合３Ｄ空间信息的时候需要进行校正相机。但ＨＯＣ方法是完全基于图像的，仅需要２Ｄ结构信息进行图像平面的融合。当然也有另外一些不需要进行相机校正的算法被提出，但需要学习一个与相机最小相关的信息。在目标跟踪过程中，由于这些方法依赖于单个相机的场景，对于拥挤场景中目标分布密度增加九无能为力了。在ＨＯＣ的多视点的目标跟踪中，对于任何单一相机的场景，或者相机对的场景，都不需要进行定位和跟踪目标，而是从所有相机的场景中收集证据，形成一个统一的框架，由于该方法能够从多个时间帧的场景中进行场景被遮挡概率的全局轨迹优化，因此可以同时进行检测和跟踪。 ３、总结 动态目标检测与跟踪是智能监控系统的重要组成部分，它融合了图像处理、模式识别、自动控制及计算机应用等相关领域的先进技术和研究成果，是计算机视觉和图像编码研究领域的一个重要课题，在军事武器、工业监控、交通管理等领域都有广泛的应用。尤其是对于多目标检测与跟踪中的遮挡与被遮挡的处理，对提高智能监控中目标的行为分析有着重要的意义。随着监控设备的发展和设施的铺设，多视点的场景图像是很容易得到的，因此借助信息融合的思想，充分利用不同角度对目标的描述信息，可以很大地改进目前基于单视点的多目标检测和跟踪的精度，能够很好地解决单视点方法中不能很好解决的遮挡问题。参考文献 ［１］胡斌，何克忠．计算机视觉在室外移动机器人中的应用．自动化学报，２００６，３２（５）：７７４－７８４． ［２］Ａ．Ｏｔｔｌｉｋ，Ｈ．－Ｈ．Ｎａｇｅｌ．ＩｎｉｔｉａｌｉｚａｔｉｏｎｏｆＭｏｄｅｌ－ＢａｓｅｄＶｅｈｉｃｌｅＴｒａｃｋｉｎｇｉｎＶｉｄｅｏＳｅｑｕｅｎｃｅｓｏｆＩｎｎｅｒ－ＣｉｔｙＩｎｔｅｒｓｅｃｔｉｏｎｓ．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２００８，８０（２）：２１１－２２５．多目标跟踪方法研究综述 苏州联讯图创软件有限责任公司 陈宁强 ［摘要］文章对目前现有的多目标跟踪方法从信息获取的不同角度进行了综述。主要分析比较了目前单视点和多视点目标跟踪方 法对于目标遮挡问题的处理性能，并指出多视点的基于多源信息融合的思想，可以较好地解决场景中目标的遮挡问题。［关键词］单视点多视点目标跟踪信息融合基金项目：本文系江苏省自然科学基金（ＢＫ２００９５９３）。 作者简介：陈宁强（１９７３－），男，江苏苏州人，工程师，主要研究方向：ＧＩＳ、模式识别和图像处理与分析。 目标跟踪多目标标记与分离 匹配 目标模型 运动检测当前帧图像 背景提取 去噪 ＲＯＩ 预处理 视频序列 （下转第２６页）
。 目标跟踪算法综述 大连理工大学卢湖川一、引言 目标跟踪是计算机视觉领域的一个重 要问题，在运动分析、视频压缩、行为识 别、视频监控、智能交通和机器人导航等 很多研究方向上都有着广泛的应用。目标 跟踪的主要任务是给定目标物体在第一帧 视频图像中的位置，通过外观模型和运动 模型估计目标在接下来的视频图像中的状 态。如图1所示。目标跟踪主要可以分为5 部分，分别是运动模型、特征提取、外观 模型、目标定位和模型更新。运动模型可 以依据上一帧目标的位置来预测在当前帧 目标可能出现的区域，现在大部分算法采用的是粒子滤波或相关滤波的方法来建模目标运动。随后，提取粒子图像块特征，利用外观模型来验证运动模型预测的区域是被跟踪目标的可能性，进行目标定位。由于跟踪物体先验信息的缺乏，需要在跟踪过程中实时进行模型更新，使得跟踪器能够适应目标外观和环境的变化。尽管在线目标跟踪的研究在过去几十年里有很大进展，但是由被跟踪目标外观及周围环境变化带来的困难使得设计一个鲁棒的在线跟踪算法仍然是一个富有挑战性的课题。本文将对最近几年本领域相关算法进行综述。 二、目标跟踪研究现状 1. 基于相关滤波的目标跟踪算法 在相关滤波目标跟踪算法出现之前，大部分目标跟踪算法采用粒子滤波框架来进行目标跟踪，粒子数量往往成为限制算法速度的一个重要原因。相关滤波提出了 一种新颖的循环采样方法，并利用循环样 本构建循环矩阵。利用循环矩阵时域频域 转换的特殊性质，将运算转换到频域内进 行计算，大大加快的分类器的训练。同时， 在目标检测阶段，分类器可以同时得到所 有循环样本得分组成的响应图像，根据最 大值位置进行目标定位。相关滤波用于目 标跟踪最早是在MOSSE算法[1]中提出 的。发展至今，很多基于相关滤波的改进 工作在目标跟踪领域已经取得很多可喜的 成果。 1.1. 特征部分改进 MOSSE[1] 算法及在此基础上引入循 环矩阵快速计算的CSK[2]算法均采用简单 灰度特征，这种特征很容易受到外界环境 的干扰，导致跟踪不准确。为了提升算法 性能，CN算法[3]对特征部分进行了优 化，提出CN（Color Name）空间，该空 间通道数为11（包括黑、蓝、棕、灰、绿、 橙、粉、紫、红、白和黄），颜色空间的引 入大大提升了算法的精度。 与此类似，KCF算法[4]采用方向梯度 直方图（HOG）特征与相关滤波算法结合， 同时提出一种将多通道特征融入相关滤波 的方法。这种特征对于可以提取物体的边 缘信息，对于光照和颜色变化等比较鲁棒。 方向梯度直方图（HOG）特征对于运 动模糊、光照变化及颜色变化等鲁棒性良 好，但对于形变的鲁棒性较差；颜色特征 对于形变鲁棒性较好，但对于光照变化不 够鲁棒。STAPLE算法[5]将两种特征进行 有效地结合，使用方向直方图特征得到相 关滤波的响应图，使用颜色直方图得到的 统计得分，两者融合得到最后的响应图像 并估计目标位置，提高了跟踪算法的准确 度，但也使得计算稍微复杂了一些。 图1 目标跟踪算法流程图
是不允许操作的。用户管理功能可以让用户建立一组帐号和密码,分配给允许使用本系统的人员,并且对于不同的人员,按照需要再赋予不同的访问和使用的权限;对于外来人员没有帐号和密码,就无法进入本系统。如此一来就提高了系统的安全性,也使系统更加稳定、有效地运行。 在用户登录、退出登录、修改密码和用户安全区配置四个按钮的弹起事件中分别输入相应的命令语言,就可以实现相应的作用。四个命令语言分别为: LogO n() LogO ff() ChangePass W o rd()、Ed it U sers() 4)运行和调试 在完成了图形界面的设计,构造好实时数据库,并建立起动画连接后,在组态王工程浏览器的工具条上直接点击 V IE W 快捷键或点击某一画面的文件下拉菜单中的 切换到V I E W 即可进入该运行系统。建立与下位机的连接,与现场的I/O设备直接进行通讯。即可通过组态软件显示现场的实际工况,以及当对象结构参数变化时对对象特性的影响。 3 总结 本实验系统是在组态王6.53版本上的基础上开发的,它利用W indo w s的图形功能完备、界面一致性好、易学易用的特点,具有强有力的安全管理系统、强大的通讯能力、先进的报警和事件管理、快速便捷的应用设计,该系统不仅提高了实验教学效率,改善实验效果,而且方便易行。 基于金山电厂的水源监测系统设计的结果也表明,组态王软件用于自动控制系统的监测与控制设计降低了工作人员劳动强度、提高了劳动生产率,还提高了计算精度,同时功能更加完善,只需要通过画面切换就可以监视到不同的运转情况,以及根据需要查询不同时间的数据记录,甚至发生事故时可以即时将事故前的记录和事故后的记录取出分析,同时对于实现远距离及时了解现场的工作状况和从经济效益方面出发也有十分重大的意义。 参考文献 [1]周美兰,周封,王岳宇.PLC电气控制与组态设计[M].科学 出版社,2003. [2]潘炼.PLC在配煤控制系统中的应用[M].武汉科技大学出 版社,2006. [3]方来华,吴爱国,何熠.组态软件核心技术研究[J].化工自动 化及仪表,2004,31(1):33-35. [4]adm i n.M CGS组态软件在煤矿安全监控系统集成中的应用 [J].机电设备,2006,(04):16. [5]王亚民,陈青,刘畅生,等.组态软件的设计与开发[M].西 安:西安电子科技大学出版社,2003. [6]欧金城,欧世乐,林德杰,等.组态软件的现状与发展[J].工 业控制计算机,2002,(15) [7]周敬东,陈幼平,周祖德,等.组态软件硬件接口的设计与实 现[J].机械与电子,2004(6):44-47. 作者简介:赵国材(1952-),男,教授,硕士生导师,主要研究领域为自动控制技术、机器人控制;蔡志达(1979-),男,在读硕士研究生,主要研究方向为自动控制技术;张艳(1986-),女,在读硕士研究生,主要研究方向为自动控制技术。 收稿日期:2009-10-28 do:i10.3969/.j issn.1671-1041.2010.02.034 最新视频分割算法研究 高泽林,陈为龙,王正勇 (四川大学电子信息学院图像信息研究所,成都610064)摘要:视频分割在视频编码、智能监控和信息检索等领域有着广泛应 用,分割质量的好坏直接影响视频的后续处理,所以,基于运动目标的视频分割技术是重要而又富有挑战性的。本文在现有方法的基础上,研究了最近的国内外文献,介绍和分析了其中的算法,并对未来的发展进行了展望。 关键词:运动目标;视频分割算法;帧间差分;马尔科夫随机场 中图分类号:TP391 文献标识码:B The latest algorith m research of video seg m entation GAO Z e-li n,CH EN W e-i l on g,W ANG Z hen g-yong (I m age Infor ma tion Institute,C ollege of Electronics and Infor ma tion Eng i neering,Si chuan Un i versity, Chengdu610064,Chi na) Abstrac:t Video seg ment ation is w ide l y used i n video coding,intell-i gentmonit or and inf or m ation r e trieva.l The qua lit y of seg ment ati o n dir ec tly aff ects video s f o llo w ing process,so v i d eo seg ment ati o n t echnique based on m ov ing ob j e ct is m i portant and chall e nging.O n t he bas is of exis ting method,t h i s paper intr oduced and ana l y zed t he algorit h m accord i n g to the l a tes t lit erat ures at ho me and abroad,and look int o t he f ut ure. Key words:mov ing objec;t v ideo segmentation algorith m;fra me diff erenc i n g;MRF 0 引言 随着信息技术的快速发展,人们对多媒体信息的关注和需求也不断增长,尤其是视觉信息。据统计,人类从外界获得的信息70%以上都是视觉信息,针对视觉信息中视频的处理技术[1]也就成了一个热门而富有挑战的研究领域。但同时,视觉信息巨大的数据量给存储、传输带来了诸多不便,为了更有效的利用视频数据,必须对视频进行压缩。M PEG组织提出了M PE G-4视频压缩标准,与之前的M PEG标准相比,最显著的特征就是基于对象的编码方式,要实现这种视频编码,首要任务就是分割出视频中的运动目标。然而,现实生活中的视频场景复杂多变,给研究者带来了不小的困难。鉴于视频分割广阔的应用前景,本文在前人[2,3]的基础上,研究了近几年的最新文献,介绍和分析了其中的算法。 1 视频分割算法 1.1 视频分割的实际应用举例 视频分割是计算机视觉和图像处理领域的热点,在多媒体通信、视频检索与交互处理、智能监控系统中得到了广泛的应用。但是,视频分割往往不是独立应用的,他通常是为了方便视频的进一步分析处理而做的前期准备。以我们实验室的研究项目 视频超分辨率重建为例,由于要处理存在局部运动的视频,以现有的方法进行运动配准误差较大,才考虑先 仪器仪表用户 经验交流 欢迎订阅欢迎撰稿欢迎发布产品广告信息65
第42卷第9期2008年9月 浙 江 大 学 学 报(工学版) Journal of Zhejiang University (Engineering Science ) Vol.42No.9 Sep.2008 收稿日期:2007204227. 浙江大学学报(工学版)网址:https://www.doczj.com/doc/7d6726427.html,/eng 作者简介:孙志海(1981-),男,福建漳州人,博士生,主要从事视频运动对象分割的研究.E 2mail :eeszh @https://www.doczj.com/doc/7d6726427.html, 通讯联系人:朱善安,男,教授,博导.E 2mail :zsa @https://www.doczj.com/doc/7d6726427.html, DOI :10.3785/j.issn.10082973X.2008.09.030 多视频运动对象实时分割及跟踪技术 孙志海,朱善安 (浙江大学电气工程学院,浙江杭州310027) 摘 要:利用帧间差异积累信息进行自适应背景建模,采用背景差的方法检测视频运动对象区域.设计了一种变系数的空域滤波器,有效地对背景差图像进行了增强,使获得的视频运动对象区域更具有空域连通特性.给出了一种改进的基于Otsu 法的自适应阈值化方法,能更准确地对背景差图像进行阈值化.采用形态学边界提取技术对视频运动对象轮廓进行提取.在获得视频运动对象轮廓的基础上,用区域生长法对视频运动对象进行定位,将矩形中心坐标视为视频运动对象的质心坐标.用基于空间欧氏距离最短的方法对每个视频运动对象质心进行关联跟踪并绘制轨迹.试验结果表明,该方法实时有效. 关键词:运动对象分割;运动对象跟踪;差异积累;空域滤波;背景更新 中图分类号:TP391.41 文献标识码:A 文章编号:10082973X (2008)0921631205 R eal 2time segmentation and tracking technique of multiple moving objects in video sequence SU N Zhi 2hai ,ZHU Shan 2an (College of Elect rical Engineering ,Zhej iang Universit y ,H angz hou 310027,China ) Abstract :Effective background was modeled by accumulative f rame 2to 2frame differences ,and foregro und could be ext racted using background subtraction operation.A variable coefficient spatial filter was presen 2ted ,which could effectively enhance t he background subt raction image and make t he foreground region has much more spatial connectivity.An imp roved Ot su 2based segmentation met hod was presented to accurately t hreshold t he background difference image.Morp hological operation was used in extracting contours of moving object s.After getting t he contours of moving object s ,region growing segmentation met hod was applied to locate t he foreground region ,and t he rectangle cent re was seen as t he mass cent re of t he moving object s.Moving object s were t racked using minimal Euclidean distance and t he motion trajectories were also painted.Experimental result s showed t hat p roposed algorit hm was effective and efficient. K ey w ords :moving object segmentation ;moving o bject tracking ;difference accumulation ;spatial filte 2ring ;background up date 视频运动对象分割及跟踪处于整个视觉监视系统的最底层,是各种后续高级处理如视频分析[1]、视频编码[2]、视频检索[3]以及视频监控[4]等的基础.运动对象分割是指从视频流中实时提取出运动对象,而运动对象跟踪则是指对目标进行连续的跟踪以确定其运动轨迹.尽管文献[5～7]报道了有关视 频运动对象分割的算法,但视频运动对象自动分割的问题还没完全解决.实时自动分割视频语义对象的难点有:对复杂场景快速准确的背景建模;环境变化及噪声影响算法的鲁棒性;算法通用性差,复杂的分割算法满足不了应用的实时性要求;多运动对象的分割及跟踪[627]对分割算法提出了更高的要求.