图像目标跟踪技术
?作者：王鑫，徐立中著
?出版社：人民邮电出版社
?出版时间：2012-12-1
?版次：1页数：178字数：221000
?印刷时间：2012-12-1开本：16开纸张：胶版纸
?印次：1I S B N：9787115288974包装：平装
内容推荐
《图像目标跟踪技术》系统阐述了图像目标跟踪的有关概念、原理和方法，共分9章，第1章介绍图像目标跟踪的意义、应用及分类，第2章介绍非线性优化序贯拟蒙特卡洛滤波，第3章介绍融合背景信息的序贯拟蒙特卡洛滤波目标跟踪，第4章讨论基于概率图模型的粒子滤波多目标跟踪，第5章介绍基于序贯拟蒙特卡洛滤波的多摄像机目标跟踪，第6章介绍基于信息融合技术的目标跟踪，第7章讨论受机械参数影响的多摄像机深度估计，第8章介绍基于自适应多信息融合的均值漂移红外目标跟踪，第9章介绍融合均值漂移和粒子滤波优点的实时目标跟踪。本书是图像目标跟踪方面的专著，反映作者近年来在这一领域的主要研究成果。《图像目标跟踪技术》内容新颖，理论联系实际，可作为大专院校及科研院所图像处理、计算机视觉和视频处理等领域的高年级本科生、研究生的教学和参考用书，也可供相关领域的教师、科研人员及工程技术人员作参考。
目录
第1章绪论
1.1 图像目标跟踪的意义和应用
1.2 单摄像机目标跟踪
1.2.1 目标表示模型
1.2.2 目标动态模型
1.2.3 目标状态估计模型
1.3 多摄像机目标跟踪
1.3.1 目标匹配
1.3.2 摄像机标定及拓扑关系估计
1.3.3 数据关联
1.4 红外图像中目标的跟踪
1.5 智能视频监控系统
1.5.1 智能视频监控的背景和意义
1.5.2 智能视频监控系统
参考文献
第2章非线性优化序贯拟蒙特卡洛滤波
2.1 引言
2.2 基于贝叶斯框架的跟踪问题描述
2.2.1 贝叶斯滤波的蒙特卡洛实现
2.2.2 贝叶斯滤波的拟蒙特卡洛实现
2.3 非线性优化序贯拟蒙特卡洛滤波
2.3.1 信赖域方法
2.3.2 基于信赖域的序贯拟蒙特卡洛滤波算法
2.4 实验与分析
2.4.1 非线性动态模型
2.4.2 二维点目标跟踪中的应用
参考文献
第3章融合背景信息的序贯拟蒙特卡洛滤波目标跟踪3.1 引言
3.2 协方差特征
3.2.1 基于积分图的协方差特征快速计算方法
3.2.2 协方差特征的基本性质
3.2.3 基于协方差特征的目标表观和背景模型
3.3 融合背景信息的序贯拟蒙特卡洛滤波目标跟踪算法3.3.1 融合背景信息的粒子权重估计
3.3.2 目标匹配方法和表观模型更新策略
3.4 实验与分析
3.4.1 实验1
3.4.2 实验2
3.4.3 实验3
参考文献
第4章基于概率图模型的粒子滤波多目标跟踪
4.1 引言
4.2 概率图模型
4.2.1 图论的基本概念
4.2.2 无向概率图模型
4.3 基于概率图模型的粒子滤波多目标跟踪算法
4.3.1 多目标概率图模型建模
4.3.2 概率图模型推理
4.3.3 目标空间特征建模
4.3.4 基于概率图模型的粒子滤波算法
4.4 实验与分析
参考文献
第5章基于序贯拟蒙特卡洛滤波的多摄像机目标跟踪5.1 引言
5.2 基于贝叶斯理论的多摄像机目标跟踪建模
5.2.1 系统描述
5.2.2 后验概率推导
5.3 多摄像机单应约束原理
5.3.1 单应约束矩阵计算原理
5.3.2 基于RANSAC的单应矩阵计算方法
5.4 基于序贯拟蒙特卡洛滤波的多摄像机目标跟踪算法5.4.1 目标表观建模
5.4.2 似然性
5.4.3 自适应重要性采样
5.5 实验与分析
5.5.1 实验1
5.5.2 实验2
5.5.3 实验3
参考文献
第6章基于信息融合技术的目标跟踪
6.1 引言
6.2 监控视频信息融合
6.2.1 信息融合基本概念
6.2.2 视频信息融合结构
6.2.3 视频信息融合方法
6.3 基于多信息融合的粒子滤波目标跟踪
6.3.1 基于贝叶斯估计的目标跟踪框架
6.3.2 粒子滤波理论
6.3.3 基于多信息融合的粒子滤波目标跟踪算法
6.3.4 提出算法的具体步骤
6.3.5 实验与分析
6.4 多摄像机融合跟踪
6.4.1 多摄像机融合系统
6.4.2 多摄像机数据融合
6.4.3 系统设计与仿真
参考文献
第7章受机械参数影响的多摄像机深度估计
7.1 引言
7.2 立体视觉模型
7.3 不同机械参数误差下的深度估计模型
7.3.1 摄像机畸变
7.3.2 摄像机平移
7.3.3 摄像机旋转
7.3.4 摄像机上下倾斜
7.3.5 摄像机左右偏转
7.3.6 多个误差同时发生
7.4 实验与分析
7.4.1 特征点匹配
7.4.2 参数d、α和β的估计
7.4.3 参数γ的估计
7.4.4 实验结果
7.4.5 讨论分析
参考文献
第8章基于自适应多信息融合的均值漂移红外目标跟踪8.1 引言
8.2 Mean Shift理论
8.2.1 Mean Shift向量
8.2.2 基于核函数直方图的均值漂移目标跟踪算法
8.2.3 基于概率分布图的均值漂移目标跟踪算法
8.3 基于自适应多信息融合的均值漂移红外目标跟踪算法
8.3.1 新的红外人体目标模型
8.3.2 提出的目标跟踪算法
8.4 实验与分析
8.4.1 提出的算法和基于灰度信息均值漂移算法的比较
8.4.2 自适应多信息融合算法和固定权值多信息融合算法比较8.4.3 遮挡问题的处理
8.4.4 改进算法的效率分析
参考文献
第9章融合均值漂移和粒子滤波优点的实时目标跟踪
9.1 引言
9.2 融合均值漂移和粒子滤波优点的实时彩色目标跟踪
9.2.1 改进的融合颜色和运动信息的目标模型
9.2.2 改进的均值漂移算法
9.2.3 本节算法的具体实现
9.2.4 实验与分析
9.3 融合均值漂移和粒子滤波优点的实时红外目标跟踪
9.3.1 改进的融合灰度和运动信息的目标模型
9.3.2 改进的均值漂移算法
9.3.3 本节算法的具体实现
9.3.4 实验与分析
参考文献
动态视频目标检测和跟踪技术 传统电视监控技术只能达到“千里眼”的作用，把远程的目标图像（原始数据）传送到监控中心，由监控人员根据目视到的视频图像对现场情况做出判断。智能化视频监控的目的是将视频原始数据转化为足够量的可供监控人员决策的“有用信息”，让监控人员及时全面地了解所发生的事件：“什么地方”，“什么时间”，“什么人”，“在做什么”。将“原始数据”转化为“有用信息”的技术中，目标检测与跟踪技术的目的是要解决“什么地方”和“什么时间”的问题。目标识别主要解决“什么人”或“什么东西”的问题。行为模式分析主要解决“在做什么”的问题。动态视频目标检测技术是智能化视频分析的基础。 本文将目前几种常用的动态视频目标检测方法简介如下： 背景减除背景减除（Background Subtraction）方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动目标的一种技术。它一般能够提供相对来说比较全面的运动目标的特征数据，但对于动态场景的变化，如光线照射情况和外来无关事件的干扰等也特别敏感。实际上，背景的建模是背景减除方法的技术关键。最简单的背景模型是时间平均图像，即利用同一场景在一个时段的平均图像作为该场景的背景模型。由于该模型是固定的，一旦建立之后，对于该场景图像所发生的任何变化都比较敏感，比如阳光照射方向，影子，树叶随风摇动等。大部分的研究人员目前都致力于开发更加实用的背景模型，以期减少动态场景变化对于运动目标检测效果的影响。 时间差分时间差分（Temporal Difference 又称相邻帧差）方法充分利用了视频图像的特征，从连续得到的视频流中提取所需要的动态目标信息。在一般情况下采集的视频图像，若仔细对比相邻两帧，可以发现其中大部分的背景像素均保持不变。只有在有前景移动目标的部分相邻帧的像素差异比较大。时间差分方法就是利用相邻帧图像的相减来提取出前景移动目标的信息的。让我们来考虑安装固定摄像头所获取的视频。我们介绍利用连续的图像序列中两个或三个相邻帧之间的时间差分，并且用阈值来提取出视频图像中的运动目标的方法。我们采用三帧差分的方法，即当某一个像素在连续三帧视频图像上均有相
目标跟踪的研究背景意义方法及现状 1目标跟踪的研究背景及意义 (1) 1.1电视监控 (2) 1.2视频压缩编码 (2) 1.3智能交通系统 (2) 1.4人机交互 (3) 2研究现状及研究面临的问题 (3) 2.1研究现状 (3) 2.2研究面临的难题 (4) 3目标跟踪的主要方法 (4) 3.1基于检测的方法 (5) 3.2基于识别的方法 (5) 1目标跟踪的研究背景及意义 感觉是人类与外界联系的窗口和交流的桥梁，它的主要任务是识别周边物体，判断与这些物体之间的联系，使人类的思维与周围世界建立某种对应的关系。而视觉系统是人类感觉的最主要来源，是获取外界信息的最主要途径，它是一种高清晰度的媒介，为人类提供着丰富的外界资源信息。据统计，大约有80%的外界信息是通过眼睛被人接收的。然而，由于人类的精力毕竟是有限的，人类的视野也是有限的，所以人类的视觉在各种领域的应用都受到很大限制甚至是低效的。 因而，随着数字计算机技术的飞速发展，让计算机能够处理视觉信息、完善人类视觉上的诸多短板就成了一项非常诱人的研究课题，也因此推动了计算机视觉这一学科的产生和发展。计算机视觉是融合了图像处理、计算机图形学、模式识别、人工智能、人工神经网络、计算机、心理学、物理学和数学等领域的一门交叉性很强的学科。计算机视觉研究的目的是使计算机感知环境中的物体的几何信息，包括它的形状、位置、姿态、运动等，并对其进行描述、存储、识别与理解，因此成为当今最热门的课题之一。 运动目标跟踪属于视频分析的内容，而视频分析则融合了计算机视觉研究领域的中层和高层处理阶段，即对图像序列进行处理，从而研究运动目标的规律，或者为系统的决策报警提供语义和非语义的信息支持，包括运动检测、目标分类、目标跟踪、行为理解、事件检测等。视频目标跟踪方法的研究和应用作为计算机视觉领域的一个重要分支，正日益广泛地应用到科学技术、国防建设、航空航天、医药卫生以及国民经济的各个领域，因而研究目标跟踪技术有着重大的实用价值
用openCV实现对视频中动态目标的追踪 第一步，是要建立一个编程环境，然后加载opencv的库路径等等。具体步骤在 https://www.doczj.com/doc/6b8816383.html,/ 的“安装”中有详细介绍。 第二步，建立一个MFC的对话框程序，做两个按钮，一个“打开视频文件”，一个“运动跟踪处理”。 具体操作： 1 建立MFC对话框程序的框架：File ->New -> MFC AppWizard(exe)，选取工程路径，并取工程名“VideoProcesssing”-> Next -> 选择Dialog based后，点Finish,点OK. 2 添加按钮：直接Delete掉界面默认的两个“确定”“取消”按钮。然后添加两个button，分别名为“打开视频”，“运动跟踪处理”，其ID分别设为IDC_OPEN_VIDEO，IDC_TRACKING. 3 添加消息响应函数：双击按钮“打开视频”，自动生成响应函数名OnOpenVideo，点Ok。然后添加如下代码： CFileDialog dlg(true,"*.avi",NULL,NULL,"*.avi|*.avi||"); if (dlg.DoModal()==IDOK) { strAviFilePath = dlg.GetPathName(); }else { return; } 同样，双击“运动跟踪处理”，选择默认的响应函数名，然后添加代码： //声明IplImage指针 IplImage* pFrame = NULL; IplImage* pFrImg = NULL; IplImage* pBkImg = NULL; CvMat* pFrameMat = NULL; CvMat* pFrMat = NULL; CvMat* pBkMat = NULL; CvCapture* pCapture = NULL; int nFrmNum = 0; //打开AVI视频文件 if(strAviFilePath=="") //判断文件路径是否为空 { MessageBox("请先选择AVI视频文件!"); return; }else { if(!(pCapture = cvCaptureFromFile(strAviFilePath))) { MessageBox("打开AVI视频文件失败!"); return;
浙江工程学院学报,第19卷,第3期,2002年9月 Journal of Zhejiang Institute of Science and T echnology Vol .19,No .3,Sep 12002 文章编号:100924741(2002)0320165206 收稿日期:2002201222 基金项目:国家自然科学基金资助项目(60103016),浙江省自然科学基金资助项目(601019),浙江省教育厅科研资助项目(2000036) 作者简介:周志宇(1974— ),男,浙江诸暨人,在职硕士研究生,从事计算机视觉的研究。基于动态图像序列的运动目标跟踪 周志宇,汪亚明,黄文清 (浙江工程学院计算机视觉与模式识别研究中心,浙江杭州 310033) 摘要:介绍了运动目标跟踪中基于特征、32D 、变形模型和区域的4种跟踪方法,着重分析了变形模型 中Snake 的跳跃模型跟踪方法和基于区域的几个有代表性的跟踪方法,说明了其在智能交通监控中的应用, 并给出了区域跟踪的实验结果。 关键词:动态图像序列;运动目标;变形模型;区域跟踪 中图分类号:TP391141 文献标识码:A 0 前 言 基于动态图像序列的运动目标跟踪技术在军事、国防、工业过程控制、医学研究、交通监控、飞机导航等领域有着广泛的应用前景。运动目标跟踪的目的就是通过对序列图像进行分析研究,计算出运动目标在连续帧图像中的位移,给出运动目标速度等运动参数,从而对缓解城市交通拥挤、堵塞现象提供依据。利用图像捕捉并跟踪我们感兴趣的运动目标,形成运动目标的序列图像由于比静止目标的一帧图像提供了更多的有用信息,使得可以利用序列图像检测出在单帧图像中很难检测出的目标。在复杂背景下对运动目标的跟踪以达到特定的目的,可靠性和精度是跟踪过程中的两个重要指标,为此,人们提出了许多方法来解决跟踪问题,但归纳起来,主要有基于特征、32D 、变形模型和区域的4种跟踪方法。 1 运动目标的跟踪方法 111 基于特征的跟踪方法用于目标的跟踪的个体特征有许许多多,不管是刚体运动目标,还是非刚体运动目标,在序列图像中相邻的两帧图像,由于图像序列间的采样时间间隔很小,可以认为这些个体特征在运动形式上具有平滑性,因此可以用直线 [1]、曲线[2]、参照点[3]等个体特征来跟踪运动目标。Liu [1]等人介绍了灰度图像中一种边缘直线匹配的算法。在边缘直线的提取中,首先,用图像边缘聚焦技术处理图像数据,消除不必要的图像噪声,形成了一个边缘,然后从边缘中分割出直线,并从中提取直线。用一种以直线的几何关系和灰度图像的信息为基础的匹配函数描述了两幅图像边缘直线的相似性,在连续帧图像中采用直线匹配的方法进行了运动参数的估计。 基于特征的跟踪方法有其显著的优点:a )由于使用的符号模型运动方式简单,运动具有平滑性,因此跟踪目标的算法就简单了;b )这种方法已经假设特征符号运动是相互独立的运动,因此在运动分析时
Artificial Intelligence and Robotics Research 人工智能与机器人研究, 2015, 4(3), 17-22 Published Online August 2015 in Hans. https://www.doczj.com/doc/6b8816383.html,/journal/airr https://www.doczj.com/doc/6b8816383.html,/10.12677/airr.2015.43003 A Survey on Object Tracking Jialong Xu Aviation Military Affairs Deputy Office of PLA Navy in Nanjing Zone, Nanjing Jiangsu Email: pugongying_0532@https://www.doczj.com/doc/6b8816383.html, Received: Aug. 1st, 2015; accepted: Aug. 17th, 2015; published: Aug. 20th, 2015 Copyright ? 2015 by author and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). https://www.doczj.com/doc/6b8816383.html,/licenses/by/4.0/ Abstract Object tracking is a process to locate an interested object in a series of image, so as to reconstruct the moving object’s track. This paper presents a summary of related works and analyzes the cha-racteristics of the algorithm. At last, some future directions are suggested. Keywords Object Tracking, Track Alignment, Object Detection 目标跟踪相关研究综述 徐佳龙 海军驻南京地区航空军事代表室，江苏南京 Email: pugongying_0532@https://www.doczj.com/doc/6b8816383.html, 收稿日期：2015年8月1日；录用日期：2015年8月17日；发布日期：2015年8月20日 摘要 目标跟踪就是在视频序列的每幅图像中找到所感兴趣的运动目标的位置，建立起运动目标在各幅图像中的联系。本文分类总结了目标跟踪的相关工作，并进行了分析和展望。
第一章目标跟踪基本原理与机动目标模型1.1 引言目标跟踪问题作为科学技术发展的一个方面，设计的主要目的是可靠而精确的跟踪目标，其历史可以追溯到第二次世界大战前夕，即1937 年世界上出现第一部跟踪雷达站SCR-28 的时候、之后各种雷达、红外、声纳和激光等目标跟踪系统相继得到发展并且日趋完善。传统的跟踪系统是一对一系统，即一个探测器仅连续地瞄准和跟踪一个目标。随着科学技术的进步和现代战略战术的发展，人们发现提出新的目标跟踪概念和体制是完全可能的，在过去20 多年中，多目标跟踪的理论和方法已经获得很大发展，并已成为当今国际上十分活跃的热门研究领域之一，有些成果也已付诸于工程实际。简单地说，目标跟踪问题可以划分为下列四类：一个探测器跟踪一个目标（OTO）一个探测器跟踪多个目标（OTM）多个探测器跟踪一个目标（MTO）多个探测器跟踪多个目标（MTM）1.2 目标跟踪的基本原理1.2.1 单机动目标跟踪基本原理发展现代边扫描边跟踪（TWS）系统的目的是，仅在一个探测器条件下同时跟踪多个目标。然而，为达此目的，边扫描边跟踪系统必须首先很好地跟踪单个目标。一般地说，常速直线运动目标的跟踪与估计问题较为简单，而且易于处理。困难的情况表现在被跟踪目标发生机动，即目标速度的大小和方向发生变化的场合。图 1.1 为单机动目标跟踪基本原理框图。图中目标动态特性由包含位置、速度和加速度的状态向量X 表示，量测（观测）量Y 被假定为含有量测噪声V 的状态向量1的线性组合（HX＋V）；残差（新息）向量 d 为量测（Y）与状态预测量H X k k 之差。我们约定，用大写字母XY 表示向量，小写字母xy表示向量的分量。一般情况下，单机动目标跟踪为一自适应滤波过程。首先由量测（观测）量（Y）和状态预1测量H X k 构成残差（新息）向量d，然后根据d 的变化进行机动检测或者机k动辨识．其次按照某一准则或逻辑调整滤波增益与协方差矩阵或者实时辨识出目标机动特性，最后由滤波算法得到目标的状态估计值和预测值，从而完成单机动目标跟踪功能。图 1.1 单机动目标跟踪基本原理框图1.2.2 单机动目标跟踪基本要素单机动目标跟踪基本要素主要包括量测数据形成与处理，机动目标模型，机动检测与机动辨识，滤波与预测以及跟踪坐标系和滤波状态变量的选取。现分别简述之。1.2.2.1 量测数据形成与处理量测数据通常指来自探测器输出报告的所有观测量的集合。这些观测量一般包括目标运动参数，如位置和速度，目标属性，目标类型，数目或形成以及获取量测量的时间序列等。在单机动目标跟踪技术中，量测数据主要指目标运动学参数。量测数据既可以等周期获取，也可以变周期获取。在实际问题中常常遇到等速，为了提高目标状态率数据采集。量测数据大多含有噪声和杂波（多目标检测情况）估计精度，通常采用数据预处理技术以提高信噪比。目前常用的方法有数据压缩，包括等权和变权预处理以及量测资料中野值的剔除方法等技术。1.2.2.2 机动目标模型众所周知，估计理论特别是卡尔曼滤波理论要求建立数学模型来描述与估计问题有关的物理现象。这种数学模型应把某一时刻的状态变量表为前一状态变量的函数。所定义的状态变量应为能够全面反应系统动态特性的一组维数最少的变量。一般地，状态变量与系统的能量有关，譬如在目标运动模型中，状态变量中所包含的位置元素与势能有关，速度元素与动能有关。在目标模型构造过程中，考虑到缺乏有关目标运动的精确数据以及存在着许多不可预测的现象，如周围环境的变化及驾驶员主观操作等，只是需要引入状态噪声的概念。当目标作匀速直线运动时，加速度常常被看作是具有随机特性的扰动输入（状态噪声），并假设其服从零均值白色高斯分布，这时，卡尔曼滤波可直接使用。当目标发生诸如转弯或逃避等机动现象时，上述假设则不尽合理，机动加速度变成为非零均值时间相关的有色噪声。此时，为满足滤波需要常常采用白化噪声和状态增广方法。机动目标模型除了考虑加速度非零均值时间相关噪声假设外，还要考虑加速度的分布特性。客观上，要求加速度函数应尽可能的描述目标机动的实际情况。从目前的机动目标模型来看，所有建模方法均考虑了目标发生机动的可能性，并建立了一种适合任何情况和任何类型目标的机动模型，我们称这种模型为全局统计模型，其典型代表是传统的Singer 模型。然而，根据全局统计模型思想，每一种具体战术情况下的每
摘要 基于视频图像序列的目标运动轨迹提取技术是已经成为精确制导武器的关键技术之一，能够提高武器打击精度及力度；同时更能体现目标跟踪监控系统的智能化和自动化。而在众多模式下的基于视频图像序列的轨迹提取技术中，基于固定参照物视场变动模式的轨迹测量技术不受相机视野限制，能够有效地扩大目标跟踪范围，更有着重要的研究意义和工程应用价值。 固定参照物视场变动模式的轨迹测量技术要求相邻两帧之间必须具有一定的重复。由于运动目标瞬时空间位置坐标是通过相对前一时刻空间位置坐标的相对变化得到，因此存在轨迹计算的累积误差较大的问题，同时由于目标体运动过程中的姿态变化、参照环境的复杂性等因素，导致轨迹计算的精度很难得到保证。 本论文针对固定参照物视场变动模式下运动目标轨迹提取问题进行深入研究，设计开发了基于视频图像序列的目标运动轨迹提取系统，针对目标在运动过程中的姿态变化导致的相机坐标系变化问题，提出了成像系统外参实时校正方法，通过陀螺仪获取的数据和空间坐标系变换关系对相机姿态角参数实时校正；针对SIFT特征匹配算法中的欧式距离无法自适应调节问题，提出了多目标优化的SIFT特征匹配算法，建立了以相关系数和特征点之间的欧氏距离为目标函数，以置信度为约束条件的多目标优化模型，减少了特征点的误配率；最后通过车载CCD实验对系统功能和精度进行验证，数据表明该系统能够精确的实现运动目标的轨迹测量，并具有较强的适应性和可靠性。
1绪论 1.1课题研究背景及意义 基于视频图像序列的目标运动轨迹提取技术是动态视觉领域中一个具有重要意义和实际价值的研究课题。目标运动轨迹是反映一段时间内目标的运动路线，它的精确提取能够实现测量和分析目标的运动参数、运动行为评估等。在军事领域中，该技术已经成为精确制导武器的一项关键技术，它能够有效地提高武器的打击精度，强化武器的打击力度；同时在民用领域，以该技术为基础建立的人机交互系统，能够实现运动目标的智能跟踪、行为监管等，真正地体现运动目标监控系统的自动化和智能化。因此无论在民用上还是在军事领域中，该技术的研究都具有较强的理论意义和研究价值。 目前基于视频图像序列的目标运动轨迹提取技术根据相机视场和参照物的不同可分为固定视场内参照物运动、变化视场内参照物运动和固定参照物视场变动情况下的运动目标跟踪及轨迹检测。固定视场内参照物运动方式中，相机及其视野固定，对视野内的运动目标进行跟踪检测，具有空间和时间上的区域限制，仅能得到固定区域、固定时间段中的目标运动轨迹；变化视场内参照物运动是对固定视场方式的一种改进，通过云台等
0引言 视觉跟踪是计算机视觉中引人瞩目且快速发展的领域,主要用于获取运动目标的位置、姿态、轨迹等基本运动信息,是理解服务对象或对目标实施控制的前提和基础。其涉及许多具有挑战性的研究热点并常和其他计算机视觉问题结合出现,如导航制导、事件检测、行为识 别、视频监控、自动驾驶、移动机器人等[1-4]。虽然跟踪方法取得了长足进展,但由于遮挡、目标的平面内/外旋 转、快速运动、模糊、光照及变形等因素的存在使其仍然是非常具有挑战性的工作。 近年来,基于相关滤波器CF(Correlation Filter)的跟踪 方法得到了极大关注[5-9]。CF 最大的优点是计算效率高,这归结于其假设训练数据的循环结构,因为目标和候选 区域能在频域进行表示并通过快速傅里叶变换(FFT)操作。Bolme [6]等首次将CF 应用于跟踪提出MOSSE 算法,其利用FFT 的快速性使跟踪速度达到了600-700fps 。瑞典林雪平大学的Martin Danelljan 在2016年ECCV 上提出的相关滤波器跟踪算法C -COT [7]取得了VOT2016竞赛冠军,2017年其提出的改进算法ECO [8]在取得非常好的精度和鲁棒性的同时,显著提高运算速度至C-COT 的6倍之多。 基于CF 的跟踪算法如此优秀,已然成为研究热点。近年和相关滤波有关的论文层出不穷,很有必要对这些论文及相关滤波的发展等进行一个归纳和总结,以推动该方向的发展。文献[9]虽已做过综述并取得了一定效果,但有两点不足:(1)过多介绍现有几种方法的具体细节,没有对更多文献进行对比分析;(2)缺乏对基于相关滤波器跟踪方法的分类对比分析。基于此,本文的不同 ?基金项目:陕西理工大学科研项目资助(SLGKY16-03) 基于相关滤波器的目标跟踪方法综述? 马晓虹1,尹向雷 2 (1.陕西理工大学电工电子实验中心,陕西汉中723000;2.陕西理工大学电气工程学院,陕西汉中723000) 摘要:目标跟踪是计算机视觉中的重要组成部分,广泛应用于军事、医学、安防、自动驾驶等领域。虽然取得了很大进展,但由于遮挡、快速运动、模糊、光照及变形等因素存在,其仍是具有挑战性的研究领域。近年来,属于判别式类型的相关滤波器跟踪方法由于具有非常高的处理速度备受关注。首先介绍了目标跟踪和相关滤波器的基本知识,之后对相关滤波器方法在朴素阶段、循环结构和核技巧、多特征通道、与深度特征的结合、尺度研究、边界效应以及其他信息的利用方面进行了详述,最后对基于相关滤波器方法的研究方向和发展趋势给出了几点看法。关键词:计算机视觉;目标跟踪;相关滤波器中图分类号:TP391 文献标识码:A DOI :10.16157/j.issn.0258-7998.174811 中文引用格式:马晓虹,尹向雷.基于相关滤波器的目标跟踪方法综述[J].电子技术应用,2018,44(6):3-7,14. 英文引用格式:Ma Xiaohong ,Yin Xianglei.Method of object tracking based on correlation filters :a survey[J].Application of Elec-tronic Technique ,2018,44(6):3-7,14. Method of object tracking based on correlation filters :a survey Ma Xiaohong 1,Yin Xianglei 2 (1.Electrical and Electronic Experiment Teaching Center ,Shannxi University of Technology ,Hanzhong 723000,China ; 2.School of Electrical Engineering ,Shannxi University of Technology ,Hanzhong 723000,China) Abstract :Object tracking is an important part in computer vision and is widely used in military,medical,security and autonomous driving.Although great progress has been made,it is still a challenging research field due to the factors such as occlusion,rapid speed,motion blur,illumination and deformation.In recent years,the correlation filter tracking method,one of discriminant type,has attracted much attention due to its higher processing speed.We first introduces the basic knowledge of the object tracking and the correlation filter tracking,and the correlation filter tracking methods in simple stage,we also discussed the circular structure and the kernel trick,the combination of multiple feature channels and deep feature,scale research,boundary effect and the use of other information.Finally,the research direction and development trend of the method based on the correlation filter is given.Key words :computer vision ;object tracking ;correlation filter
图像目标跟踪技术 ?作者：王鑫，徐立中著 ?出版社：人民邮电出版社 ?出版时间：2012-12-1 ?版次：1页数：178字数：221000 ?印刷时间：2012-12-1开本：16开纸张：胶版纸 ?印次：1I S B N：9787115288974包装：平装 内容推荐 《图像目标跟踪技术》系统阐述了图像目标跟踪的有关概念、原理和方法，共分9章，第1章介绍图像目标跟踪的意义、应用及分类，第2章介绍非线性优化序贯拟蒙特卡洛滤波，第3章介绍融合背景信息的序贯拟蒙特卡洛滤波目标跟踪，第4章讨论基于概率图模型的粒子滤波多目标跟踪，第5章介绍基于序贯拟蒙特卡洛滤波的多摄像机目标跟踪，第6章介绍基于信息融合技术的目标跟踪，第7章讨论受机械参数影响的多摄像机深度估计，第8章介绍基于自适应多信息融合的均值漂移红外目标跟踪，第9章介绍融合均值漂移和粒子滤波优点的实时目标跟踪。本书是图像目标跟踪方面的专著，反映作者近年来在这一领域的主要研究成果。《图像目标跟踪技术》内容新颖，理论联系实际，可作为大专院校及科研院所图像处理、计算机视觉和视频处理等领域的高年级本科生、研究生的教学和参考用书，也可供相关领域的教师、科研人员及工程技术人员作参考。 目录 第1章绪论 1.1 图像目标跟踪的意义和应用 1.2 单摄像机目标跟踪 1.2.1 目标表示模型 1.2.2 目标动态模型 1.2.3 目标状态估计模型 1.3 多摄像机目标跟踪 1.3.1 目标匹配 1.3.2 摄像机标定及拓扑关系估计 1.3.3 数据关联 1.4 红外图像中目标的跟踪 1.5 智能视频监控系统 1.5.1 智能视频监控的背景和意义 1.5.2 智能视频监控系统 参考文献 第2章非线性优化序贯拟蒙特卡洛滤波 2.1 引言 2.2 基于贝叶斯框架的跟踪问题描述 2.2.1 贝叶斯滤波的蒙特卡洛实现 2.2.2 贝叶斯滤波的拟蒙特卡洛实现 2.3 非线性优化序贯拟蒙特卡洛滤波 2.3.1 信赖域方法 2.3.2 基于信赖域的序贯拟蒙特卡洛滤波算法 2.4 实验与分析 2.4.1 非线性动态模型 2.4.2 二维点目标跟踪中的应用
雷达机动目标跟踪技术 研究精编 Document number：WTT-LKK-GBB-08921-EIGG-22986
1 绪论 课题背景及目的 目标跟踪问题实际上就是目标状态的跟踪滤波问题，即根据传感器已获得的目标量测数据对目标状态进行精确的估计[1]。它是军事和民用领域中一个基本问题，可靠而精确地跟踪目标是目标跟踪系统设计的主要目的。在国防领域，目标跟踪可用于反弹道导弹的防御、空防预警、战场区域监视、精确制导和低空突防等。在民用领域，则用于航空和地面交通管制、机器人的道路规划和障碍躲避、无人驾驶车的跟踪行驶、电子医学等。作为科学技术发展的一个方面，目标跟踪问题可以追溯到第二次世界大战的前夕，即1937年世界上出现第一部跟踪雷达站SCR-28的时候。之后，许多科学家和工程师一直努力于该项课题的研究，各种雷达、红外、声纳和激光等目标跟踪系统相继得到发展并且日趋完善。 运动目标的机动会使跟踪系统的性能恶化，对机动目标进行跟踪是人们多年来一直关注的问题。随着现代航空航天技术的飞速发展，机动目标在空间飞行的速度、角度、加速度等参数不断变化，使得目标的位置具有很强的相关性，因此，提高对这类目标的跟踪性能便成为越来越重要的问题，迫切需要研究更为优越的跟踪滤波方法。机动目标的跟踪研究，已成为当今电子战的研
究热点之一。今天，精密跟踪雷达不仅广泛应用于各类武器控制和各类实验靶场，而且还广泛应用于各种空间探测、跟踪和识别领域，以及最先进的武器控制系统。 跟踪模型和匹配滤波是机动目标跟踪的两个关键部分，机动目标的精确跟踪在过去和现在都是一个难题，最根本原因在于跟踪滤波采用的目标动力学模型和机动目标实际动力学模型不匹配，导致跟踪滤波器发散，跟踪性能严重下降。本文将机动目标作为研究对象，从目标的运动建模和匹配滤波算法入手，提出或修正跟踪算法，从而实现对机动目标的精确跟踪。 机动目标跟踪技术及其发展状况 目标机动是指运动当中的目标，其运动方式在不断地发生变化，从一种形式变化为另一种形式，目标的运动可能从匀速到变速，也可能送直线到转弯，它的运动方式并不会从一而终。通俗地说，就是“目标速度的大小和方向发生变化”。 一般情况下，机动目标跟踪方法概括来讲可以分为以下两类：具有机动检测的跟踪算法和无需机动检测的自适应跟踪算法。机动目标的跟踪需要综合运用统计决策、滤波算法以及其它的数学方法，将传感器所接受到的信号数据进行处理，得到目标的位置、速度、加速度等估计信息。图给出了机动目标跟踪的基本原理图。
《图像检测、跟踪与识别技术》论文 论文题目： 图像检测、跟踪与识别技术与现代战争 专业：探测制导与控制技术 学号：35152129 姓名：刘孝孝
目标检测、跟踪与识别技术与现代战争 【摘要】本文讨论目标检测、跟踪与识别技术在现代战争各个领域中的应用，总结目标识别技术的发展方向，提出目标识别技术工程化实现方法，同时本文介绍了国外目标识别的现状及发展趋势，提出了现代战争应采用综合识别系统解决目标识别问题的建议。 关键词目标检测；目标跟踪；目标识别；雷达；人工神经网络；精确制导 1．引言 随着现代科学技术的飞速发展及其在军事领域内日益广泛的应用，传统的作战思想、作战方式已发生根本性的变化。从第一次海湾战争到科索沃战争，特别是刚刚结束的海湾战争，空中精确打击和空地一体化作战已经成为最重要的作战形式。集指挥、控制、通信、计算机、情报、监视侦察于一体的C ISR 已成为取得战场主动权，赢得最后胜利的关键因素。目标识别技术是雷达智能化、信息化的重要技术支撑手段。在现代化战争中，目标识别技术在预警探测、精确制导、战场指挥和侦察、敌我识别等军事领域都有广泛的应用前景，已受到了世界各国的关注。 现代战争中取得战场制信息权的关键之一是目标属性识别。现代战争的作战环境十分复杂，作战双方都在采用相应的伪装、隐蔽、欺骗和干扰等手段和技术，进行识别和反识别斗争。因此仅仅依靠一种或少数几种识别手段很难准确地进行目标识别，必须利用多个和多类传感器所收集到的多种目标属性信息，综合出准确的目标属性，进行目标检测，跟踪后进行识别。 2．目标检测、跟踪与识别技术在现代战争中的应用 2．1 目标检测、跟踪与识别技术在预警探测上的应用 目标检测、跟踪与识别技术对于弹道导弹的预警工作有重要的作用。弹道导弹一般携带多个弹头，其中可能包含核弹头或大规模杀伤的弹头以及常规弹头，预警雷达必须具备对目标进行分类和识别真假弹头的能力，将核弹头或大规模杀伤的弹头分离出来，为弹道导弹防御(BMD)系统进行目标攻击和火力分配提供依据。早期的BMD系统假设只有一个核弹头，多弹头分导技术的出现，使问题转化为雷达的多目标识别问题，加上电子对抗技术的广泛使用，给目标识别技术带来很大困难。另外，预警雷达还要对空中目标或低空目标进行探测，对来袭目标群进行分类识别。利用星载雷达以及远程光学望远镜等观测设备，可以对外空目标进行探测，对外空来袭目标进行分类和识别，达到早期预警的工作。 2．2 目标检测、跟踪与识别技术在精确制导上的应用 精确制导方式很多，包括主动式、半主动式和被动式寻的制导方式，通过设在精确制导武器
实验六、目标跟踪算法设计与实现 一、实验目的 1、熟悉各种图像预处理方法，如直方图处理、图像去噪声、图像增强与复原、图像变换等，了解这些方法在图像分析与识别、目标检测及跟踪等各种应用中所起的作用。 2、熟悉基本的图像分割原理。 3、能够利用matlab工具完整实现从图像预处理、图像分割、特征提取与分析及各种实际应用的完整流程。 4、该实验为一个综合设计及应用的实验，目的是要求学生综合利用学到的光电图像处理知识，解决图像识别、目标检测及目标定位与跟踪问题。进一步深入理解光电图像处理的重要性，提高学生利用光电图像处理基本理论、方法等解决实际问题及提高分析问题的能力。 二、实验内容 (一)序列图像中的运动目标形心跟踪 1、序列图像的读取与显示 本实验提供了200帧的图像序列，为BMP文件，文件名后缀的序号按场景出现的先后顺序排列，序列图像读取及显示。 2、图像分割 首先对图像进行必要的阈值分析，确定合适的阈值后，再对图像进行二值化处理（图像分割）。 3、形心计算 在分割的单帧图像上，计算图像的形心坐标（Xc，Yc）,确定目标在
像素平面上的位置。 4、形心跟踪 1)确定跟踪波门：即以形心位置为中心，在图像中包含目标的区域添加一个合适的矩形框 2）实时跟踪：循环读取序列图像，对每帧图像均计算形心，和进行包含目标区域的波门绘制。实现对200帧序列图像中运动目标的实时稳定跟踪，如图1所示（仅为示意图，并非原图）。 实验结果：通过合适的波门选择和阈值修正，基本实现了200帧的连续跟踪，跟踪的效果较好，如下图所示：
源码： clear;clc;close all path='C:\1\'; filecount=200; for i=1:filecount name=num2str(i); if i<=9 filename=strcat('0000000',name,'.bmp'); elseif i<=99 filename=strcat('000000',name,'.bmp'); elseif i<=199 filename=strcat('00000',name,'.bmp'); end I=imread([path filename]); I1=imcrop(I,[0,0,505,272]); I2=mat2gray(I1); figure(1),imshow(I2); level=graythresh(I2);%%求二值化的阈值[height,width]=size(I2); Level_fixed=level-0.05;%%阈值修正 bw=im2bw(I1,Level_fixed);%%二值化图像 figure(3),imshow(bw);%%显示二值化图像 [L,num]=bwlabel(bw,8);%%标注二进制图像中已连接的部分plot_x=zeros(1,1);%%用于记录质心位置的坐标 plot_y=zeros(1,1); sum_x=0;sum_y=0;area=0; [height,width]=size(bw);
1引言 目标跟踪可分为主动跟踪和被动跟踪。视频目标跟踪属于被动跟踪。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。这些优点使得视频目标跟踪测量在靶场光电测量、天文观测设备、武器控制系统、激光通信系统、交通监控、场景分析、人群分析、行人计数、步态识别、动作识别等领域得到了广泛的应用[1-2]。 根据被跟踪目标信息使用情况的不同，可将视觉跟踪算法分为基于对比度分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。基于对比度分析的跟踪算法主要利用目标和背景的对比度差异，实现目标的检测和跟踪。基于匹配的跟踪主要通过前后帧之间的特征匹配实现目标的定位。基于运动检测的跟踪主要根据目标运动和背景运动之间的差异实现目标的检测和跟踪。前两类方法都是对单帧图像进行处理，基于匹配的跟踪方法需要在帧与帧之间传递目标信息，对比度跟踪不需要在帧与帧之间传递目标信息。基于运动检测的跟踪需要对多帧图像进行处理。除此之外，还有一些算法不易归类到以上3类，如工程中的弹转机跟踪算法、多目标跟踪算法或其他一些综合算法。2基于对比度分析的目标跟踪算法基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。这类算法按照跟踪参考点的不同可以分为边缘跟踪、形心跟踪和质心跟踪等。这类算法不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合（如要求跟踪目标的左上角或右下角等）有其独到之处。缺点是跟踪点易受干扰，跟踪随机误差大。重心跟踪算法计算简便，精度较高，但容易受到目标的剧烈运动或目标被遮挡的影响。重心的计算不需要清楚的轮廓，在均匀背景下可以对整个跟踪窗口进行计算，不影响测量精度。重心跟踪特别适合背景均匀、对比度小的弱小目标跟踪等一些特殊场合。图像二值化之后，按重心公式计算出的是目标图像的形心。一般来说形心与重心略有差别[1-2]。 3基于匹配的目标跟踪算法 3.1特征匹配 特征是目标可区别与其他事物的属性，具有可区分性、可靠性、独立性和稀疏性。基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的 文章编号：1002－8692（2010）12-0135-04 视频目标跟踪算法综述* 蔡荣太1，吴元昊2，王明佳2，吴庆祥1 （1.福建师范大学物理与光电信息科技学院，福建福州350108； 2.中国科学院长春光学精密机械与物理研究所，吉林长春130033） 【摘要】介绍了视频目标跟踪算法及其研究进展，包括基于对比度分析的目标跟踪算法、基于匹配的目标跟踪算法和基于运动检测的目标跟踪算法。重点分析了目标跟踪中特征匹配、贝叶斯滤波、概率图模型和核方法的主要内容及最新进展。此外，还介绍了多特征跟踪、利用上下文信息的目标跟踪和多目标跟踪算法及其进展。 【关键词】目标跟踪；特征匹配；贝叶斯滤波；概率图模型；均值漂移；粒子滤波 【中图分类号】TP391.41；TN911.73【文献标识码】A Survey of Visual Object Tracking Algorithms CAI Rong-tai1,WU Yuan-hao2,WANG Ming-jia2,WU Qing-xiang1 （1.School of Physics,Optics,Electronic Science and Technology,Fujian Normal University,Fuzhou350108,China; 2.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Science,Changchun130033,China）【Abstract】The field of visual object tracking algorithms are introduced,including visual tracking based on contrast analysis,visual tracking based on feature matching and visual tracking based on moving detection.Feature matching,Bayesian filtering,probabilistic graphical models,kernel tracking and their recent developments are analyzed.The development of multiple cues based tracking,contexts based tracking and multi-target tracking are also discussed． 【Key words】visual tracking;feature matching;Bayesian filtering;probabilistic graphical models;mean shift;particle filter ·论文·*国家“863”计划项目（2006AA703405F）；福建省自然科学基金项目（2009J05141）；福建省教育厅科技计划项目（JA09040）
《图像处理技术》大作业1 作业题目 基于图像的动态景物的监测与跟踪 2 作业数据 （1）短视频背景相同，一个目标运动； （2）短视频（或5张图片），背景相同，多个目标运动； （3）验证数据自己提供（彩色、灰度图像不限）； 3 作业完成目标 动态目标的定位与跟踪，并用方框提示并给出运动轨迹 能正确检测运动目标； 多个目标的识别率； 4 程序设计 1、界面设计：
2、“打开”按钮功能设计： 打开图片组的第一张图片并在左边显示： [name,path]=uigetfile('*.jpg;*.bmp;*.png;*.tif;*.gif','Open Image'); file=[path,name]; %读取第一张图片路径 axes(handles.image1); %选择在左窗口显示 x=imread(file); %读取第一张图片 handles.img=x; guidata(hObject,handles); imshow(x); %显示第一张图片 global F; %全局变量F F=name(1:end-5); %F为文件名编号前的字符 global N; %全局变量N N=7; %N为图片组中图片总数量 3、“播放”按钮功能设计： 读取图片组中所有的图片，并按一定间隔时间显示，形成动画效果： global F; global N; axes(handles.image1); %选择在左窗口显示 for i=1:N %循环读出图片，形成动画效果 f=int2str(i); I=strcat(F,f,'.jpg');%联接文件名 a=imread(I); %读取图片 imshow(a); %显示图片 axis off %关闭坐标轴 pause(0.8); %每显示一张图片暂停0.8秒 end 4、“目标追踪”按钮功能设计： 读取图片，将图片转成二值图像，利用两张二值图像的异或求得目标，在目标图像中求得目标的边框与质心，利用求得的边框画出目标的位置，利用存储的质心画出目标移动轨迹： global F; global N; x=handles.img; axes(handles.image2); %选择在右窗口显示 s=size(x); %获取图片大小 A=uint8(zeros(s(1),s(2),1,N)); s=size(A); %获取图片组数组的大小