专业硕士研究生实践训练环节视频运动目标检测与跟踪 学院：信息科学与工程学院 专业： 姓名： 学号： 授课老师： 日期：2017
目录 1 课程设计的目的和意义 (1) 1.1 课程设计的目的 (1) 1.2 课程设计的意义 (1) 2 系统简介及说明 (2) 3 设计内容和理论依据 (2) 3.1 基于Mean Shift的跟踪算法 (3) 3.1.1 RGB颜色直方图 (3) 3.1.2 基于颜色和纹理特征的Mean Shift跟踪算法 (3) 3.2 基于颜色特征的粒子滤波跟踪算法 (4) 3.2.1 贝叶斯重要性采样 (4) 3.2.2 序列重要性采样 (5) 3.2.3 粒子退化现象和重采样 (6) 3.2.4 基本粒子滤波算法 (6) 4 流程图 (7) 4.1 Mean Shift跟踪算法流程图 (7) 4.2 粒子滤波跟踪算法流程图 (7) 5 实验结果及分析讨论 (8) 5.1 基于Mean Shift的跟踪算法仿真结果 (8) 5.2 基于颜色特征的粒子滤波算法仿真结果 (9) 6 思考题 (10) 7 课程设计总结 (10) 8 参考文献 (10)
1 课程设计的目的和意义 1.1 课程设计的目的 随着计算机技术的飞速发展、信息智能化时代的到来，安防、交通、军事等领域对于智能视频监控系统的需求量逐渐增大。视频运动目标跟踪是计算机视觉领域的一个研究热点，它融合了人工智能、图像处理、模式识别以及计算机领域的其他先进知识和技术。在军事视觉制导、安全监测、交通管理、医疗诊断以及气象分析等许多方面都有广泛应用。同时，随着视频摄像机的普及化，视频跟踪有着广泛的应用前景，对城市安全起到了防范作用，并且和我们的生活息息相关。 从目前国内外研究的成果来看，对于运动目标的跟踪算法和技术主要是针对于特定环境提出的特定方案，大多数的跟踪系统不能适应于场景比较复杂且运动目标多变的场景。并且在视频图像中目标的遮挡、光照对颜色的影响、柔性刚体的轮廓变化等将严重影响目标的检测与跟踪。因此如何实现一个具有鲁棒性、实时性的视觉跟踪系统仍然是视觉跟踪技术的主要研究方向。 Mean Shift算法的主要优点体现在：计算简单、便于实现；对目标跟踪中出现的变形和旋转、部分遮挡等外界影响，具有较强的鲁棒性。缺点在于：算法不能适应光线变化等外界环境的影响；当目标尺度发生变化时，算法性能受到较大的影响。粒子滤波适用于非线性、非高斯系统，在诸如机动目标跟踪、状态监视、故障检测及计算机视觉等领域有其独到优势，并得到了广泛研究。但粒子滤波算法本身还不够成熟，存在粒子匮乏、收敛性等问题。因为跟踪机动目标需要对目标的运动特性有一定了解，因此，目标跟踪的难点之一在于目标模型的建立及其与跟踪方法的匹配上，这是提高跟踪性能的关键。 1.2 课程设计的意义 图像处理(image processing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。图像处理技术的主要内容包括图像压缩，增强和复原，匹配、描述和识别3个部分。常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。图像处理一般指数字图像处理。虽然某些处理也可以用光学方法或模拟技术实现,但它们远不及数字图像处理那样灵活和方便,因而数字图像处理成为图像处理的主要方面。 随着计算机的发展，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程。其目的是进一步巩固数字图像的基本概念、理论、分析方法和实现方法。 1
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910174796.5 (22)申请日 2019.03.08 (71)申请人 广州二元科技有限公司 地址 510000 广东省广州市南沙区银锋一 街1号银锋广场1栋1608房 (72)发明人 容李庆 关毅 袁亚荣 (74)专利代理机构 广州凯东知识产权代理有限 公司 44259 代理人 罗丹 (51)Int.Cl. G06T 7/246(2017.01) G06K 9/00(2006.01) G06K 9/32(2006.01) (54)发明名称 一种视频实时目标跟踪的方法 (57)摘要 本发明涉及一种视频实时目标跟踪的方法， 采用目标检测与目标跟踪相结合的技术，极大地 降低视频实时目标检测的计算量，由于无需对每 一帧视频图像进行遍历检测，因此极大地提高了 视频实时目标检测的计算效率，可以达到实时视 频的帧率。本发明提供的视频实时目标跟踪的方 法使用神经网络对目标检测器检测出来的目标 框在下一帧图像中的位置进行跟踪回归，极大地 降低了视频实时目标检测的计算量，无需对每一 帧图像都采用检测器检测目标，采用检测与跟踪 相结合的技术应用于视频实时目标检测中，无需 对输入图像进行复杂的降噪等处理，对目标检测 器也无特殊需求，可以大大提升检测的速率，本 发明适用性广，可以在低端的嵌入式设备中保证 足够的计算效率。权利要求书1页 说明书2页 附图1页CN 109919979 A 2019.06.21 C N 109919979 A
权 利 要 求 书1/1页CN 109919979 A 1.一种视频实时目标跟踪的方法，其特征在于包括以下步骤： 1)、通过硬件设备摄像头采集实时的视频作为输入，或者直接输入包含多帧的视频文件； 2)、分解视频，以单帧为单位对视频进行分解； 3)、将不同的数字图像矩阵格式转化为目标检测器支持的数字图像矩阵格式； 4)、输入1帧数字图像矩阵到目标检测器中，检测器通过计算后返回的检测结果以数组的方式进行保存，数组的长度是检测到的目标数量大小； 5)、根据当前输入帧获得的目标检测框作为下一帧图像的目标基础框，采用神经网络对当前帧目标框在下一帧图像的位置进行回归计算，得到下一帧图像的目标检测框信息，如果下一帧检测框信息不为空，则在接下来的帧图像中循环执行当前步骤；若下一帧目标框信息为空，则跳转到步骤4对接下来的帧图像重新调用目标检测器进行目标检测直到视频帧处理结束。 2.根据权利要求1所述的一种视频实时目标跟踪的方法，其特征在于： 所述步骤3)在步骤1)输入视频的时候进行统一的转换。 2
HXT智能图像 定位跟踪切换系统V1.0 使用说明
目录 前言 ...................................................................................................................... I I 第一章外观及硬件 . (3) 1.1外观及硬件说明 (3) 1.1.1 开箱须知 (3) 1.1.2 主机规格 (3) 1.1.3 定位摄像机规格 (4) 1.2接口说明 (4) 1.3跟踪机实物 (5) 1.4跟踪机指示灯说明 (5) 1.5跟踪机线缆连接说明 (6) 1.5.1 定位摄像机图像输入连接 (6) 1.5.2 其他接口连接 (7) 第二章软件操作说明 (8) 2.1配置概述 (8) 2.1.1 特别说明 (8) 2.1.2 概述说明 (8) 2.2软件配置 (9) 2.2.1 详细配置 (9) 2.2.2 配置向导 (17) 2.2.3 高级配置 (21) 2.2.4 专业云台配置 (26) 2.2.5 网络设置 (27) 2.2.6 图像跟踪调试 (28) 2.2.7 手动导播控制 (29) 第三章附录 (30) 3.1VISCA RS-232C规格 (30)
前言 感谢您使用智能图像跟踪系统！ 本手册将帮助您对智能图像跟踪系统的安装及使用进行了解；帮助您排除智能图像跟踪系统在使用过程中的常见故障。在使用该系统之前，请仔细阅读本手册，这将有助于您更好地使用它。请将本手册保存好，以备随时查阅。 本手册在编排时力求清晰、全面，但因各种原因，未曾意识到的疏漏在所难免，如果您在使用手册的过程中发现错误或不明确的地方，请速与产品经销商联系。 为了最大可能地满足您的需求，同时能很好地适应市场发展的需要，我们将会不断地对硬件和软件作相应的升级和改动。当硬件和软件作相应的升级和改动出现实际情况与本手册不一致的地方，请您及时向经销商咨询，恕不另行通知。 感谢您对智能图像跟踪系统及相关产品的信任！
动态视频目标检测和跟踪技术 传统电视监控技术只能达到“千里眼”的作用，把远程的目标图像（原始数据）传送到监控中心，由监控人员根据目视到的视频图像对现场情况做出判断。智能化视频监控的目的是将视频原始数据转化为足够量的可供监控人员决策的“有用信息”，让监控人员及时全面地了解所发生的事件：“什么地方”，“什么时间”，“什么人”，“在做什么”。将“原始数据”转化为“有用信息”的技术中，目标检测与跟踪技术的目的是要解决“什么地方”和“什么时间”的问题。目标识别主要解决“什么人”或“什么东西”的问题。行为模式分析主要解决“在做什么”的问题。动态视频目标检测技术是智能化视频分析的基础。 本文将目前几种常用的动态视频目标检测方法简介如下： 背景减除背景减除（Background Subtraction）方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动目标的一种技术。它一般能够提供相对来说比较全面的运动目标的特征数据，但对于动态场景的变化，如光线照射情况和外来无关事件的干扰等也特别敏感。实际上，背景的建模是背景减除方法的技术关键。最简单的背景模型是时间平均图像，即利用同一场景在一个时段的平均图像作为该场景的背景模型。由于该模型是固定的，一旦建立之后，对于该场景图像所发生的任何变化都比较敏感，比如阳光照射方向，影子，树叶随风摇动等。大部分的研究人员目前都致力于开发更加实用的背景模型，以期减少动态场景变化对于运动目标检测效果的影响。 时间差分时间差分（Temporal Difference 又称相邻帧差）方法充分利用了视频图像的特征，从连续得到的视频流中提取所需要的动态目标信息。在一般情况下采集的视频图像，若仔细对比相邻两帧，可以发现其中大部分的背景像素均保持不变。只有在有前景移动目标的部分相邻帧的像素差异比较大。时间差分方法就是利用相邻帧图像的相减来提取出前景移动目标的信息的。让我们来考虑安装固定摄像头所获取的视频。我们介绍利用连续的图像序列中两个或三个相邻帧之间的时间差分，并且用阈值来提取出视频图像中的运动目标的方法。我们采用三帧差分的方法，即当某一个像素在连续三帧视频图像上均有相
目标跟踪算法的分类
主要基于两种思路： a)不依赖于先验知识，直接从图像序列中检测到运动目标，并进行目标识别，最终跟踪感兴趣的运动目标； b)依赖于目标的先验知识，首先为运动目标建模，然后在图像序列中实时找到相匹配的运动目标。 一．运动目标检测 对于不依赖先验知识的目标跟踪来讲，运动检测是实现跟踪的第一步。运动检测即为从序列图像中将变化区域从背景图像中提取出来。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测 （一）静态背景 1.背景差 2.帧差 3.GMM 4.光流 背景减算法可以对背景的光照变化、噪声干扰以及周期性运动等进行建模，在各种不同情况下它都可以准确地检测出运动目标。因此对于固定
个关键技术： a)匹配法则，如最大相关、最小误差等 b)搜索方法，如三步搜索法、交叉搜索法等。 c) 块大小的确定，如分级、自适应等。 光流法 光流估计的方法都是基于以下假设：图像灰度分布的变化完全是目标或者场景的运动引起的，也就是说，目标与场景的灰度不随时间变化。这使得光流方法抗噪声能力较差，其应用范围一般局限于目标与场景的灰度保持不变这个假设条件下。另外，大多数的光流计算方法相当复杂，如果没有特别的硬件装置，其处理速度相当慢，达不到实时处理的要求。 二．目标跟踪 运动目标的跟踪，即通过目标的有效表达，在图像序列中寻找与目标模板最相似候选目标区位置的过程。简单说，就是在序列图像中为目标定位。运动目标的有效表达除了对运动目标建模外，目标跟踪中常用到的目标特性表达主要包括视觉特征 (图像边缘、轮廓、形状、纹理、区域)、统计特征 (直方图、各种矩特征)、变换系数特
一种实时图像目标搜索与跟踪系统设计 一种实时图像目标搜索与跟踪系统设计 1前言 电视图像跟踪器是一种具有简单智能的图像跟踪装置，由于需要逐场(20ms)处理视场中的数据，因此处理的数据量大、算法复杂度高,传统的处理器一般不能满足速度要求，本系统选择美国TI公司TMS320C5416信号处理器为核心，实现了实时采集视场中的图像数据并完成相应的图像处理算法运算的任务。TMS320C5416主频可达160MHz，片内总存储空间为128M×16bit，是一款高性能低功耗通用数字信号处理芯片。该系统能处理50场/秒的，图像分辨率可调的标准电视图像信号。 2.系统硬件框图 图1系统硬件整体结构框图 系统采用双DSP+CPLD构架，系统有两路输入，一路接数字视频信号输入，另外一路从摄像机输入PAL制式的视频信号。双DSP中一个为主DSP，负责处理跟踪算法以及与上位机通信，另外一个从DSP负责实时产生模拟高斯噪声用以检测各种噪声条件下跟踪算法的效果。两个DSP之间通过一个共享双口RAM或HPI进行通信。在场正程图像数据存储到图像SRAM中，主DSP在场逆程从图像双口RAM中读取图像数据到DSP 内部，场正程开始时主DSP开始进行图像处理算法，在下一场逆程主DSP 将处理的结果以及相关数据写入图形显示双口RAM同时开始从SRAM读入下一场数据，DSP处理完成以后在时序电路和视频复合电路配合下将处
理结果显示到监视器上，完成实时图像处理任务。 2.1图像采集模块 图像采集模块的主要功能是获取输入视频信号中的灰度数据和同步时钟，它是后续处理的基准。系统采用同步分离和锁相技术设计，采用分立元件。具体实现是信号从CCD出来后分为两路，一路经同步分离同步分离器LM1881,输出复合同步HS，场同步VS作为后面电路的控制信号，另一路经篏位和直流恢复，然后放大，将图像信号调整到A/D转换器的参考电压范围之内。对行同步信号进行锁相倍频即可得到像素时钟信号，锁相环芯片采用74HC4046。输入视频信号经锁相环锁相输出系统象素时钟提供给A/D变换器使用，得到数字图像数据。 2.2时序电路模块 时序模块主要由一片CPLD(Xilinx公司的95288XL)实现，包括锁相计数、标准视频行场信号生成、DSP的外接存储器接口片选读写信号生成以及部分存储器地址生成、实现图形信号的并串转换、用户自定义I/O等。 2.3通讯接口模块 本系统用到一个异步串口接收PC发送的调试命令，并向PC返回运算结果。 5416提供的串口是一种同步串行接口，并不支持通用异步接收器/发送器(UART)标准，本系统使用MAXIM公司的MAX3100芯片实现同步串口到异步串口的转换。5416使用FSR和FSX作为每次传输的同步信号，FSX作为MAX3100的选通信号。同步接收时钟CLKR和同步发送时钟CLKX在本系统中使用内部的时钟源，并且把CLKX作为MAX3100的同
用openCV实现对视频中动态目标的追踪 第一步，是要建立一个编程环境，然后加载opencv的库路径等等。具体步骤在 https://www.doczj.com/doc/5b2457210.html,/ 的“安装”中有详细介绍。 第二步，建立一个MFC的对话框程序，做两个按钮，一个“打开视频文件”，一个“运动跟踪处理”。 具体操作： 1 建立MFC对话框程序的框架：File ->New -> MFC AppWizard(exe)，选取工程路径，并取工程名“VideoProcesssing”-> Next -> 选择Dialog based后，点Finish,点OK. 2 添加按钮：直接Delete掉界面默认的两个“确定”“取消”按钮。然后添加两个button，分别名为“打开视频”，“运动跟踪处理”，其ID分别设为IDC_OPEN_VIDEO，IDC_TRACKING. 3 添加消息响应函数：双击按钮“打开视频”，自动生成响应函数名OnOpenVideo，点Ok。然后添加如下代码： CFileDialog dlg(true,"*.avi",NULL,NULL,"*.avi|*.avi||"); if (dlg.DoModal()==IDOK) { strAviFilePath = dlg.GetPathName(); }else { return; } 同样，双击“运动跟踪处理”，选择默认的响应函数名，然后添加代码： //声明IplImage指针 IplImage* pFrame = NULL; IplImage* pFrImg = NULL; IplImage* pBkImg = NULL; CvMat* pFrameMat = NULL; CvMat* pFrMat = NULL; CvMat* pBkMat = NULL; CvCapture* pCapture = NULL; int nFrmNum = 0; //打开AVI视频文件 if(strAviFilePath=="") //判断文件路径是否为空 { MessageBox("请先选择AVI视频文件!"); return; }else { if(!(pCapture = cvCaptureFromFile(strAviFilePath))) { MessageBox("打开AVI视频文件失败!"); return;
图像视频跟踪系统 摘要：通过对图像进行阈值处理（图像分割），再对分割后的图像求取形心，以对目标图像进行定位，并最后找到各幅帧图像的目标位置的方法，从而实现对200帧视频图像的实时跟踪。 关键词：阈值处理；视频序列目标跟踪；形心估计 1 引言 视频序列目标跟踪是指对传感器摄取到的图像序列进行处理与分析，充分利用传感器采集得到信息来对目标进行稳定跟踪的过程。一旦目标被确定，就可获得目标的位置、速度、加速度等运动参数，进而获得目标的特征参数。在军事上，视频序列目标跟踪技术广泛应用于精确制导、战场机器人自主导航、无人机着降，靶场光电跟踪等领域。在民用上，该技术在智能视频监控、智能交通管制、医疗影像诊断等方面也有很重要的应用。 视频跟踪目前在国内外都有较广泛的研究和应用，比如2005年，美国中央佛罗里达大学计算机视觉实验室开发出了基于MATLAB的COCOA系统，用于无人机低空航拍视频图像的目标检测与跟踪处理。 2 基于MATLAB的图像跟踪算法 2.1 200帧视频图像的读取 由于视频是由200帧图像通过连续播放从而达到视频的效果的，所以要达到视频放映的效果，应首先对200帧图像序列进行顺序读取。200帧图像存储在MATLAB的默认路径中，文件名为00000xxx.bmp。要达到读取它们的目的，需要使用循环算法。算法由一个名为read_seqim(i)的函数实现，以下是函数的源程序： function I=read_seqim(i) if nargin==0 i=1;min=00000001; end
name=num2str(i); if i<=9 min=strcat('0000000',name,'.bmp'); elseif i<=99 min=strcat('000000',name,'.bmp'); else min=strcat('00000',name,'.bmp'); end I=imread(min); 其中i为读取图像的序号，通过以上的函数可以很方便的实现对200帧图像中任意一帧的读取，从而为后面的处理提供方便。 2.2 图像的阈值处理（图像分割） 阈值(Threshold)，也叫门限。阈值化(Thresholding),即按给定阈值进行图像的二值化处理。阈值分割法可分为以下几种： ?简单阈值分割法; ?多阈值分割法; ?最大类间方差法; ?最佳阈值法。 许多情况，图像是由具有不同灰度级的几类区域组成。如文字与纸张、地物与云层（航空照片）等，阈值分割是利用同一区域的具有某种共同灰度特性进行分割。而用阈值分割法分割图像就是选取一个适当的灰度阈值，然后将图像中的每个像素和它进行比较，将灰度值超过阈值的点和低于阈值的点分别指定一个灰度值，就可以得到分割后的二值图像，此时目标和背景已经得到了分割。阈值分割法简单，快速，特别适用于灰度和背景占据不同灰度级范围的图像。这里我们使用多阈值分割法。 多阈值分割法就是假设一幅图像包含两个以上的不同类型的区域，可以使用几个 门限来分割图象。分割函数如下：2.2.1阈值的确定 01 112 22 ,(,) (,),(,) ,(,) f f x y T g x y f T f x y T f f x y T ≤ ? ? =<≤ ? ?> ?
XXXX大学 《智能机器人》结课论文 移动机器人对运动目标的检测跟踪方法 学院（系）： 专业班级： 学生学号： 学生姓名： 成绩：
目录 摘要 (1) 0、引言 (1) 1、运动目标检测方法 (1) 1．1 运动目标图像HSI差值模型 (1) 1.2 运动目标的自适应分割与提取 (2) 2 运动目标的预测跟踪控制 (3) 2．1 运动目标的定位 (3) 2．2 运动目标的运动轨迹估计 (4) 2．3 移动机器人运动控制策略 (6) 3 结束语 (6) 参考文献 (7)
一种移动机器人对运动目标的检测跟踪方法 摘要：从序列图像中有效地自动提取运动目标区域和跟踪运动目标是自主机器人运动控制的研究热点之一。给出了连续图像帧差分和二次帧差分改进的图像HIS 差分模型，采用自适应运动目标区域检测、自适应阴影部分分割和噪声消除算法，对无背景图像条件下自动提取运动目标区域。定义了一些运动目标的特征分析和计算 ，通过特征匹配识别所需跟踪目标的区域。采用 Kalrnan 预报器对运动目标状态的一步预测估计和两步增量式跟踪算法，能快速平滑地实现移动机器人对运动目标的跟踪驱动控制。实验结果表明该方法有效。 关键词：改进的HIS 差分模型；Kahnan 滤波器；增量式跟踪控制策略。 0、引言 运动目标检测和跟踪是机器人研究应用及智能视频监控中的重要关键技术 ，一直是备受关注的研究热点之一。在运动目标检测算法中常用方法有光流场法和图像差分法。由于光流场法的计算量大，不适合于实时性的要求。对背景图像的帧问差分法对环境变化有较强的适应性和运算简单方便的特点，但帧问差分不能提出完整的运动目标，且场景中会出现大量噪声，如光线的强弱、运动目标的阴影等。 为此文中对移动机器人的运动目标检测和跟踪中的一些关键技术进行了研究，通过对传统帧间差分的改进，引入 HSI 差值模型、图像序列的连续差分运算、自适应分割算法、自适应阴影部分分割算法和图像形态学方法消除噪声斑点，在无背景图像条件下自动提取运动 目标区域。采用 Kalman 滤波器对跟踪目标的运动轨迹进行预测，建立移动机器人跟踪运动 目标的两步增量式跟踪控制策略，实现对目标的准确检测和平滑跟踪控制。实验结果表明该算法有效。 1、运动目标检测方法 接近人跟对颜色感知的色调、饱和度和亮度属性 (H ，S ，I )模型更适合于图像识别处理。因此，文中引入改进 型 HSI 帧差模型。 1．1 运动目标图像HSI 差值模型 设移动机器人在某一位置采得的连续三帧图像序列 ()y x k ,f 1-，()y x f k ,，()y x f k ,1+
运动目标图像的识别与跟踪 本文主要目的是将视频摄像头中的运动目标从背景中提取出来，并加以跟踪。首先考虑的是常见的目标检测的算法，其次考虑对于噪声的滤除，最后是对运动目标的跟踪。 一、基本目标检测算法 我们主要考虑的目标检测的算法主要有三种，光流场法、背景模型法以及时域差分法。 1.1光流场法 光流主要是图像亮度模式的表现运动。而光流场则是指灰度模式的表面运动。一般条件下，我们可以根据图像的运动，进行估算相对运动。 光流场法的基本理论是光流场基本方程： 0=++t y x I vI uI (1.1) 式中我们根据亮度守恒，利用泰勒公式展开，忽略高阶项与二次项。其中x I 、y I 和t I 是图像在对数轴x 、y 两个方向和t 的的导数，()v u ,就是这个点的光流坐标。 光流场法的目标检测，在摄像机运动时候也可以做出判断，但是图像的噪声太过明显，使得计算数据庞杂，计算的公式更加复杂，这样并不适合我们的对于目标跟踪的高精度的摄像系统。 1.2背景模型法 背景模型法，也被称为背景差法，主要利用当前的图像和背景的图像的二值化做差，然后取阈值，分割运动目标。 首先根据： ()()()y x b y x f y x D t t t ,,,-= (1.2) 我们可以得到当前的图像帧数()y x f t ,和背景图像的帧数),(y x b t 做差，然后以公式对图像进行二值化的处理。 ???≤>=)(,0)(,1),(BackGround T D ForeGround T D y x P t t t (1.3) 上面),(y x P t 是二值化模板图。假设某一区域大于一个给定的面积的时候，该区域就是我们要找的目标区域。 背景模型法的算法简单，可以快速反应，并且可以提供运动目标的大略特征等数据。但是对于复杂背景下，比如人流较大的公共场所，或者有光照等干扰时，就需以其他的算法以不断更新背景信息来进行弥补。
人体目标检测与跟踪算法研究 摘要：近些年以来，基于视频中人体目标的检测与跟踪技术研究越来越被重视。然而，由于受到目标自身特征多样性和目标所处环境的复杂性和不确定性的影响，现存算法的性能受到很大的限制。本文对目前所存在的问题进行了分析，并提出了三帧差分法和改进阈值分割法相结合的运动目标检测算法和多特征融合的改进运动目标跟踪算法。这两种算法不仅可以准确有效的检测出运动目标而且能够满足实时性的要求，有效的解决了因光照变化和目标遮挡等情况造成的运动目标跟踪准确度下降或跟踪目标丢失等问题。 关键词：三帧差分，Camshift，阈值分割 Research Based on Human Target Detectionand Tracking Algorithm Abstract: In recent years, human object detection and tracking become more and more important. However the complexity, uncertainty environment and the target’s own diversity limit the performance of existing algorithms. The main works of this paper is to study and analysis the main algorithm of the human object detection and tracking, and proposes a new moving target detection method based on three-frame difference method and threshold segmentation and improved Camshift tracking algorithm based on multi-feature fusion. These algorithm can satisfy the real-time, while accurately and efficiently detect moving targets, and also effectively solves the problem of tracking object lost or misplaced under illumination change or target occlusion. Keywords: three-frame difference, Camshift, threshold segmentation 一、绪论 （一）选题的背景和意义 人类和动物主要通过眼睛来感受和认知外部世界。人类通过视觉所获取的信息占了60%[1]，因此，在开发和完善人工智能的过程中，赋予机器视觉的功能这一操作极不可缺少。完善上述功能需要以许多技术为基础，特别是运动目标的检测与跟踪技术。近些年以来，此技术受到了越来越多的关注[2]。目前，此技术也在各领域得到了充分的应用，涵盖的领域有智能交通、导航、智能视频监控、精确制导、人机交互和多媒体视频编码压缩技术等。
基于图像识别的目标跟踪系统 周立建1茅正冲2 （江南大学，江苏省无锡市 214122） 摘要：研究了在简单的背景下实现对图像的识别和跟踪。系统以ARM微处理器STM32为主控制器。在分析了驱 动电机和目标环境等因素的基础上，选择摄像头捕捉、采集图像并跟踪目标，通过合适的图像识别算法正确地处 理图像信息、识别目标。通过对水平和垂直驱动电机的控制，实现三维目标跟踪。能够实现系统对目标的大范围， 高精度的自动跟踪。 关键词：图像采集；图像信息处理；目标识别；目标跟踪 Target Tracking Based on Image Recognition System (IOT Engineering School of Jiangnan University,Wuxi Jiangsu Province ,214122) Abstract：Studied in the context of a simple implementation of image recognition and tracking. STM32 ARM microprocessor-based system controller. In the analysis of the drive motor and objectives on the basis of environmental factors, select the camera capture, image acquisition and target tracking, image recognition algorithm by an appropriate image processing information correctly, identify the target.Through horizontal and vertical drive motor control, to achieve three-dimensional tracking. System to achieve the target of large-scale, high-precision automatic tracking. Key words：Image acquisition；Image information processing；Target identification；Target tracking 1引言 图像处理技术的高速发展，相应地促进目标识别和跟踪技术的发展。尤其是在不同的环境下，如何实现目标识别和跟踪的稳定，具有很重要的理论价值和实际意义。 嵌入式平台集成度高,支持实时多任务操作系统,符合实时性和小型化的要求，同时克服了基于桌面pc机图像处理系统体积庞大，不具有实时特性等不足，可以面对日益复杂的应用。所以基于嵌入式平台的图像处理系统是未来图像处理系统的发展趋势。随着现代高速处理器的迅猛发展，图像处理技术也日益成熟。其中，移动目标的视频检测与跟踪是图像处理、分析应用的一个重要领域，是当前相关领域的研究前沿。移动目标视频检测与跟踪技术在诸多经济和军事领域有很广泛的应用，发挥重要的作用。 在最近二十几年间，随着计算机技术、VLSI技术和高分辨率传感器技术的迅速更新，图像识别方法已经有了更广泛的应用，如工业上的工业过程控制、自主运载器导航等等，尤其是它具有的许多突出的优点：可获得大量的目标信息(为其他形式的跟踪手段所无法相比)、抗电子干扰能力强、测量(角、面)精度高、保密性好、低空跟踪范围大、使用多种传感器(可见光、红外、微光等)、全天候工作能力强等。利用先进的数字图像处理技术去除许多自然及人为的干扰，加上预测等技术配合使用，可以实现记忆跟踪以及对瞬间丢失的目标再捕获。这种方法大量的运用在军事上的火控、导航、特别是制导方面。然而由于这一课题的发展历史较短而且内容又涉及到图像处理、模式识别和人工智能等多个新兴学科，其理论还很不完善，一些重要的问题尚未解决，新的方法和技巧还有待开发。因此进行有关图像目标识别与跟踪的研究无疑是一项既有理论意义又有实用价值的课题。 本文介绍了一种在简单背景下实现对图像目标的捕捉与跟踪。本系统设计应用了以ARM微处理器STM32为主控制器的嵌入式系统，使用OV7670图像处理器，尽可能达到了实时性与可靠性的要求。系统的工作流程如图1：
《图像探测、跟踪与识别技术》 实验报告 专业：探测制导与控制技术 学号：11151201 姓名：王进 2014 年11月
实验三复杂场景下目标的检测与跟踪 一、实验目的 1. 学习不同目标跟踪算法，对比不同算法对于复杂场景的效果； 2. 学习OpenCV与VS2010的联合编程，提高编程能力。 二、实验要求 1. 要求学生至少使用一种目标跟踪算法对视频中出现的目标进行跟踪； 2. 检验所选算法在复杂场景下的效果； 3. 使用VS2010/2012和OpenCV进行编程； 4. 本实验不要求目标检测，所以目标可以手动标出。 三、实验步骤 1. 想办法找到目标（可手动框出）。 2. 编写目标跟踪函数代码； 四、实验报告 1、CAMSHIFT算法原理 CAMSHIFT算法是利用目标的颜色直方图模型将图像转换为颜色概率分布图，初始化一个搜索窗的大小和位置，并根据上一帧得到的结果自适应调整搜索窗口的位置和大小，从而定位出当前图像中目标的中心位置。 这个算法可以分为三个部分： 1、色彩投影图（反向投影）： (1).RGB颜色空间对光照亮度变化较为敏感，为了减少此变化对跟踪效果的影响，首先将图像从RGB空间转换到HSV空间。(2).然后对其中的H分量作直方图，在直方图中代表了不同H分量值出现的概率或者像素个数，就是说可以查找出H分量大小为h的概率或者像素个数，即得到了颜色概率查找表。(3).将图像中每个像素的值用其颜色出现的概率对替换，就得到了颜色概率分布图。这个过程就叫反向投影，颜色概率分布图是一个灰度图像。 2、MEANSHIFT MEANSHIFT算法是一种密度函数梯度估计的非参数方法，通过迭代寻优找到概率分布的极值来定位目标。 算法过程为： (1).在颜色概率分布图中选取搜索窗W (2).计算零阶距： 计算一阶距：
图像定位及跟踪技术大解析 在科学技术日新月异的今天，人们对机器设备的智能性、自主性要求也越来越高，希望其完全替代人的角色，把人们从繁重、危险的工作任务中解脱出来，而能否像人一样具有感知周围环境的能力已成为设备实现智能化自主化的关键。 广义的“图像跟踪”技术，是指通过某种方式(如图像识别、红外、超声波等)将摄像头中拍摄到的物体进行定位，并指挥摄像头对该物体进行跟踪，让该物体一直被保持在摄像头视野范围内。狭义的“图像跟踪”技术就是我们日常所常谈到的，通过“图像识别”的方式来进行跟踪和拍摄。 因为红外、超声波等方式，都受环境的影响，而且要专门的识别辅助设备，在实际应用中已经逐步被“图像识别”技术所替代。“图像识别”是直接利用了摄像头拍摄到的图像，进行NCAST图像差分及聚类运算，识别到目标物体的位置，并指挥摄像头对该物体进行跟踪。 图像跟踪系统采用特有的NCAST目标外形特征检测方法，被跟踪者无需任何辅助设备，只要进入跟踪区域，系统便可对目标进行锁定跟踪，使摄像机画面以锁定的目标为中心，并控制摄像机进行相应策略的缩放。系统支持多种自定义策略，支持多级特写模式，适应性强，不受强光、声音、电磁等环境影响。 目标物体的边缘检测 物体的形状特征在大多数情况下变化不多，基于目标形状轮廓的跟踪方法与基于区域的匹配方法相比，可以更精确的分割目标。 边缘是运动目标的最基本特征，表现在图像中就是指目标周围图像灰度有阶跃变化或屋顶变化的那些像素集合，它是图像中局部亮度变化最显著的部分。 边缘检测就是采用某种算法来定位灰度不连续变化的位置，从而图像中目标与背景的交界线。图像的灰度变化可以用灰度梯度来表示。
本科毕业论文
(科研训练,毕业设计)
题
目: opencv 的运动目标检测
姓 学
名:汤超 院:信息科学与技术学院 系:电子工程系
专 年 学
业:电子信息工程 级:2005 号:22220055204057 职称:教授
指导教师(校内) :杨涛
2009 年
5 月
25 日
厦门大学电子工程系 2005 级本科毕业论文 -
基于 opencv 的运动目标检测和跟踪
摘要
Opencv(Open Source Computer Vision Library)是一种用于数字图像处理和计算机视 觉的函数库,由 Intel 微处理器研究实验室(Intel's MicroprocessorResearch Lab)的视 觉交互组(The Visual Interaetivity Group)开发.采用的开发语言是 C++,可以在 window: 系统及 Linux 系统下使用,该函数库是开放源代码的,能够从 Intel 公司的网站免费下载 得到.opencv 提供了针对各种形式的图像和视频源文件(如:bitmap 图像,video 文件和实 时摄像机)的帧提取函数和很多标准的图像处理算法,这些函数都可以直接用在具体的视频 程序开发项目中. 针对在背景中检测出运动目标并实施警戒等特定提示,本文利用 opencv 的运动物体 检测的数据结构,函数以及基本框架,建立了一个由人机交互界面模式.实施对物体的检 测.该方面在安防方面已经很受重视.相信在不久的将来将会成为一种监督秩序的方式.
关键字 视频,运动目标检测,帧差分
视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设f k（x, y）和f（k i）（x, y）分别为图像序列中的第k帧和第k+1帧中象素点（x，y）的象素值,则这两帧图像的差值图像就如公式2-1所示： Diff ki f k（x, y） f（k 1）（x, y）（2-1）2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1式得到第k帧和第k+1帧的差值图像Diff k 1；2、对所得到的差值图像Diff k 1二值化（如 式子2-2示）得到Qk+1 ；3、为消除微小噪声的干扰，使得到的运动目标更准 确，对Q k 1进行必要的滤波和去噪处理，后处理结果为M k 1。 1
目标检测、跟踪与识别技术与现代战争 【摘要】本文讨论目标检测、跟踪与识别技术在现代战争各个领域中的应用，总结目标识别技术的发展方向，提出目标识别技术工程化实现方法，同时本文介绍了国外目标识别的现状及发展趋势，提出了现代战争应采用综合识别系统解决目标识别问题的建议。 关键词目标检测；目标跟踪；目标识别；雷达；人工神经网络；精确制导 1．引言 随着现代科学技术的飞速发展及其在军事领域内日益广泛的应用，传统的作战思想、作战方式已发生根本性的变化。从第一次海湾战争到科索沃战争，特别是刚刚结束的海湾战争，空中精确打击和空地一体化作战已经成为最重要的作战形式。集指挥、控制、通信、计算机、情报、监视侦察于一体的C ISR 已成为取得战场主动权，赢得最后胜利的关键因素。目标识别技术是雷达智能化、信息化的重要技术支撑手段。在现代化战争中，目标识别技术在预警探测、精确制导、战场指挥和侦察、敌我识别等军事领域都有广泛的应用前景，已受到了世界各国的关注。 现代战争中取得战场制信息权的关键之一是目标属性识别。现代战争的作战环境十分复杂，作战双方都在采用相应的伪装、隐蔽、欺骗和干扰等手段和技术，进行识别和反识别斗争。因此仅仅依靠一种或少数几种识别手段很难准确地进行目标识别，必须利用多个和多类传感器所收集到的多种目标属性信息，综合出准确的目标属性，进行目标检测，跟踪后进行识别。 2．目标检测、跟踪与识别技术在现代战争中的应用 2．1 目标检测、跟踪与识别技术在预警探测上的应用 目标检测、跟踪与识别技术对于弹道导弹的预警工作有重要的作用。弹道导弹一般携带多个弹头，其中可能包含核弹头或大规模杀伤的弹头以及常规弹头，预警雷达必须具备对目标进行分类和识别真假弹头的能力，将核弹头或大规模杀伤的弹头分离出来，为弹道导弹防御(BMD)系统进行目标攻击和火力分配提供依据。早期的BMD系统假设只有一个核弹头，多弹头分导技术的出现，使问题转化为雷达的多目标识别问题，加上电子对抗技术的广泛使用，给目标识别技术带来很大困难。另外，预警雷达还要对空中目标或低空目标进行探测，对来袭目标群进行分类识别。利用星载雷达以及远程光学望远镜等观测设备，可以对外空目标进行探测，对外空来袭目标进行分类和识别，达到早期预警的工作。
1引言 目标跟踪可分为主动跟踪和被动跟踪。视频目标跟踪属于被动跟踪。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。这些优点使得视频目标跟踪测量在靶场光电测量、天文观测设备、武器控制系统、激光通信系统、交通监控、场景分析、人群分析、行人计数、步态识别、动作识别等领域得到了广泛的应用[1-2]。 根据被跟踪目标信息使用情况的不同，可将视觉跟踪算法分为基于对比度分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。基于对比度分析的跟踪算法主要利用目标和背景的对比度差异，实现目标的检测和跟踪。基于匹配的跟踪主要通过前后帧之间的特征匹配实现目标的定位。基于运动检测的跟踪主要根据目标运动和背景运动之间的差异实现目标的检测和跟踪。前两类方法都是对单帧图像进行处理，基于匹配的跟踪方法需要在帧与帧之间传递目标信息，对比度跟踪不需要在帧与帧之间传递目标信息。基于运动检测的跟踪需要对多帧图像进行处理。除此之外，还有一些算法不易归类到以上3类，如工程中的弹转机跟踪算法、多目标跟踪算法或其他一些综合算法。2基于对比度分析的目标跟踪算法基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。这类算法按照跟踪参考点的不同可以分为边缘跟踪、形心跟踪和质心跟踪等。这类算法不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合（如要求跟踪目标的左上角或右下角等）有其独到之处。缺点是跟踪点易受干扰，跟踪随机误差大。重心跟踪算法计算简便，精度较高，但容易受到目标的剧烈运动或目标被遮挡的影响。重心的计算不需要清楚的轮廓，在均匀背景下可以对整个跟踪窗口进行计算，不影响测量精度。重心跟踪特别适合背景均匀、对比度小的弱小目标跟踪等一些特殊场合。图像二值化之后，按重心公式计算出的是目标图像的形心。一般来说形心与重心略有差别[1-2]。 3基于匹配的目标跟踪算法 3.1特征匹配 特征是目标可区别与其他事物的属性，具有可区分性、可靠性、独立性和稀疏性。基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的 文章编号：1002－8692（2010）12-0135-04 视频目标跟踪算法综述* 蔡荣太1，吴元昊2，王明佳2，吴庆祥1 （1.福建师范大学物理与光电信息科技学院，福建福州350108； 2.中国科学院长春光学精密机械与物理研究所，吉林长春130033） 【摘要】介绍了视频目标跟踪算法及其研究进展，包括基于对比度分析的目标跟踪算法、基于匹配的目标跟踪算法和基于运动检测的目标跟踪算法。重点分析了目标跟踪中特征匹配、贝叶斯滤波、概率图模型和核方法的主要内容及最新进展。此外，还介绍了多特征跟踪、利用上下文信息的目标跟踪和多目标跟踪算法及其进展。 【关键词】目标跟踪；特征匹配；贝叶斯滤波；概率图模型；均值漂移；粒子滤波 【中图分类号】TP391.41；TN911.73【文献标识码】A Survey of Visual Object Tracking Algorithms CAI Rong-tai1,WU Yuan-hao2,WANG Ming-jia2,WU Qing-xiang1 （1.School of Physics,Optics,Electronic Science and Technology,Fujian Normal University,Fuzhou350108,China; 2.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Science,Changchun130033,China）【Abstract】The field of visual object tracking algorithms are introduced,including visual tracking based on contrast analysis,visual tracking based on feature matching and visual tracking based on moving detection.Feature matching,Bayesian filtering,probabilistic graphical models,kernel tracking and their recent developments are analyzed.The development of multiple cues based tracking,contexts based tracking and multi-target tracking are also discussed． 【Key words】visual tracking;feature matching;Bayesian filtering;probabilistic graphical models;mean shift;particle filter ·论文·*国家“863”计划项目（2006AA703405F）；福建省自然科学基金项目（2009J05141）；福建省教育厅科技计划项目（JA09040）