毕业设计（论文）题目：
运动目标检测技术的分析与比较
学院：计算机学院
专业：计算机科学与技术专业
班级： 12110801班
姓名：王博
指导教师：赵清杰教授
摘要
运动目标检测技术是计算机视觉领域的一个热点研究课题之一，它在图像制导、智能监控、人机交互等军用和民用领域都具有很重要的应用价值。常见的运动目标检测方法主要有三种：帧差法、背景减除法和光流法。
本文首先总结了帧差法、背景减除法和光流法的工作原理，研究了这三种方法的算法框架，指出了各种方法存在的问题及其改进技术。
在理解各种算法的基础上，实现了十种运动目标检测算法。针对十一种不同的运动情况生成相应的测试序列，并利用这些序列对各种运动目标检测算法的性能进行测试；提出了两种评价运动目标检测算法的方法，简单证明了两种评价方法的有效性；然后通过常用的Wallflower测试集测试各种运动目标检测算法；最后利用真实场景进行了运动目标跟踪实验，进一步测试各种算法。
最后，详细总结了各种运动目标检测算法的优缺点，并在此基础上提出了未来的研究方向。
关键词：运动目标检测；帧差法；背景减除法；光流法；测试
Abstract
Moving target detection technology is one of the hot research topics in the computer vision domain, and it has very important applied value in both the civilian and military fields such as image guidance, intelligent monitoring and human-computer interaction. There are three main moving target detection algorithms, including the Frame-Difference method, Background subtraction method and Optical Flow method.
This paper discusses these three approaches’operating principles at first, including the study of algorithm architectures for them respectively, the introduction for each method’s existing problems, together with the improved techniques as well.
Ten moving target detection algorithms are realized in total, on the basis of the comprehension for all the algorithms. We generate the corresponding testing sequences for the eleven disparate motion statuses, taking advantage of which we conduct the tests for the performance of all moving target detection algorithms. After that, two evaluating methods are proposed subsequently, with the straightforward proof for the validity of these two approaches. Then we use the common Wallflower test set to compare all the algorithms mentioned in this paper. Finally, we further verify the effect performance of each algorithm through the moving target tracking experiments in real scene.
In the end, we summarize all of these algorithms’advantages and disadvantages in detail, with the description of the research orientation in the future on that basis.
Keywords: Moving target detection; Frame-Difference; Background subtraction; Optical Flow; Test;
目录
第1章绪论 (1)
1.1课题背景与意义 (1)
1.2国内外研究现状 (1)
1.3论文组织结构 (2)
第2章运动目标检测方法 (4)
2.1帧差法 (4)
2.2背景减除法 (5)
2.2.1基于均值模型的背景减除法 (7)
2.2.2基于单高斯模型的背景减除法 (8)
2.2.3基于混合高斯模型的背景减除法 (9)
2.2.4基于核密度估计模型的背景减除法 (11)
2.2.5基于W4模型的背景减除法 (12)
2.2.6基于码书模型的背景减除法 (13)
2.3光流法 (14)
2.3.1Horn-Schunck光流算法 (15)
2.3.2Lucas-Kanade光流算法 (18)
2.4本章小结 (20)
第3章实验结果与分析 (21)
3.1模拟测试 (21)
3.1.1参数设置及评价方法 (21)
3.1.2小目标低速运动 (26)
3.1.3小目标中速运动 (28)
3.1.4小目标高速运动 (29)
3.1.5目标由小变大 (31)
3.1.6目标突然静止 (32)
3.1.7大目标低速运动 (34)
3.1.8大目标中速运动 (36)
3.1.9大目标高速运动 (37)
3.1.10混有高斯噪声的情况 (39)
3.1.11混有均匀噪声的情况 (41)
3.1.12干扰物小范围随机抖动的情况 (41)
3.1.13小结 (44)
3.2Wallflower实验 (44)
3.3真实场景实验 (49)
第4章总结与展望 (54)
致谢 (56)
参考文献 (57)
毕设期间参与的科研项目及发表论文情况 (61)
第1章绪论
1.1课题背景与意义
目前大城市的重要地段、小区、银行、学校、工厂等场所一般都布放有摄像设备，摄像数据被实时传送到指挥中心，这样的监控系统对保障社会安全起着关键作用。但目前这些摄像系统大多由值班人员查看和判断异常信息，大量的数据使监控人员无法顾及全面。虽然摄像装置能够实时采集数据，但是发生特别事件后的检索一般在事后进行。在这样的系统中，加入计算机自动目标检测功能，就可以及时发现异常并进行报警。
再者，在电影特效领域，大量背景需要通过计算机渲染，通常先让人在纯色背景下拍摄，通过简单的运动目标检测后将需要的目标分离出来，加上计算机渲染出的特效背景，就可以得到很好的视觉效果。
另外，运动目标检测技术在军事上也很有用处，目前很多武器装备具有图像制导功能，这可以提升武器装备的自动化精准跟踪与打击能力。
总之，运动目标检测技术无论是在生产生活中还是在军事领域，都具有广阔的应用前景，其中的理论和技术问题一直是人们研究的热点。
1.2国内外研究现状
基于视频的运动目标检测技术，大都利用目标的颜色、梯度、纹理、对应像素点的空间位置甚至深度等信息，其中很多算法采用的是颜色信息。根据检测原理的不同，基于视频的运动目标检测算法可以分为三大类：帧差法、背景减除法和光流法。
1985年Anderson等人提出了帧差法[1]，有的文献称之为时域差分法。其原理是：假设视频序列前后两帧中的背景部分像素值保持不变，只有被检测运动物体对应的像素值发生变化，前后两帧相减，则运动目标所在的区域像素值不等于0，而背景区域的像素值等于0，这样就可以检测出运动目标。帧差法
的优点是原理简单，速度快，实时性好，对环境光线变化不敏感。其缺点是，当目标速度小时易产生―中空‖现象，当目标速度快时又会产生―遗影‖现象。这种方法适用于背景简单、环境干扰小的情况。
背景减除法[2-5]一被提出就得到了广泛的应用。它主要是将当前图像和背景模型进行比较，根据设定阈值去除背景，得到前景目标图像。为了得到准确的前景目标，需要尽可能建立合适的背景模型。常见的背景建模方法有六种：基于均值模型[6]、基于单高斯模型[7]、基于混合高斯模型[8]、基于核密度估计模型[9]、基于W4模型[10]和基于码书模型[11]。背景减除法只适用于背景静止的情况，对光照引起的场景变化比较敏感。
光流概念最早由心理学家James Jerome Gibson提出。1981年，Horn和Schunck[12]根据图像灰度的变化计算出了二维光流场。光流场反映了在一定时间间隔内由于运动所引起的图像变化，即对图像的运动场进行估计。基于光流法的目标检测，将相似的运动矢量聚类为运动目标区域。常规光流法计算量大并且对噪声十分敏感。根据计算方法的不同，光流法可以分为五大类[13]：基于微分法、基于块匹配、基于能量方法、基于相位和基于神经动力学的光流算法。第一种方法比较常见，常用于运动目标检测，计算效率比较高，故本文主要讨论第一种方法。
本文主要研究以上三种运动目标检测算法，从原理上对比不同算法之间的区别，说明这三种运动目标检测算法的优点与缺点，并通过详细的对比实验，比较不同场景下各种运动目标检测算法的检测结果，阐述出现问题的原因，验证各种算法的优点与缺点。
1.3论文组织结构
本文主要论述三类基于视频的运动目标检测算法，包括帧差法、背景减除法和光流法，以及包括在这些方法的基础上延伸出的改进算法。通过设计三项实验，对这三类方法在不同环境中的运动目标检测效果进行比较。
第1章主要论述本课题的研究背景和意义，简述目前基于视频的运动目标检测技术的国内外研究现状，简单介绍了论文的组织结构。
第2章主要论述三类基于视频的运动目标检测算法的原理、存在的问题，
以及相应的各种改进算法。介绍帧差法、背景减除法和光流法的原理，重点研究背景减除法中比较常见的六种算法：基于均值模型的背景减除法、基于单高斯模型的背景减除法、基于混合高斯模型的背景减除法、基于核密度估计模型的背景减除法、基于W4模型的背景减除法和基于码书模型的背景减除法，详细讨论基于Lucas-Kanade的光流法和基于Horn-Schunck的光流法。
第3章设计了三项实验：模拟测试、Wallflower实验和真实场景实验。模拟测试主要是通过生成了能够模拟11种现实中常见的情况，对比不同运动目标检测算法对于这11种情况的检测结果，评价各算法的表现。Wallflower实验主要是使用当今运动目标检测领域常用的测试视频，与其他研究人员的工作做出对比。真实场景实验中，实际场景情况复杂并且含有很大的噪声，实验主要是测试各运动目标检测算法在实际场景中的表现，证明各个算法在实际中是否可行。
第4章对全文进行总结，并对今后的工作进行展望。
第2章运动目标检测方法
根据检测原理的不同，基于视频的运动目标检测算法可以分为帧差法、背景减除法和光流法三大类。下面主要论述这三类方法的原理、存在的问题及部分改进算法。
2.1帧差法
在理想情况下，视频序列的前后两帧中，运动目标的像素值发生变化，背景的像素值不变，前后两帧相减后，运动区域的结果不等于0，背景区域的结果等于0，但在实际场景中，由于光线变化、噪声影响等，背景区域的值并不等于0。帧差法设定了阈值，当结果小于时，认为是背景区域，当结果大于T时，就认为是运动区域，基本帧差法的数学原理如式(2-1)：
(2-1)
这里为点的帧差法结果，为时刻在时的像素值，为阈值。
图2-1 右边的圆为当前帧中的运动物体，左边的圆为上一帧的运动物体，区域A为得到的帧间差分结果，B区域被检测为当前帧的背景区域，就是孔径问题，C被检测为当前帧的运动物体，即为拖影现象。
帧差法有两个缺点[14]，由于帧率和运动速度的影响，帧差法会表现出孔径或中空问题(foreground aperture)、拖影或遗影现象(ghosting)。孔径问题是指当运动物体运动过慢时，前后两帧中运动物体会发生重叠，导致重叠部分被检测
为背景区域，使检测出的物体内部有空洞现象，对于纹理不明显的物体尤为严重。拖影现象是指当前帧中由于物体的移动，会把上一帧中的一部分区域检测
为运动物体，导致物体发生拖尾现象。图2-1很好的说明了孔径问题和拖影现象。
为了解决这些问题，Kameda和Minoh提出了三帧差分，将时刻与时刻的帧差结果和时刻与时刻的帧差结果做与运算。有人提出在三帧差分的基础上加入形态学运算[15]，消除孔径问题，减少噪声影响。有人将帧差法结合边缘检测使运动检测更加准确，论文[16]中的算法使用了Canny算子做边缘检测，论文[17]中的算法使用了Kirsh算子做边缘检测。值得关注的是有
人提出了将帧差法与其他运动目标检测算法结合，如背景减除法[14]和光流法[18]，得到了很好的实验效果。论文[14]中通过帧差法和背景减除法分别运算得到了检测结果，讨论两种算法的结果，准确的判断出了孔径问题和拖影现象。论文[18]中将传统帧差法进行了简单的改进，加入了参数，使改进后的帧差法
对于慢速运动的物体或者短暂停留的物体能够做出准确的检测，然后使用光流
法进一步处理，得到检测结果。
2.2背景减除法
背景减除法需要建立背景模型。常见的背景模型有六种：均值模型[6]、单高斯模型[7]、混合高斯模型[8]、核密度估计模型[9]、W4模型[10]和码书模型[11]。当然在背景减除法的发展过程中，还用到了其他模型，如动态纹理特征模型[19]、时空联合分布模型[20]、隐马尔科夫模型[21]和PCA(Principal component analysis)模型[22]等。我们根据参考文献[5,23]，总结了常见的几种背景减除法，如表3-1所示。
虽然有众多的背景减除算法，但是大多数论文讨论的是如何构建背景模型，而背景减除法的整体流程大同小异。背景减除法主要分为四步：第一步，预处理。对于图像进行平滑处理，使用滤波器对图像进行预处理，减少图像中的噪声点，减弱雨雪天气对于目标检测效果的干扰。实时系统中[23]，在预处理阶段降低帧比率使系统得到实时处理的处理结果。
第二步，背景建模。背景建模是众多背景减除算法讨论的核心，至今还不
断有人提出新方法以增加算法的鲁棒性、加快算法运行。论文[25,26]都对混合高斯模型进行了改进，论文[26]中加入了前景更新因子和背景消退因子，使背景更新速度更快，论文[27-29]使用了改进的LBP描述子对于纹理特征进行建模，使算法更好的适应光线的变化，论文[27]提出了D-LBP算子，克服了LBP算子受噪声影响的缺点，论文[29]中使用了GLBP算子与码书模型结合，论文[30]中使用了K-mean算法对背景进行建模，论文[31]受到了生物视觉的启发，改进了背景减除法。背景建模主要是利用序列图像对模型进行不断更新，为背景建模，提取出背景图像，用于后续处理。
表3-1 背景减除法经典算法基本信息
背景减除法名称提出人提出时
间
文献
均值模型Friedman和Russell 1998 [6]
单高斯模型（GSM）Wren等1997 [7]
混合高斯模型
（GMM）
Chris Stauffer和Grimson 2000 [8]
核密度估计模型（KDE）Elgammal、Harwood和Larry
Davis
2000 [9]
W4模型（W4）Haritaoglu等2000 [10]
码书模型（CODEBOOK）Kim、Chalidabhongse、Harwood
和Davis
2005 [11]
动态纹理特征Monnel等2003 [19]
时空联合分布模型Saleemi等2008 [20]
隐马尔科夫模型
（HMM）
Kato等2002 [21] PCA模型Fernando 2003 [22]
第三步，目标检测。单模态的目标检测算法是使用当前图像和背景建模图像做差，得到结果通过阈值处理得到目标检测结果，这里阈值可以事先通过实验确定，也可以根据得到的差值结果动态确定。如果差值大于阈
值，所在位置像素则为目标，如果小于阈值，所在位置像素为背景图像。
(2-2)其中，为当前图像像素值，为背景模型图像像素值，为阈值。满足式(2-2)，即为目标。
多模态的目标检测算法主要使用当前图像与背景模型中各个模态进行比较，匹配成功即为背景点，否则为前景点。
第四步，后处理。目标检测结果大多数情况并不是十分理想，需要进行进一步处理。视频中如果存在很多噪声点，噪声有时会被检测为目标，噪声点大多数孤立存在，通过开运算可以消除孤立噪声点。开运算是先对图像进行腐蚀运算，然后膨胀其结果，具有消除细小物体、在纤细处分离物体和平滑较大物体边界的作用。由于背景建模结果不是十分理想，目标会有细小空洞，这里使用闭运算填充空洞。闭运算是对图像进行膨胀运算，然后腐蚀其结果，具有填充物体内细小空洞、连接邻接物体和平滑边界的作用。还有一个在背景减除法中广泛讨论的问题，就是阴影去除问题。由于光线的问题，目标可能会有影子，在移动过程中，阴影也会随着移动，阴影干扰会使目标检测错误，去除阴影可以提高目标检测的准确性。
背景减除法的主要优点是原理简单，容易编程实现，计算量相对光流法较小，检测结果和帧差法相比较好。缺点是对于光照、天气和物体突然运动较为敏感，只能适用于摄像机静止的情况，对于摄像机的抖动十分敏感。
2.2.1基于均值模型的背景减除法
基于均值模型的背景减除法[6]是最常见最简单的背景减除法，基本原理是在时刻取从时刻开始到时刻长度为帧的视频序列，将这帧中每个像素点在时域上的均值作为背景模型中对应点的值，用当前图像与背景模型做差得到前景图像，如式(2-3):
(2-3)
基于均值模型的背景减除法会占用一定的内存空间存储帧图像，其假设是在帧图像中背景出现的时间长度大于帧，如果前景停留超过帧，会
被融合为背景。由此可以判断当过大时，算法就无法检测到慢速目标，过小时，均值计算无法消除之前帧中的目标，或者叫遗忘速度较慢，算法会出现拖影现象。基于均值模型的背景减除法优点是运行速度快，算法简单容易实现，缺点是参数的值影响能够检测到的目标速度范围，并且会占用一定的存储空间。
为了不占用存储空间，使算法更容易实现，我们进行推导，能得到式(2-4)：
(2-4)
由于，故可以得到式(2-5)：
(2-5)使用迭代运算近似求得背景模型，引入学习率，如式(2-6)：
(2-6)迭代的均值模型虽然在理论上应该和普通的均值模型一样，但实际实验发现，迭代的均值模型对于孔径问题有一定的消除，但仍然存在严重的拖影现象。
2.2.2基于单高斯模型的背景减除法
在一些简单的场景中，没有光照的变化、不包含运动的物体，图像中只含有高斯噪声和椒盐噪声，这时图像中每个像素点的值都是符合一个以均值为中心、随机震荡的随机概率分布，这个分布为高斯分布，这时候的均值即为背景图像。通过对场景中的每个像素点建立高斯模型，通过图像序列中的后续帧不断的更新高斯分布的参数，使其不断的接近真实背景，最终得到趋近于真实的背景值，这种背景建模方法就是单高斯模型。单高斯模型[7]在1997年由Wren 等人提出，认为每一个像素都是符合均值和方差的高斯分布，并且各点之间的分布独立。
我们取定从0时刻到时刻的图像序列，每一个像素点在不同时刻的取值我们都认为是在一个高斯分布上的不同采样值。我们设定采样集合为，该集合的值为式(2-7)所示：
(2-7)并且该采样集合是符合均值和方差的高斯分布，故每个采样值出现的
概率符合式(2-8)：
(2-8)基于此原理的建模方法即是基于单高斯模型的背景减除法。具体建模步骤如下：
1)初始化高斯模型参数，将高斯模型的均值设定为图像序列中第一帧
的像素值和方差设为一个较大值。
2)使用图像序列中后续帧不断的更新高斯模型的参数值，使其不断接近
真实背景，设定均值和方差为使用图像序列中第帧图像更新之
后的参数值，判断新进帧是否为背景像素，在数学概率学上认为高斯
分布中，如果采样值与均值的差大于，就认为该值为小概率事件，所以当新进帧中对应的像素值与均值的差大于时，我们认为该像
素值是背景模型中的小概率事件，即为前景目标中的像素值，如式(2-9)
所示，式中的实际取值有时取2.5。
(2-9)
3)背景模型更新方法如下：
a)当符合式(2-9)为背景点时，使用下式(2-10)更新：
(2-10)
b)如果不符合式(2-9)时，即为前景点，此时不对均值和方差进
行更新，即如式(2-11)所示：
(2-11)
通过如上步骤处理，可以得到近似的背景模型，基于单高斯的背景减除法主要是适用于光线稳定、不包含干扰物的场景。当有水流波动、树叶扰动或者光线强烈变化时，单高斯模型不能够很好的建立模型。
2.2.3基于混合高斯模型的背景减除法
基于单高斯模型的背景减除法只能适应光线稳定、没有干扰物的环境，主要是因为只建立了一个高斯模型，使其鲁棒性差，当环境中有类似树的微动时，
人们常常认为其为背景点，故该点会存在多个背景值，这就是多峰背景。混合高斯模型可以适应多峰的背景，Stauffer和Grimson提出了基于混合高斯模型的背景减除法[8]，通过多个高斯模型来表示一个像素点的值，符合这些高斯模型，即认为为背景点，不符合即为前景点。
假设使用个高斯模型为背景建模，值越大建模越好，但随之带来的是处理时间的上升，通常值取，对于观察值，属于背景的概率值为：
(2-12)
(2-13)
其中是时刻第个高斯分布，均值为，方差为，为第个高斯分布的权重，。
在混合高斯方法的建模过程中，会同时为前景和背景建立高斯模型，通过不断的学习机制，可以使出现频率比较高的像素值对应比较高的权重，这样就给背景像素值赋予了高权重，前景像素值赋予较低权重。
基于此原理的建模方法为基于混合高斯模型的背景减除法，具体建模步骤如下：
1)初始化模型参数，将第一个高斯分布的均值设为当前像素值，设
为较大值，设为较小值，该点值设为1。
2)图像序列中的后续帧不断更新模型参数值，设定第个高斯分布在时
刻的高斯分布的参数值为均值和方差，使用式(2-14)判断该像素
值是否为满足第个高斯分布，原理与单高斯相同，式中的实际取值
有时取2.5。
(2-14)使用式(2-15)更新第个高斯分布的参数值：
(2-15)这里参数，如果式(3-13)匹配，，否则。然后按式(2-16)更新其他参数：
(2-16)
这里和为学习率，反映了模型对于背景变化的更新快慢。这里如果个高斯模型均不匹配，则判断时，增加一个新的高斯分布，按
照初始化步骤对新高斯分布进行初始化，如果时，则用新的高斯
分布替换优先级较低的高斯分布。使用计算各高斯分布的优先
级。
3)按照计算各高斯分布的优先级，按优先级大小排序重新排序。
取前个高斯分布共同描述背景，如式(2-17)所示：
(2-17)
其中，，为阈值。在进行前景检测时，如果如果
能与前个高斯分布中的任意一个匹配，则属于背景点，否则为前景
点。
这里应该清楚的是，当阈值的取值过小时，混合高斯模型就退化成为单高斯模型，不能适应复杂的环境，当阈值过大时，会给把前景也当作背景处理，给目标检测带来困难。当值设定过大时，处理速度变慢，值设定过小时，又不能够很好的建立背景模型。混合高斯模型依然有缺点，混合高斯模型对于光线的突变不能够很好的处理，对于慢速运动的物体会存在孔径问题，并且对于静止物体的突然运动时也会发生拖影现象。
2.2.4基于核密度估计模型的背景减除法
由于背景环境复杂，有的时候并不能事先知道背景的分布，Elgammal等人[9]在2000年提出了基于非参数密度估计的背景减除法，不需要事先假定背景分布，非常适用于背景动态变化、分布未知的场景。
取图像序列的前帧采样，能够得到共个样本值，设背景模型的概率密度为，那么时刻的像素值出现的概率值可用核函数密度估计来计算，如式(2-18)：
(2-18)
(2-19)
其中为核函数窗口宽度，在实际使用中，核函数的选择对于估计结果影响不大，常用高斯核函数，如式(2-19)所示，窗口宽度比核函数的更重要，通常计算采样序列中相邻两帧的差值得到差值序列，使
，由于，所以，由高斯分布的对称性可以得到，则核函数的窗口按式(2-20)计算：
(2-20)
(2-21)通过判断概率值是否大于阈值，判断是否为背景，即满足式(2-21)即为背景，否则为前景点。
2.2.5基于W4模型的背景减除法
W4模型也有论文称作MinMax模型，是Haritaoglu等[10]在2000年提出的背景减除法，主要是通过前期训练得到图像中各点出现的最大最小值和帧间变化最大值，W4模型使用最大值，最小值，最大帧间差值表示，使用帧图像序列建立模型，设帧视频序列中的像素值为，模型各参数值计算方法如下：
(2-22)
其中，应满足时，为中位数，为方差。通过式(2-22)就建立了W4模型，新图像中对应点的值如果满足式(2-23)中其中一个，则是背景点，否则为前景点。
(2-23)
基于W4模型的背景减除法，运算速度快，占用内存空间也比较少，算法容易实现，但是比基于均值模型的背景减除法的结果更准确，不会有拖影现象。
2.2.6基于码书模型的背景减除法
码书模型[11]是利用量化和聚类技术来构建背景模型的，通过训练图像序列得到背景的码书模型，每个像素对应一个码书，一个码书由多个码字组成，不同像素间码字的个数不一定相同，所有像素的码书组成了码书模型。基于码书模型的背景减除法运算速度比较快，占用较少的内存空间，可以适应一定的复杂背景。
假设图像序列中是一组个3维的采样值，是对应像素点的RGB三个通道的值，代表该像素的码字，每个码书包含有码字，这里不同像素的值不一定一样，每个码字都包含有一个RGB 向量和一个六元组。六元组定义如下：和，同一个码字中背景像素值的亮度的最小和最大值；
，码字出现的频率；
，在训练序列中该码字两次出现的最长时间间隔；
，码字出现的第一次和最后一次时间。
使用图像序列训练码书模型，建模方法如下：
1)该帧的，计算该帧的亮度值。
2)使用式(2-24)查找该像素值与之匹配的码字，满足式(2-24)即为匹配，
否则为不匹配。
(2-24)其中的计算方法是：
(2-25)的计算方法如式(2-26)：
(2-26)
其它
其中，。
a)码书为空或者没有匹配结果时，则创建一个码字，使用式(2-27)
创建新的码字
(2-27)
b)匹配成功时，使用下式更新码字。
(2-28)
用图像序列中的图像按照1)、2)步骤不断的训练模型参数，训练完成后，使用式(2-29)更新每个码字。
(2-29)变量的主要作用是防止有个别噪声点或者前景点被更新进入码书中，当码书计算完成后，需要判断是否大于一定的阈值，如果大于阈值说明出现的时间间隔过长，认为不是背景点，所以我们去除的码字，得到了代表背景的码书模型。这里阈值通常取。
训练结束后，在实际的目标检测中，使用式(2-24)判断是否为背景点，符合即为背景。对于属于背景的输入，可以以此继续更新码书模型，不断的使码书模型适应环境。
2.3光流法
从光流的速度矩阵的角度可以将光流分为稀疏光流和稠密光流，稀疏光流通常在图像中查找特征点或者角点，计算角点或者特征点的光流速度矩阵，使用光流做目标跟踪时常用稀疏光流，这样可以减少运算时间，并且排除一些噪声点的干扰，增加跟踪的效果，稠密光流多指对于图像整体或者大部分计算光流速度矩阵，常用于做运动目标检测，本文主要讨论的是稠密光流。
2.3.1Horn-Schunck光流算法
Horn-Schunck光流算法属于基于微分法的光流算法，又称为基于梯度的光流算法，它利用图像序列灰度的时空微分来计算像素的速度矢量，比较常见的
基于微分法的光流算法有Horn-Schunck算法[12]、Lucas-Kanade算法[32]和Nagel 算法[33]。
亮度恒定约束是不论物体移动到了空间的任何位置上，它的亮度值不变，图像中即指灰度值不变，换句话说在连续的图像序列中，图像中物体的同一点的像素值不变或者变化非常小，这个约束决定了光流法的一个缺陷，光流法对于光照变化十分敏感，当光照突变时，或者图像中光照不均匀时，对于光流法十分致命。空间平滑约束是指空间上灰度变化是连续的，从数学角度来说，要求光流变化是可微的。Horn-Schunck在两约束的基础上提出了光流基本方程，基本光流方程的推导[12,34]如下：
设在时刻时图像平面中点的亮度值为。由于亮度恒定约束，我们知道当运动模式移动时，模式中的任意一个点的亮度值是一个常数，如式(2-30)：
(2-30)我们将微分分解成式(2-31)：
(2-31)或者从另外一个角度来看，时刻的时候点为物体上的一个点，在时刻该点移动到了，由于亮度恒定约束，这两点的亮度值相等，
即为式(2-32)：
(2-32)将等式右端项泰勒展开，即为
(2-33)为的高阶无穷小量，然后根据式(2-33)，我们得到式(2-34)：
(2-34)左右两端除以，得到式(2-35)
摘要 运动目标检测方法是研究如何完成对视频图像序列中感兴趣的运动目标区域的“准确定位”问题。光流场指图像灰度模式的表面运动，它可以反映视频相邻帧之间的运动信息，因而可以用于运动目标的检测。MATLAB这种语言可移植性好、可扩展性强，再加上其中有丰富的图像处理函数，所以利用MATLAB 软件来用光流法对运动目标的检测中具有很大的优势。本设计主要可以借助matlab软件编写程序，运用Horn-Schunck算法对图像前后两帧进行处理，画出图像的光流场。而图像的光流场每个像素都有一个运动矢量，因此可以反映相邻帧之间的运动，分析图像的光流场就可以得出图像中的运动目标的运动情况。 关键字：光流法；Horn-Schunck算法；matlab
目录 1光流法的设计目的 (1) 2光流法的原理 (1) 2.1光流法的介绍 (1) 2.1.1光流与光流场的概念 (1) 2.1光流法检测运动目标的原理 (2) 2.1.1光流场计算的基本原理 (2) 2.2.2基于梯度的光流场算法 (2) 2.2.3Horn-Schunck算法 (3) 2.2.4光流法检测运动目标物体的基本原理概述 (5) 3光流法的程序具体实现 (6) 3.1源代码 (6) 3.1.1求解光流场函数 (6) 3.1.2求导函数 (9) 3.1.3高斯滤波函数 (9) 3.1.4平滑性约束条件函数 (10) 3.1.5画图函数 (10) 4仿真图及分析 (12) 结论 (13) 参考文献 (14)
1 光流法的设计目的 数字图像处理，就是用数字计算机及其他有关数字技术，对图像进行处理，以达到预期的目的。随着计算机的发展，图像处理技术在许多领域得到了广泛应用，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。 数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程，其目的是：使学生进一步巩固数字图像处理的基本概念、理论、分析方法和实现方法；增强学生应用Matlab编写数字图像处理的应用程序及分析、解决实际问题的能力；尝试所学的内容解决实际工程问题，培养学生的工程实践能力。 运动目标检测是数字图像处理技术的一个主要部分，近些年来，随着多媒体技术的迅猛发展和计算机性能的不断提高，动态图像处理技术日益受到人们的青睞，并且取得了丰硕的成果，广泛应用于交通管理、军事目标跟踪、生物医学等领域。 因此，基于光流法，实现运动目标的检测是本文的研究对象。结合图书馆书籍、网上资料以及现有期刊杂志，初步建立起运动目标检测的整体思路和方法。 2 光流法的原理 2.1 光流法的介绍 2.1.1 光流与光流场的概念 光流是指空间运动物体在观测成像面上的像素运动的瞬时速度，它利用图像序列像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即反映图像灰度在时间上的变化与景物中物体结构及其运动的关系。将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。视觉心理学认为人与被观察物体
摘要 由于计算机技术的迅猛发展，使得基于内容的视频信息的存取、操作和检索不仅成为一种可能，更成为一种需要。同时，基于内容的视频编码标准MPEG-4和基于内容的视频描述标准MPEG-7正在发展和完善。因此提取和视频中具有语义的运动目标是一个急需解决的问题。运动目标提取和检测作为视频和图像处理领域的重要研究领域，有很强的研究和应用价值。运动检测就是将运动目标从含有背景的图像中分离出来，如果仅仅依靠一种检测算法，难以从复杂的自然图像序列中完整地检测出运动的目标。较高的检测精度和效率十分重要，因此融合多种检测方法的研究越来越受到重视。本文介绍了几种国内外文献中的经典的视频运动目标的检测和提取算法，并对各种方法进行了评价和总结。首先介绍了基本的运动目标检测的基本知识和理论，然后介绍了基本的几种目标检测方法及其各种改进方法。对今后的运动目标检测提取的相关研究提供一定的参考。 关键词：运动目标检测光流法帧差法背景建模方法
ABSTRACT Because of the rapid development of computer technology, it is possible to access, operate and retrieve the video information based on the content of the video. At the same time, based on the content of the video coding standard MPEG-4 and content-based video description standard MPEG-7 is developing and improving. Therefore, it is an urgent problem to be solved in the extraction and video. Moving object extraction and detection is a very important field of video and image processing, and has a strong research and application value. Motion detection is to separate moving objects from the image containing background, if only rely on a detection algorithm, it is difficult to from a complex natural image sequences to detect moving target. Higher detection accuracy and efficiency are very important, so the study of the fusion of multiple detection methods is becoming more and more important. In this paper, the detection and extraction algorithms of the classical video moving objects in the domestic and foreign literatures are introduced, and the methods are evaluated and summarized. Firstly, the basic knowledge and theory of basic moving target detection is introduced, and then the basic method of target detection is introduced. To provide a reference for the research on the extraction of moving target detection in the future. Keywords: Visual tracking Optical flow method Frame Difference Background modeling method
采用视频图像的运动目标检测与识别 相关调研 目标检测是计算机视觉的一个重要组成部分,在军事及工业等领域有着重要的应用前景。运动目标的检测方法主要有光流法,差值法。光流法的计算量很大,实时性和应用性较差。而图像差值法比较简单,实时性较好,是目前应用最广泛,最成功的运动目标检测的方法。图像差值法可分为两类,一类是用序列图像的每一帧与一个固定的静止的参考帧做图像差分,但自然场景不是静止不变的,因而必须不断的更新背景。另一类是用序列图像的两帧进行差分,这种方法无法检测出两帧图像中重合的部分,只能检测出目标的一部分信息。在绝大多数视频监控图像应用中,每一个像素都可以用一个或多个高斯模型近似,因此,高斯背景模型是绝大多数目标检测方法常用的基本模型。 智能视频服务器是飞瑞斯在多年视频分析技术优势的基础上，推出的一系列具有智能视频分析功能的DVS 视频编码设备。智能视频服务器基于DSP、ARM等核心平台，完成前端标准的H.264高压缩率编码，同时完成智能分析功能。 智能视频服务器的最大的创新点在于，这一系列DVS不仅仅提供视频监控的功能，能通过飞瑞斯核心的智能视频分析技术，来感知视频场景内的环境、人和物，并挖掘其中的人(物)行为、状态、身份信息、数量、轨迹等更深层次的元数据信息。 智能视频服务器赋予了视频监控系统智慧的大脑，从此视频监控不仅仅是能看得到，而且还能自己思考，提供更为智能的应用。
https://www.doczj.com/doc/44619349.html,/products_20_26.html?bdclkid=BztEJhpzcR34JE_Ft948PGoNuxuK0gsc zre7HPa3EhvUMBqk3J
运动目标图像的识别与跟踪 本文主要目的是将视频摄像头中的运动目标从背景中提取出来，并加以跟踪。首先考虑的是常见的目标检测的算法，其次考虑对于噪声的滤除，最后是对运动目标的跟踪。 一、基本目标检测算法 我们主要考虑的目标检测的算法主要有三种，光流场法、背景模型法以及时域差分法。 1.1光流场法 光流主要是图像亮度模式的表现运动。而光流场则是指灰度模式的表面运动。一般条件下，我们可以根据图像的运动，进行估算相对运动。 光流场法的基本理论是光流场基本方程： 0=++t y x I vI uI (1.1) 式中我们根据亮度守恒，利用泰勒公式展开，忽略高阶项与二次项。其中x I 、y I 和t I 是图像在对数轴x 、y 两个方向和t 的的导数，()v u ,就是这个点的光流坐标。 光流场法的目标检测，在摄像机运动时候也可以做出判断，但是图像的噪声太过明显，使得计算数据庞杂，计算的公式更加复杂，这样并不适合我们的对于目标跟踪的高精度的摄像系统。 1.2背景模型法 背景模型法，也被称为背景差法，主要利用当前的图像和背景的图像的二值化做差，然后取阈值，分割运动目标。 首先根据： ()()()y x b y x f y x D t t t ,,,-= (1.2) 我们可以得到当前的图像帧数()y x f t ,和背景图像的帧数),(y x b t 做差，然后以公式对图像进行二值化的处理。 ???≤>=)(,0)(,1),(BackGround T D ForeGround T D y x P t t t (1.3) 上面),(y x P t 是二值化模板图。假设某一区域大于一个给定的面积的时候，该区域就是我们要找的目标区域。 背景模型法的算法简单，可以快速反应，并且可以提供运动目标的大略特征等数据。但是对于复杂背景下，比如人流较大的公共场所，或者有光照等干扰时，就需以其他的算法以不断更新背景信息来进行弥补。
视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设f k（x, y）和f（k i）（x, y）分别为图像序列中的第k帧和第k+1帧中象素点（x，y）的象素值,则这两帧图像的差值图像就如公式2-1所示： Diff ki f k（x, y） f（k 1）（x, y）（2-1）2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1式得到第k帧和第k+1帧的差值图像Diff k 1；2、对所得到的差值图像Diff k 1二值化（如 式子2-2示）得到Qk+1 ；3、为消除微小噪声的干扰，使得到的运动目标更准 确，对Q k 1进行必要的滤波和去噪处理，后处理结果为M k 1。 1
1、课题来源 随着计算机技术的高速发展，运动物体的检测和跟踪在图像处理、计算机视觉、模式识别、人工智能、多媒体技术等领域越来越受到人们的关注。运动跟踪和检测的应用广泛，在智能监控和人机交互中，如：银行、交通、超市等场合常常使用运动跟踪分析技术，通过定位物体并对其行为进行分析，一旦发现物体有异常行为，监控系统就发出警报，提醒人们注意并即时的处理，改善了人工监督注意力分散、反应时间较慢、人力资源浪费等问题。运动目标的跟踪在虚拟现实、工业控制、军事设备、医学研究、视频监控、交通流量观测监控等很多领域也有重要的实用价值。特别在军事上，先进的武器导航、军事侦察和监控中都成功运用了自动跟踪技术。而跟踪的难点在于如何快速而准确的在每一帧图像中实现目标定位。正因如此，对运动目标的跟踪和检测的研究很有价值。 2、研究目的和意义 运动目标检测是图像处理与计算机视觉的一个分支，在理论和实践上都有重大意义，长久以来一直被国内外学者所关注。在实际中，视频监控利用摄像机对某一特定区域进行监视，是一个细致和连续的过程，它可以由人来完成，但是人执行这种长期枯燥的例行监测是不可靠，而且费用也很高，因此引入运动监测非常有必要。它可以减轻人的负担，并且提高了可靠性。概括起来运动监测主要包括三个内容：运动目标检测，方向判断和图像跟踪。运动目标检测是整个监测过程的基础，运动目标的提取准确与否，直接关系到后续高级过程的完成质量。3、国内外研究现状和发展趋势及综述 运动目标检测在国外已经取得了一些的研究成果，许多相关技术已经开始应用到实际系统中，但是国内研究相对落后,与国外还有较大差距。传统的视频目标提取大致可以分两类,一类以空间同性为准则,先用形态学滤波器或其他滤波器对图像作预处理;然后对该图像的亮度、色度或其他信息作空间上的分割以对区域作边缘检测;之后作运动估计,并合并相似的运动区域以得到最终的提取结果。如光流算法、主动轮廓模型算法。此类方法结果较为准确但是运算量相对较大。另一类算法主要以时间变化检测作为准则,这类算法主要通过帧差检测图像上的变化区域和不变区域,将运动物体与静止背景进行分割。此类方法运算量小,提取结果不如前类方法准确。此外,还有时空结合方法、时空亮度梯度信息结合的方法等等。 4、研究方法
一、传统目标检测方法 如上图所示，传统目标检测的方法一般分为三个阶段：首先在给定的图像上选择一些候选的区域，然后对这些区域提取特征，最后使用训练的分类器进行分类。下面我们对这三个阶段分别进行介绍。 (1) 区域选择这一步是为了对目标的位置进行定位。由于目标可能出现在图像的任何位置，而且目标的大小、长宽比例也不确定，所以最初采用滑动窗口的策略对整幅图像进行遍历，而且需要设置不同的尺度，不同的长宽比。这种穷举的策略虽然包含了目标所有可能出现的位置，但是缺点也是显而易见的：时间复杂度太高，产生冗余窗口太多，这也严重影响后续特征提取和分类的速度和性能。（实际上由于受到时间复杂度的问题，滑动窗口的长宽比一般都是固定的设置几个，所以对于长宽比浮动较大的多类别目标检测，即便是滑动窗口遍历也不能得到很好的区域） (2) 特征提取由于目标的形态多样性，光照变化多样性，背景多样性等因素使得设计一个鲁棒的特征并不是那么容易。然而提取特征的好坏直接影响到分类的准确性。（这个阶段常用的特征有SIFT、HOG等） (3) 分类器主要有SVM, Adaboost等。 总结：传统目标检测存在的两个主要问题： 一是基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余； 二是手工设计的特征对于多样性的变化并没有很好的鲁棒性。
二、基于Region Proposal的深度学习目标检测算法 对于传统目标检测任务存在的两个主要问题，我们该如何解决呢？ 对于滑动窗口存在的问题，region proposal提供了很好的解决方案。region proposal（候选区域）是预先找出图中目标可能出现的位置。但由于region proposal 利用了图像中的纹理、边缘、颜色等信息，可以保证在选取较少窗口（几千个甚至几百个）的情况下保持较高的召回率。这大大降低了后续操作的时间复杂度，并且获取的候选窗口要比滑动窗口的质量更高（滑动窗口固定长宽比）。比较常用的region proposal算法有selective Search和edge Boxes，如果想具体了解region proposal可以看一下PAMI2015的“What makes for effective detection proposals？” 有了候选区域，剩下的工作实际就是对候选区域进行图像分类的工作（特征提取+分类）。对于图像分类，不得不提的是2012年ImageNet大规模视觉识别挑战赛（ILSVRC）上，机器学习泰斗Geoffrey Hinton教授带领学生Krizhevsky使用卷积神经网络将ILSVRC分类任务的Top-5 error降低到了15.3%，而使用传统方法的第二名top-5 error高达26.2%。此后，卷积神经网络占据了图像分类任务的绝对统治地位，微软最新的ResNet和谷歌的Inception V4模型的top-5 error降到了4%以内多，这已经超越人在这个特定任务上的能力。所以目标检测得到候选区域后使用CNN对其进行图像分类是一个不错的选择。 2014年，RBG（Ross B. Girshick）大神使用region proposal+CNN代替传统目标检测使用的滑动窗口+手工设计特征，设计了R-CNN框架，使得目标检测取得巨大突破，并开启了基
运动检测（移动侦测）原理 一、引言 随着技术的飞速发展，人们对闭路电视监控系统的要求越来越高，智能化在监控领域也得到越来越多的应用。在某些监控的场所对安全性要求比较高，需要对运动的物体进行及时的检测和跟踪，因此我们需要一些精确的图像检测技术来提供自动报警和目标检测。运动检测作为在安防智能化应用最早的领域，它的技术发展和应用前景都受到关注。 运动检测是指在指定区域能识别图像的变化，检测运动物体的存在并避免由光线变化带来的干扰。但是如何从实时的序列图像中将变化区域从背景图像中提取出来，还要考虑运动区域的有效分割对于目标分类、跟踪等后期处理是非常重要的，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。 二、运动检测（移动侦测）原理 早期的运动检测如MPEG1是对编码后产生的I帧进行比较分析，通过视频帧的比较来检测图像变化是一种可行的途径。原理如下：MPEG1视频流由三类编码帧组成，它们分别是：关键帧（I 帧），预测帧（P帧）和内插双向帧（B帧）。I帧按JPEG标准编码，独立于其他编码帧，它是MPEG1视频流中唯一可存取的帧，每12帧出现一次。截取连续的I帧，经过解码运算，以帧为单位连续存放在内存的缓冲区中，再利用函数在缓冲区中将连续的两帧转化为位图形式，存放在另外的内存空间以作比较之用，至
于比较的方法有多种。此方法是对编码后的数据进行处理，而目前的MPEG1/MPEG4编码都是有损压缩，对比原有的图像肯定存在误报和不准确的现象。 目前几种常用的方法： 1.背景减除（Background Subtraction ） 背景减除方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动区域的一种技术。它一般能够提供最完全的特征数据，但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。最简单的背景模型是时间平均图像，大部分的研究人员目前都致力于开发不同的背景模型，以期减少动态场景变化对于运动分割的影响。 2.时间差分（Temporal Difference ） 时间差分（又称相邻帧差）方法是在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并且阈值化来提取出图像中的运动区域。时间差分运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象。 3.光流（Optical Flow） 基于光流方法的运动检测采用了运动目标随时间变化的光流特性，如Meyer[2] 等通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标。该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标。然而，
交通场景中运动目标的检测文献综述 摘要:运动目标检测是数字图像处理技术的一个主要部分,是一种基于视频监控系统的运动目标检测方法。这种算法主要包括：图像预处理、运动目标的检测、运动速度的求取。运动目标分割是实现交通场景下车辆检测的前提。常用的分割方法可以分为背景差分法、帧间差分法和基于光流的分割方法等。 关键词:数字图像处理;运动目标;检测方法 1 前言 运动目标检测是数字图像处理技术的一个主要部分，近些年来，随着多媒体技术的迅猛发展和计算机性能的不断提高，动态图像处理技术日益受到人们的青睐，并且取得了丰硕的成果，广泛英语与交通管理、军事目标跟踪、生物医学等领域。 目前,以数字图像处理技术为核心的视频监视系统越来越广泛地应用到交通监管中,它利用摄像机来获取图像,由计算机完成对运动目标的自动检测,如果车辆交通违规时,自动发出预警,记录全程违章视频,这在很大程度上减轻了监控人员的劳动强度,克服可能的人为失误,而且节省大量存储空间,使存储的数据更为有效,为交通违规的后续处理提供了客观依据。 交通场景中运动目标的检测是本文的研究对象。结合图书馆书籍、网上资料以及现有期刊杂志的相关信息，初步建立起交通场景中运动目标检测课题研究的整体思路和方法。 2 正文 2.1运动目标 运动目标是常生活中常见的．如活动的动物、行驶的运载工具等。在现实生活中，尽管人类的视觉既能看见运动又能看见静止的物体，但是在交通这样的复杂场景中大量有意义的视觉信息都包含在这些运动之中，人们往往只对运动的
物体或目标感兴趣。因此，研究运动目标的检测问题，有着很大的现实意义和应用价值。 2.2运动目标检测的基本概念 目前我们主要是通过对动态图像进行分析处理来获取运动目标信息，从而实现对运动目标的检测，它是图像处理与计算机视觉应用研究领域的一个重要课题。，所谓动态图像是由一序列图像组成的，即图像序列。图像序列是用一个传感器(如摄像机、数码相机)采集的一组随时间变化的图像，不同时刻采集的二帧图像或多帧图像中包含了存在于相机与景物之间的相对运动信息。还有景物本身发生变化的运动信息等等，这些信息表现为图像帧之间的灰度变化或诸如点、线、区域等记号的位置和运动方向速度等属性的变化。 运动目标检测的目的就是从序列图像中将变化区域从背景图像中提取出来。我们首先用摄像机获取运动目标的视频影像，经视频采集卡将视频信号传输到计算机，利用计算机对其进行相关处理，从视频图像中按一定时间间隔获取序列图像，然后通过对这些序列图像进行特定的处理，就可以检测出我们感兴趣的运动目标。 运动目标检测和分析是一种基于视频监控系统的运动目标检测方法。这种算法主要包括：图像预处理、运动目标的检测、运动速度的求取。这种算法在帧差法的基础之上，提取出运动目标，并对其求取运动速度。这种技术可以用于各类图像监控系统，用来检测运动目标，对于现实应用有重要意义。 2.3运动目标检测的基本方法 由运动目标所形成的图像序列可分为两种情况：一种是静止背景，一种是运动背景。前一种情况通常发生在摄像机相对静止状态(如监视某一路口车流量的固定摄像机)，后一种情况通常发生在摄像机也在相对运动状态(如装在卫星或飞机上的监视系统)。从处理方法上看，对前一种情况可采用消除背景的方法检测运动目标，处理起来比较简单，如简单的帧间差分或自适应背景对消方法。对后一种情况．处理起来比较复杂，一般是采用突出目标或消除背景的思想检测运动目标。若采用消除背景的方法，则通常需要先进行帧间稳像及配准；若采用突出
运动目标检测研究意义及国内外现状运动目标检测研究意义及国内外现状 1研究意义...................................................................... (1) 2国内外研究现 状 ..................................................................... . (1) 1研究意义 众所周知，当前是信息时代，信息的获得、加工、处理以及应用都有了飞跃发展。人们认识世界的重要知识来源就是图像信息，在很多场合，图像所传送的信息比其他形式的信息更丰富、真切和具体。人眼与大脑的协作使得人们可以获取、处理以及理解视觉信息，人类利用视觉感知外界环境信息的效率很高。事实上，据一些国外学者所做的统计，人类所获得外界信息有80%左右是来自眼睛摄取的图像。由此可见，视觉作为人类获取外界信息的主要载体，计算机要实现智能化，就必须能够处理图像信息。尤其是近年来，以图形、图像、视频等大容量为特征的图像数据处理广泛应用于医学、交通、工业自动化等领域。 自然界的一切图像都是连续变化的模拟图像，在日常生活中，这些图像中的运动目标往往是我们比较关心的，如:行人、行驶的交通工具以及其他的运动物体。运动目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域。因此，运动目标检测也就成为了近年来理论和应用的研究热点，它是图像处理和计算机视觉学科的重要分支，也是智能监控系统的核心部分。它的目的就是如何快速、准确地检测出监控视频中的运动目标，即从序列图像中将运动目标提取出来。
运动目标检测 跟踪各过程算法综述图像预处理数字图像中的几种典型噪声有:高斯噪声来源于电子电路噪声和低照明度或高温带来的传感器噪声椒盐噪声类似于随机分布在图像上的胡椒和盐粉微粒主要由图像切割引起或变换域引起的误差加性噪声是图像在传输中引进的信道噪声。一般来说引入的都是加性随机噪声可以采用均值滤波、中值滤波、高斯滤波等方法去除噪声提高信噪比。均值滤波在噪声分布较平均且峰值不是很高的情况下能够得到较好的应用中值滤波对尖脉冲噪声的滤除有较好的效果并且能突出图像的边缘和细节高斯滤波对滤除高斯白噪声有较好的效果。运动目标检测背景差分法:能完整、快速地分割出运动对象。不足之处易受光线变化的影响背景的更新是关键。不适用摄像头运动的情况。光流法:能检测独立运动的对象可用于摄像头运动的情况但计算复杂耗时很难实时检测。帧差法:受光线变化影响较小简单快速但不能分割出完整的运动对象需进一步运用目标分割算法。还有一些改进的算法主要致力于减少光照影响和检测慢速物体变化。图像标识图像标识的作用是确定物体是否独立图像中有几个运动目标。 1领域:常取周围的4或8个像素作为领域。 2连通域:二值图像中互相连通的0像素集或1像素集称之为连通域。被1像素包围的0像素叫做孔。1像素连通域不含孔时叫做单连通成分含有一个或多个孔的连通成为叫做多重连通成分。 3标记:差值后的一帧图像可能存在多个连通域每个非连通域对应一个目标图像区给各目标区分配相应标号的工作成为标记。标识过程大致为:按一定顺序逐个扫描像素扫描到1的像素检测其领域的像素值若一样则为连通域并标记为第一个目标然后依次寻找下一个目标。在所有可能的目标都找到了之后可以为每个目标划出一个波门将目标框起来。并建立一个多目标位置链表找到的每一个目标区域的中心位置都作为一个结点加入该链表储存起来。波门的划分有可能将同一个目标分为两个部分或者一个波门里包括了两个目标使得目标数据错误增加或减少所以还要判断当前的目标是属于同一个目标还是不同的目标这将在后面的图像分割中完成。图像分割图像分割用于分离目标和背景的组合或者分离不同目标的组合。图像分割不仅可以大量压缩数据减少储存容量而且能大大简化其后的分析和处理步骤。 1直方图阈值分割法灰度直方图即为灰度级的像素数与灰度的二维关系反映了一副图像灰度分布的统计特性。如果前景物体内部灰度值分布比较均匀背景灰度值的分布也比较均匀这个图像的直方图将有明显的双峰这时可以选择两峰之间的谷底作为阈值。由于直方图不含目标的位置信息还要结合图像的内容来确定。 2最大类间方差阈值分割法利用图像目标与背景这两类的总体灰度之间存在的差距确定阈值从而进行分割。 3区域生长法指将周围特性相似的像素再次合并到目标区域中。 4边缘检测和轮廓提取分割法 5形态学分割法主要作用是使运动目标的区域更加完整。腐蚀的作用是消除物体边界点把小于结构元素的物体去除。如果两物体之间有细小的连通那么当结构元素足够大时通过腐蚀运算可以将两个物体分开。膨胀运算的作用是把图像周围的背景点合并到物体中。如果两个物体比较接近那么膨胀运算可能会使这两个物体连通在一起。膨胀对填补图像的空洞很有用膨胀最简单的应用之一就是将裂缝接起来。形态学也可用于图像滤波、增强等方面。运动轨迹预测在分割出运动目标后应提取出目标的特征然后在下一帧图像中匹配特征从而跟踪目标。但为了减少搜索特征匹配的区域提高实时性在此加入对目标运动轨迹预测这一步骤。运动轨迹预测也有利于增强遮挡情况下跟踪的鲁棒性。 1线性预测算法2Kalman滤波算法及其扩展算法 3粒子滤波算法目标跟踪 1特征选取灰度特
本科毕业设计(论文)开题报告 题目：基于帧间差分法的目标运动检测算法 Frame difference method based on target motion detection algorithm 课题类型：设计□实验研究□论文□ 学生姓名：郭凯 学号： 3100701135 专业班级：计算机101 学院：计算机科学与技术 指导教师：卢桂馥 开题时间： 201年月日
开题报告内容与要求 一、本课题的研究意义、研究现状和发展趋势（文 献综述） 1.1研究意义 在人们感知到的环境信息中，视觉信息占了很大的比重，其中动态视觉信息更是其主要组成部分。感知环境中的这些动态视觉信息己成为计算机视觉的一个重要的研究方向。在现实生活中，大量有意义的视觉信息都包含于运动之中。尽管人类视觉既能看见运动又能看见静止的物体，但是在许多场合，比如航空和军用飞机的制导、交通流量的监测、重要场所的保安以及汽车的自动驾驶和辅助驾驶等等，人们往往对运动的物体更感兴趣。 运动目标检测与跟踪是近些年来图像处理和计算机视觉领域的一个非常活跃的分支，是动态图像分析的基础。目标的运动图像序列提供了比目标静止时更多的有用信息，使得我们可以利用运动目标检测与跟踪技术获得比静止图像更有实用价值的信息。 运动目标检测和运动目标跟踪两方面具有非常紧密的关系。做为运动目标跟踪的基础，运动目标检测是实时的在被监视的场景中检测运动目标，并将其提取出来。而运动目标跟踪是做为衔接运动目标检测和上层的目标行为分析和理解的一个重要环节。所谓运动目标跟踪，就是在运动目标检测的基础上，利用目标有效特征，使用适当的匹配算法，在序列图像中寻找与目标模板最相似的图像的位置，简单的说就是给目标定位。在实际应用中，运动目标跟踪不仅可以提供目标的运动轨迹和准确定位目标，为下一步的目标行为分析与理解提供了可靠的数据来源，而且也可以为运动目标检测提供帮助。 综上，对运动目标检测与跟踪有关算法的研究具有重大的理论价值和现实意义。 1.2研究现状和发展趋势 1.2.1研究现状 近些年来，世界各地的学者们针对视频图像中的运动目标检测 与跟踪问题做了大量而深入的研究，提出了许多行之有效的方法，也取得了一定的进展，但到目前为止，还没有出现能够适用于各 种场合、各种情况的通用算法。现今的各种算法在稳健性、准确性、可靠性等方面还有着这样、那样的不足。困难主要在于视频 中存在着各种干扰因素，这些因素包括：运动目标的位移或者自 身的形变、成像传感器本身的固有噪声、照明情况的变化、背景 中的杂波、运动目标的自遮挡或者互遮挡等。这些问题有待我们 进一步研究。
1 绪论 1.1 课题研究背景及意义 运动目标检测是图像处理与计算机视觉的一个分支，在理论和实践上都有重大意义，长久以来一直被国内外学者所关注。在实际中，视频监控利用摄像机对某一特定区域进行监视，是一个细致和连续的过程，它可以由人来完成，但是人执行这种长期枯燥的例行监测是不可靠，而且费用也很高，因此引入运动监测非常有必要[1]。它可以减轻人的负担，并且提高了可靠性。概括起来运动监测主要包括三个内容[2]：运动目标检测，方向判断和图像跟踪。运动目标检测是整个监测过程的基础，运动目标的提取准确与否，直接关系到后续高级过程的完成质量。 1.2 国内外研究现状 运动目标检测在国外已经取得了一些的研究成果[3]，许多相关技术已经开始应用到实际系统中，但是国内研究相对落后,与国外还有较大差距。传统的视频目标提取大致可以分两类,一类以空间同性为准则,先用形态学滤波器或其他滤波器对图像作预处理;然后对该图像的亮度、色度或其他信息作空间上的分割以对区域作边缘检测;之后作运动估计,并合并相似的运动区域以得到最终的提取结果。如光流算法、主动轮廓模型算法。此类方法结果较为准确但是运算量相对较大。另一类算法主要以时间变化检测作为准则,这类算法主要通过帧差检测图像上的变化区域和不变区域,将运动物体与静止背景进行分割。此类方法运算量小,提取结果不如前类方法准确。此外,还有时空结合方法、时空亮度梯度信息结合的方法等等[4]。本文将围绕以时间变化监测为基础的方法展开分析和讨论。 1.3 本文结构 第1章介绍了本文的研究意义及国内外发展状况；第2章分为四个部分详细讲述了运动目标检测的方法，介绍了背景提取与更新算法，检测算法，阈值选取，形态学滤波等；第三章对全文作出了总结。
Moving Object Detection in Stationary Scene 摘要：随着计算机技术的不断提高，智能视频监控技术得到了很好的发展, 过去依靠人力监控视频中出现的人或汽车等既浪费人力物力，又不够准确，很容易发生遗漏，而智能监控就不存在这种问题，只需在程序中设定报警条件即可，能够准确地达到实时监控的目的。现在智能视频监控逐渐应用于城市道路、小区、银行等重要场所及对场景中的异常事件或人的异常行为的监控中, 应用前景广泛，正在逐步取代靠人力来观察视频信息。智能视频监控相比过去常用的靠人来监测的最重要的不同就是识别出需要监控的对象，通常是运动目标的提取。在本文中利用matlab视频处理功能，通过matlab程序来获取视频，使用背景减差法来检测出运动目标提取静止背景中的运动目标，并将结果显示出来，以进行进一步的分析处理。 关键字：视频监控；目标提取；静止背景；matlab；目标识别；背景减差法
基于视频的运动目标主要提取方法 目标检测是计算机视觉的一个重要组成部分，在军事及工业等领域有着重要的应用前景。运动目标的检测方法主要有光流法，差值法。光流法的计算量很大，实时性和应用性较差。而图像差值法比较简单，实时性较好，是目前应用最广泛，最成功的运动目标检测的方法。图像差值法可分为两类，一类是用序列图像的每一帧与一个固定的静止的参考帧做图像差分，但自然场景不是静止不变的，因而必须不断的更新背景。另一类是用序列图像的两帧进行差分，这种方法无法检测出两帧图像中重合的部分，只能检测出目标的一部分信息。在绝大多数视频监控图像应用中，每一个像素都可以用一个或多个高斯模型近似，因此，高斯背景模型是绝大多数目标检测方法常用的基本模型。许多学者对基于高斯混合背景模型的背景消除法作了改进并取得了较好的效果。Stauffer 等人提出了采用自适应混合高斯模型，作为背景统计模型的算法；Power 等人详细的讨论了混合高斯模型，并对模型中的参数选择及更新提出了很好的建议。Monnet 等人在文献[3]中对摆动的树叶，水纹的波动等动态纹理干扰作了深入研究，提出了在线的自动聚类模型来获得并预测场景中的这些变化以减少干扰。然而，由于光照条件的影响，大多数图像都存在阴影，阴影的存在干扰了目标的检测，使检测到的目标与真实的目标形状相差很大，这对后续处理如目标识别、行为判断等会产生很大的影响。混合高斯模型无法消除阴影的干扰，因此找到阴影消除的方法变得非常重要。近年来，提出了很多阴影消除方法，毛晓波提出了基于最大色度差分的阴影检测方法，A. Leone提出了基于纹理分析的阴影消除方法，通过分析纹理信息获取前景目标并消除阴影，取得了较好的效果。 运动目标检测常用的方法一般分为两大类，一种是基于特征的方法，另一种是基于灰度的方法。基于特征的方法是依据图像的特征来检测运动目标，它多用于目标较大、特征容易提取的场合。基于灰度的方法一般是依据图像中灰度的变化来检测运动目标。目前基于视频的检测方法主要有: 基于帧间差分的方法、基于光流场的方法、基于背景差的方法等。帧间差分法是基于运动图像序列中相邻两帧图像间具有强相关性而提出的检测方法, 具有很强的自适应性。但如果物体内部灰度分布均匀这种方法会造成目标重叠部分形成较大空洞，严重时造成目标分割不连通，从而检测不到目标。 光流场法是基于对光流的估算进行检测分割的方法。光流中既包括被观察物体的运动信息, 也包括有关的结构信息。光流场的不连续性可以用来将图像分割
——人形目标检测与跟踪
一、 本组研究方案，算法系统框图 二、 检测算法、原理、程序实现方法、调试过程 【视频处理】 老师提供的两端视频两段视频并不能直接用来输入OpenCV 所编程序处理，需要将其转化为无压缩的avi 格式。利用软件WinAVI Video Converter ，转换为ZJMedia uncompressed RGB24格式。 【背景建模】 我们小组利用N 帧图像的平均来求取背景，并实时对背景进行更新。由于考虑到ExhibitionHall.avi 视频中运动物体所占场景比例少，运动轨迹为直线，为了处理的简单，所以在这不刻意区分物体和背景像素点。即(1)(1)()()A A A B k B k I k αα+=-+ ，这里的α 很小（0.003） 。 【前景提取】 灰度图像的处理比彩色图像的处理过程简单。我们小组将读入的彩色图像变成灰度图像，并二值化；同样，背景也进行二值化。两者做差值，得到一些离散的黑白点块。也就
是要识别的目标。但是，这样得到的块是分散开的，程序 整的人形被分块识别成多个目标。为此，我们做了一些简 单的后处理。先腐蚀元素，去除不必要的杂点，然后进行 膨胀块处理，自定义块的大小，使其膨胀成能被识别成一 个人形的目标。另外，我们还做个简单的高斯低通滤波， 是得到的结果光滑些。其流程图如右。 【目标检测】 根据前景处理的结果，得到一些连续的块目标。利用帧间差，可以提取出目标的轮廓。根 据轮廓的位置分布，计算出检测目标的形心和大小。并予以标记。 【目标跟踪】 根据目标帧间的位移差值，可以计算出运动目标在x，y方向上的运动速度。可以利用这 个关系判断下一帧目标的位置。设置一个合适的阈值，就可以实现目标的跟踪。在此，我们还 引入了重叠判断机制。如果目标重叠，即通过遍历，发现块重叠大于一定阈值后，根据前面得 到的位置预测判断当前物块位置；如果不重叠，则遍历这幅图像中的所有物块，寻找临近最优 物块，以保持编号连续性。在目标跟踪过程中，还进行了Kalman滤波，对目标轨迹进行滤波 处理。
2017年第1期 信息通信2017 (总第 169 期）INFORMATION&COMMUNICATIONS(Sum.N o169) 运动目标检测算法研究综述 程爱灵，黄昶，李小雨 (华东师范大学，上海200241) 摘要:运动目标检测技术是计算机视觉的基础，是一个十分有研究意义且很有挑战性的问题。文章从当前运动目标检测 问题的相关方法进行分析研究。首先详细介绍了光流法、帧差法和背景差法的算法原理。然后对比了几种算法的优缺 点，介绍各算法的适用场景。最后针对研究过程面临的难题，展望了运动目标检测技术新的发展趋势。 关键词：图像处理;光流;运动目标检测；巾贞差法；背景差法 中图分类号:TP391 文献标识码:A文章编号：1673-1131(2017)01-0012-03 〇引言 计算机视觉的最终目的就是使用计算机等智能设备来代 替人去对周围环境进行感知、解释及应答。随着科学技术的 发展，计算机视觉在越来越多的领域内得到了使用。其中智 能视频监控更是在军事、安保、医学和科研等领域被广泛地使 用。在智能视频监控中，运动目标的检测与跟踪算法是系统 的核心。视频图像的目标检测技术则更是理解图像的基础。 运动目标检测就是在寻找存在运动的区域，检测到的运 动区域可以为后续的目标识别和跟踪，行为分析等任务提供 可参考的区域[1]。通常视频图像被分为两种:一种是背景是静 态的视频，比如监视某一个固定场景;另一种是背景是动态的 视频，比如对目标进行跟踪运动的摄像机拍到的视频。在实 际生活中其实不会存在完全静止的背景，由于天气和光照的 变化，运动目标阴影、干扰物等的影响背景也是动态变化的，这使得运动目标检测在实现过程中有很多的制约和挑战。主 要的检测算法有光流法、帧差法和背景差法三种。 1光流法 1.1基本概念 光流是空间运动物体被观测面上的像素点运动产生的瞬 时速度场，包含了物体表面结构和动态行为的重要信息[2]。视 觉心理学认为人与被观测物体存在相对运动时，被观察物体 表面带光学特征(如亮度/灰度信息)部位的运动能提供物体的 运动和结构信息，即当人眼（摄像机）与场景中物体存在相对 运动时，物体带光学特征部分的移动投影到视网膜平面(成像 平面)上就形成了光流场。 光流法的基本原理是：为图像中的每一个像素点赋予一 个运动矢量。动态分析各像素点的速度矢量。如果图像中没 有目标运动时光流矢量在整个图像中是连续变化的；当图像 中存在运动目标时，运动目标形成的矢量场必定与背景的速 度矢量场不同，由此即可求出运动目标的位置。 1.3几种常见的光流法 常见的光流法有微分法中的H S算法、L K算法和基于块 匹配的模板匹配算法。 (1)H S算法。 Horn和Schunck在基于亮度恒定的光流基本约束方程的 基础上假设光流在整个图像上平滑变化，提出了全局平滑性约 束。即假设光流场满足光流基本方程的同时也要满足全局平 滑性[3]。这就要保证光滑性的误差尽可能的小，误差由下式求得: 保证亮度恒定要求光流基本约束方程的误差尽可能小，误差由下式求得： Ec(w,v)= \^I x u+1 y v+1]2dxdy(2) 联立公式(1)和(2)，HS光流法中的光流应该满足取下式 的最小值： 心加)=>[(|(/，+^+’,)2+乂〔-)+〔轰〕+图+〔|)卜 式中A为平滑控制参数，决定着E c和E s两种误差之间 的权重。 (2)L K算法。 由Lucas和Kanade提出的LK算法与H S算法不同，它 1.2算法原理 光流中包含了物体的运动信息，因此可以用来检测图像 序列的运动目标。光流法的核心就是求解运动物体的光流信 息，即速度。物体在三维空间的运动一般都是相对连续的，因此物体在运动过程中在成像平面所投影的图像也是连续变化 的。假设：相邻帧图像的亮度恒定；相邻帧的获取时间连续; 保持空间一致性，即同一物体成像的像素有相同的运动。由此可以推导出光流的基本方程。 设t时刻图像坐标为(x，y)的点P的灰度值是I(x,y,t)，经过 d t后，有水平方向和垂直方向的运动分量分别为u和V，则有 w=去，v=泰P点的灰度值为I(x+dx，y+dy,t+dt)。当dt—0时，灰度值保持不变，即I(x,y,t)= I(x+dx，y+dy，t+dt)，用泰勒公式展开，忽略二阶无穷小量得到光流约束的基本方程：引入了局部平滑性约束，假设在局部空间n上运动矢量保持恒 定，使用加权最小二乘法估计光流。 L K算法的误差ELK可由下式求得： Enc v) =j j w 2 (x,y)?(Ixu + I yv + I t f dxdy(3) 式中，W(x,y)= {W i|i=l，2,…,n}是邻域Q内n个点的权重，靠 近中心的加权要比周围大。求解(x，y)处L K光流的过程就是 求解上式最小值的过程。 (3)模板匹配法。 模板匹配法在给定的两帧图像L和L中以I I的像素点(X，y)为中心建立(2n+l)*(2n+l)的区域Wi，在12图像中对应的以 像素点(x，y)为中心建立(2N+1)*(2N+1)的区域w2中搜索最佳 匹配位置(N>n)。定义归一化相关系数公式： n ^l i x+ hy+ J^xI^x+ u+ Uy+ v+ j) ^ I n J( X Ji2(x+^y+^x Y,I2(x+u+i^y+v+J) V i，卜_n 1 2