视频中移动目标检测综述
- 格式:pdf
- 大小:1.15 MB
- 文档页数:17
视频监控系统中的移动目标检测与跟踪技术研究随着科技的快速发展,视频监控系统已成为现代社会中不可或缺的一部分。
在安防、交通管理、智能家居等领域中,视频监控系统能够及时检测和跟踪移动目标,有效提高安全性和管理效率。
移动目标检测与跟踪技术作为视频监控系统中的关键技术,具有广泛的应用前景。
移动目标检测是指在视频监控系统中通过算法或模型检测出视频中的移动目标,并给出其准确的位置信息。
在传统的视频监控系统中,通常需要人工进行观察并进行目标识别,但这样的方法存在人力不足、观察效果随着观察者状态变化而变化等问题。
移动目标检测技术的出现解决了这些问题,能够在实时性和准确性上远远超越人工观察。
在视频监控系统中,移动目标检测技术可以基于传感器数据(如传统摄像机、红外传感器等)或图像(如视频帧)进行。
传感器数据能够提供目标的位置、大小、速度等信息,图像则能提供目标的外观特征。
目前,常用的移动目标检测算法包括背景差分法、帧间差分法、基于纹理信息的检测法以及基于深度学习的检测法等。
背景差分法是一种基于传感器数据的移动目标检测方法,它通过建立一个背景模型来对图像中的目标进行检测。
该方法通过比较当前图像和背景模型之间的差异,将超过某个阈值的差异视为移动目标。
然而,背景差分法容易受到环境光线变化、背景的复杂性等因素的影响,导致检测结果不够准确。
帧间差分法通过相邻帧之间的差异来检测移动目标,相比于背景差分法,它可以有效克服背景变化的影响,得到更准确的检测结果。
除了传感器数据,基于图像的移动目标检测方法也得到了广泛的研究。
基于纹理信息的检测法通过提取图像中的纹理特征,如灰度、方向梯度等,利用这些特征来判断目标是否为移动目标。
这种方法适用于纹理信息明显的目标,但对于纹理信息不明显或者目标相似的情况,会出现检测精度不高的问题。
近年来,基于深度学习的检测法在移动目标检测中取得了显著的成果。
深度学习模型能够通过大量的样本学习到目标的特征表示,从而准确地识别出移动目标,不受纹理和外观的限制。
基于视频的运动目标检测概述视频的运动目标检测是计算机视觉领域中的重要问题之一,是计算机对连续帧图像中的运动目标进行自动检测和跟踪的过程。
它在许多应用中起着关键作用,如视频监控、自动驾驶、人机交互等。
本文将对视频的运动目标检测进行概述,重点介绍其基本原理、常用方法以及现有的挑战和发展方向。
首先,视频的运动目标检测可以分为两个主要步骤:目标检测和目标跟踪。
目标检测是指在每一帧中找到属于运动目标的像素或区域,而目标跟踪是指在连续帧之间跟踪目标的位置和形状。
这两个步骤通常是连续进行的,以实现对视频中目标的准确检测和跟踪。
在目标检测中,有许多经典的方法。
其中一种常见的方法是基于背景建模的方法,它假设背景是静态的,通过建模背景来提取前景目标。
背景建模方法包括基于帧差法、基于基于高斯混合模型(GMM)的方法等。
另一种常见的方法是基于特征的方法,它通过提取图像中的特征,如颜色、纹理和形状等,来区分目标和背景。
基于特征的方法包括基于像素级的方法、基于区域的方法和基于深度学习的方法等。
在目标跟踪中,也有许多经典的方法。
其中一种常见的方法是基于卡尔曼滤波器的方法,它通过估计目标的状态变量和噪声方差来预测和更新目标的位置。
另一种常见的方法是基于粒子滤波器的方法,它通过使用一组粒子(即候选目标的样本)来估计目标的位置和形状。
此外,还有一些基于外观模型的方法,它们以目标在每一帧中的外观为基础,进行目标跟踪。
然而,视频的运动目标检测仍然存在一些挑战。
首先,复杂的场景和背景变化可能导致目标检测的错误和漏检。
其次,目标的运动速度和尺度变化可能导致目标的丢失和跟踪的困难。
此外,视频中的遮挡、部分遮挡和目标变形等问题也会影响目标的检测和跟踪精度。
因此,如何提高运动目标的检测和跟踪的精度和鲁棒性仍然是一个挑战。
未来,视频的运动目标检测在几个方面有着巨大的发展潜力。
首先,深度学习技术已经在图像目标检测和跟踪中取得了巨大的成功,将其应用于视频的运动目标检测可以进一步提高准确性和鲁棒性。
视频目标检测与跟踪算法综述1、引言运动目标的检测与跟踪是机器视觉领域的核心课题之一,目前被广泛应用在 视频编码、智能交通、监控、图像检测等众多领域中。
本文针对视频监控图像的运动目标检测与跟踪方法,分析了近些年来国内外的研究工作及最新进展。
2、视频监控图像的运动目标检测方法运动目标检测的目的是把运动目标从背景图像中分割出来。
运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。
目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。
背景的复杂性主要体现在背景中一些噪声对目标的干扰,目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。
所有这些特点使得运动目标的检测成为一项相当困难的事情。
目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法,其中背景减除法是目前最常用的方法。
2.1 帧差法帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标,假设(,)k f x y 和(1)(,)k f x y +分别为图像序列中的第k 帧和第k+1帧中象素点(x ,y)的象素值,则这两帧图像的差值图像就如公式2-1 所示:1(1)(,)(,)k k k Diff f x y f x y ++=- (2-1)2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域(背景象素值不变),又因为相邻视频帧间时间间隔很小,目标位置变化也很小,所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。
利用此原理便可以提取出目标。
下图给出了帧差法的基本流程:1、首先利用2-1 式得到第k 帧和第k+1帧的差值图像1k Diff +;2、对所得到的差值图像1k Diff +二值化(如式子2-2 示)得到Qk+1;3、为消除微小噪声的干扰,使得到的运动目标更准确,对1k Q +进行必要的滤波和去噪处理,后处理结果为1k M +。
111255,,(,)0,,(,)k k k if Diff x y T Q if Diff x y T+++>⎧=⎨≤⎩ (T 为阈值) (2-2)帧差流程图从结果看在简单背景下帧差法基本可检测到运动目标所在的位置,而且计算简单,复杂度低。
视频监控图像的移动目标检测与跟踪随着科技的不断进步,视频监控系统的应用越来越广泛。
在大型公共场所、企事业单位、交通枢纽等地,视频监控已经成为重要的安全管理措施之一。
视频监控系统利用摄像机采集实时场景图像,并通过图像处理和分析技术对图像内容进行检测与跟踪,以实现对目标行为的智能分析和预警。
视频监控图像的移动目标检测与跟踪是视频监控系统中的关键技术之一。
它主要通过对视频图像中的目标进行检测和跟踪,实现对目标的有效定位和追踪。
移动目标检测与跟踪技术可以广泛应用于安防领域、交通管理领域等,提高社会安全和管理水平。
移动目标检测是指从视频图像序列中检测出所有运动的目标物体,将其与背景相区分出来。
在实际应用中,移动目标通常包含行人、车辆等。
移动目标检测的原理可以基于背景建模、光流法、基于像素强度变化的方法等。
其中,背景建模是一种常用方法,它通过对图像序列中静态背景的建模,检测出与背景有明显变化的目标。
在移动目标检测的基础上,移动目标跟踪技术可以实现对目标的精确定位和轨迹追踪。
移动目标跟踪的主要任务是在视频图像序列中通过连续帧之间的相似性分析,追踪目标物体的位置、速度以及形状变化等信息。
在实际应用中,移动目标跟踪可以分为跟踪-by-detection和跟踪-by-regression等方法。
跟踪-by-detection方法是通过目标检测算法检测每一帧中的目标,再利用目标的位置信息进行跟踪。
而跟踪-by-regression方法则是利用目标的运动学模型和外观信息,在每一帧中更新目标的位置。
在移动目标检测与跟踪技术中,一些先进的深度学习算法被广泛应用。
深度学习网络可以自动从数据中学习特征,并具有强大的图像识别能力。
通过使用深度学习网络,可以有效地提高目标检测与跟踪的准确性和稳定性。
常用的深度学习模型包括卷积神经网络(Convolutional Neural Network, CNN)、循环神经网络(Recurrent Neural Network, RNN)等。
视频信号的移动目标检测与辨识专业:姓名:指导教师:摘要基于视频的移动目标检测与辨识是一个重要的任务,在应用中都起到关键的作用。
基于底层视频信息的检测即是移动目标检测,对应移动区域的像素是图像处理过程中的主要考虑因素,移动地方域的提取对于移动地区的改变、移动目标的行踪等工作具有重要的意义。
移动目标检测应用广泛,例如军事侦察、交通检测和智能监控等领域。
目前最重要的问题是怎么样来提高检测算法准确度和效果。
本次论文写作主要类容是讨论如何从移动视频中提取人脸图像,以及对人脸的检测与定位辨识。
在文中总结了视频中移动目标检测与辨识的一些主要方法以及各自的优劣。
把场景辨识功能添加到新的视频信号的移动目标检测算法中,可以提高检测效率、检测速度,加快处理时间。
新算法比较于以前算法对被检测物体的多样性、适应性更强。
在分析了几种图像预处理方法之后,利用MATLAB集多种预处理方法于一体,实现了人脸图像预处理通用仿真系统,在人脸识别系统之中嵌入该系统作为图像预处理模块,同时,利用灰度图像的直方图来进行比对并实现人脸图像的定位辨识。
关键词视频,目标检测,背景差分,adaboost算法ABSTRACTVideo-based moving target detection and recognition is an important task to play a key role in the application. Based on the detection of the underlying video information that is moving target detection, Corresponding pixel of the mobile region is a major consideration in image processing, Effective extraction of the mobile region is of great significance for the classification of moving targets, moving target tracking. Moving target detection is widely used, Such as military surveillance, traffic detection and intelligent surveillance areas. The most important question is how to improve the accuracy and efficiency of video detection algorithm. The thesis writing class capacity is to discuss how to extract the face image from the mobile video, as well as face detection and location identification. This paper summarizes the video moving target detection and identification methods and their respective merits. Scene Recognition feature added to the new video signal of moving target detection algorithm can improve the detection efficiency, test speed, speed up processing time. The new algorithm comparison to is examined in the traditional algorithm the object the multiplicity, the compatibility is stronger. In the analysis of several image preprocessing methods, MATLAB sets a variety of pretreatment methods on one face image preprocessing, general-purpose simulation system, the system is embedded into the face recognition system as the image pre-processingmodule, At the same time, use the histogram of the gray-scale images than the positioning of the face image recognition.Key word:Video frequency Target examination Background difference Adaboost algorithm目录1.背景及现状 (5)2 视频信号移动检测的常见计算方法 (6)2.1 图像序列差分法 (6)2.2 光流法 (8)2.3 帧间差分法 (9)2.4 背景差分法 (10)2.5 Adaboost算法 (11)3 基于Adaboost算法的视频目标检测辨识技术 (13)3.1 Adaboost算法的基本训练步骤 (13)3.2 AdaBoost算法检测的主要原理 (14)3.3 检测辨识程序的技术实现 (17)3.3.1 目标检测 (17)4 目标检测辨识算法过程 (18)4.1 特征脸算法 (18)4.1.1视频中图像的提取 (20)4.1.2图像类型转换 (20)4.1.3图像增强 (21)4.2人脸检测定位算法 (23)4.3 仿真结果 (24)4.4 本章小结 (27)5 总结 (28)答谢 (29)参考文献 (30)附录人脸检测辨识的matlab程序 (31)1.背景及现状从目前来看,由于计算机还需要人来操作,不具备像人类思维的东西,计算机还只是一个需要人来参与的工具,接收信息还只能靠键盘、文件输入,却不能主动获取信息并像人一样能够进行自主处理。
视频图像中运动目标检测与跟踪方法研究视频图像中运动目标检测与跟踪方法研究目前,随着无人驾驶、智能监控系统、机器人等领域的发展,视频图像中运动目标检测与跟踪技术显得十分重要。
运动目标检测与跟踪是指在视频图像中,通过计算机视觉技术准确地识别和跟踪移动的目标物体。
本文将深入探讨视频图像中运动目标检测与跟踪的方法及其研究现状。
一、运动目标检测方法研究1. 光流法:光流法是一种基于像素的运动目标检测方法,通过计算相邻帧之间像素的位移,来估计目标物体的运动方向和速度。
该方法基于前提假设,即视频中的相邻帧之间的像素强度不会发生变化。
然而,在实际应用中,由于光照变化、遮挡等因素,光流法往往无法准确估计目标物体的运动。
2. 背景建模法:背景建模法是一种基于像素的运动目标检测方法,通过对视频图像中的背景进行建模,将与背景差异较大的像素判定为运动目标。
背景建模法可以通过统计学方法或者机器学习方法来建模背景,然后利用背景模型与当前帧进行比较,以得到运动目标。
然而,背景建模法对于光照变化、摄像机抖动等因素比较敏感,导致检测结果不够准确。
3. 全局运动目标检测法:全局运动目标检测法是一种基于区域的运动目标检测方法,通过将视频图像划分为多个小区域,对每个区域进行运动分析,以判定是否存在运动目标。
该方法可以克服背景建模法的不足,具有较好的适应性和准确性。
二、运动目标跟踪方法研究1. 卡尔曼滤波器:卡尔曼滤波器是一种常用的运动目标跟踪算法,通过对目标的状态进行估计和预测,来实现目标的跟踪。
卡尔曼滤波器通过动态模型和观测模型对目标的运动进行建模,然后通过观测数据对目标的状态进行更新。
然而,卡尔曼滤波器对于非线性问题的跟踪效果较差。
2. 粒子滤波器:粒子滤波器是一种基于蒙特卡洛采样的运动目标跟踪算法,在复杂背景和非线性目标跟踪中表现出较好的效果。
粒子滤波器通过随机采样的粒子对目标状态进行估计,并根据观测数据进行更新。
然而,粒子滤波器的计算复杂度较高,且对于目标缺失或者遮挡情况处理不佳。
视频监控中的移动目标检测与轨迹跟踪技术研究随着科技的不断发展和应用的广泛普及,视频监控系统逐渐成为各个领域中不可或缺的一部分。
视频监控系统可以通过传感器捕捉到的视频数据,对特定区域内的目标进行实时跟踪和监测。
其中,移动目标检测与轨迹跟踪技术是视频监控系统中非常重要的一部分。
移动目标检测是视频监控系统中最基础的功能之一。
主要目的是通过对连续帧图像进行处理,从图像序列中提取出移动的目标,以便后续的跟踪和分析。
移动目标检测技术通常分为基于背景建模的方法和基于运动信息的方法两种。
基于背景建模的移动目标检测方法是目前应用较广泛的一种方法。
该方法利用静态背景假设,通过对视频序列中每一帧图像与静态背景模型进行比较,来检测出移动的目标。
其中,常用的背景建模算法有基于统计模型的高斯混合模型(GMM)和自适应学习背景模型(ABM)等。
这些算法通过对每一像素点的建模,将像素与背景之间的差异作为目标的标志。
除了基于背景建模的方法,基于运动信息的移动目标检测方法也得到了广泛的应用。
该方法通过对视频序列中像素点的运动状态进行分析,来检测出移动的目标。
常见的方法有光流法、帧间差法、帧间预测法等。
这些方法通过对连续的图像帧进行比较或者分析序列中的光流变化来确定移动目标。
移动目标检测仅仅是视频监控系统中的第一步,仅仅检测到移动目标是不够的,还需要对其进行实时跟踪和轨迹分析。
轨迹跟踪技术是根据目标在视频序列中的运动状态,对其进行连续跟踪的一种方法。
主要有基于特征匹配的方法、卡尔曼滤波器以及粒子滤波器等。
基于特征匹配的轨迹跟踪方法是一种常用且有效的方法。
该方法通过提取目标的特征点,如颜色、纹理和形状等,并在连续帧之间进行匹配,从而得到目标的轨迹。
在这个过程中,可以采用一些特征描述算子,如SIFT、SURF和HOG等,来提取目标的特征点,进而实现准确的目标跟踪。
另外,卡尔曼滤波器也广泛应用于目标跟踪领域。
卡尔曼滤波器是一种用于处理线性动态系统中的估计和预测的算法。
基于视频的运动目标检测与跟踪技术研究基于视频的运动目标检测与跟踪技术是计算机视觉领域中一个重要的
研究方向。
该技术可以应用于很多应用领域,如智能监控、视频分析、无
人驾驶等。
本文将对基于视频的运动目标检测与跟踪技术进行综述,主要
包括目标检测方法、目标跟踪方法及其应用。
首先,目标检测是指在视频流或图像序列中找出感兴趣的目标并标记
出来。
目标检测方法主要可以分为两类:基于区域的方法和基于深度学习
的方法。
基于区域的方法主要是通过计算图像中的特征,如颜色、纹理等,来判断是否为目标。
常用的算法有Haar特征、HOG特征等。
而基于深度
学习的方法则是通过训练深度神经网络来实现目标检测,如Faster R-CNN、YOLO等。
其次,目标跟踪是指在视频序列中追踪目标的位置和姿态。
目标跟踪
方法主要可以分为两类:基于特征的方法和基于学习的方法。
基于特征的
方法主要是通过提取目标的特征,如颜色、纹理、形状等,来进行目标跟踪。
常用的算法有卡尔曼滤波、粒子滤波等。
而基于学习的方法则是通过
训练机器学习模型来实现目标跟踪,如支持向量机、深度神经网络等。
综上所述,基于视频的运动目标检测与跟踪技术是一个具有广泛应用
前景的研究方向。
随着计算机硬件和算法的不断进步,该技术在各个领域
都有望得到更广泛的应用,并为我们的生活带来更多的便利。
视频监控系统中的移动目标检测算法研究视频监控系统在现代社会中扮演着重要的角色,它能够为社会大众带来更高程度的安全保障。
而在这个过程中,移动目标检测算法就扮演着至关重要的角色。
本文旨在通过深入研究视频监控系统中的移动目标检测算法,来探究其技术基础和实现方法,以及对现有工业应用的影响和未来发展前景。
一、移动目标检测算法的意义移动目标检测算法是指利用计算机对视频监控画面中的移动目标进行实时检测的技术方法。
这种技术的最初应用可以追溯到上个世纪末,而在当今以互联网智能化为基础的新时代,其地位越来越重要。
通过移动目标检测算法,监控系统可以更加准确地识别和定位运动物体。
在传统监控系统中,当出现异常情况时需要人工分析影像并判断是否产生了风险。
而使用移动目标检测算法,相较之下更加准确快速且具备灵活性,从而能够及早发现出现的一切风险,保障生命财产安全和社会稳定。
二、移动目标检测技术的基础移动目标检测技术的实现基础主要分为以下几部分:1、前景检测前景检测是实现目标检测的前提,对于静态场景,帧间差分法是一种常见的方法。
对于动态场景,广泛采用基于背景建模的方法。
通过对背景模型和当前图像像素差异的分析,实现目标区域的前景检测。
2、运动目标跟踪对于多出现目标情况,需在前景检测的基础之上,实现单一或多目标的运动跟踪,一般采用卡尔曼滤波算法等方法。
3、目标检测目标检测算法主要采用模板匹配和特征检测方法。
其中模板匹配方法将待检测的目标模板与图像匹配,以完成目标检测的准确定位。
特征检测算法采用对特征点的检查和分析,完成目标检测和局部捕捉,具有更好的鲁棒性。
4、算法优化移动目标检测算法的优化包含两个方面。
首先需要选择计算性能较高的识别算法和处理模式,以降低运算时间和准确性。
其次需要针对不同场景进行优化调整,以提高算法的鲁棒性和定位准确度。
三、目前移动目标检测算法的研究热点由于移动目标检测算法在实际场景应用中存在着许多技术问题,因此一直存在着大量的研究热点。
目标检测发展综述1. 引言1.1 目标检测发展综述目标检测是计算机视觉领域的重要研究方向,其发展历程经历了多年的探索和进步。
通过对图像或视频中的目标进行检测和识别,目标检测技术可以广泛应用于人脸识别、智能监控、自动驾驶等领域。
随着深度学习和神经网络的兴起,目标检测技术取得了巨大进展,实现了更加准确和高效的目标检测效果。
在目标检测的历史背景中,传统的目标检测方法主要依赖于手工设计的特征和分类器,但存在着准确率不高和鲁棒性差的问题。
随着深度学习技术的发展,基于深度神经网络的目标检测方法取得了突破性进展,如Faster R-CNN、YOLO、SSD等。
这些方法在准确率和速度上都取得了显著的提升,成为目标检测领域的研究热点。
目标检测的应用领域非常广泛,涵盖了交通监控、智能安防、医疗图像分析等多个领域。
随着物联网、大数据等技术的快速发展,目标检测技术也在不断拓展新的应用场景。
目标检测仍面临着诸多挑战,如遮挡、姿态变化、光照变化等,未来需要不断优化算法和提升性能以应对挑战。
目标检测技术在计算机视觉领域发展迅速,具有重要的应用前景和社会意义。
随着深度学习技术的不断进步和应用,目标检测将在未来实现更广泛的应用和更高水平的精度,为人类社会带来更多便利和效益。
2. 正文2.1 目标检测的历史背景目标检测的历史背景可以追溯到上个世纪五六十年代,当时计算机视觉领域刚刚起步。
最早的目标检测方法是基于简单的特征匹配和模板匹配,如采用灰度直方图、颜色直方图等来检测目标。
随着计算机硬件性能的提升和图像处理算法的发展,目标检测技术不断演进。
在上世纪90年代初,神经网络技术的兴起推动了目标检测方法的进步。
研究者开始尝试将神经网络应用于目标检测中,比如LeCun等人提出的卷积神经网络(CNN),为目标检测技术的发展开辟了新的路径。
随后,随着深度学习方法的兴起,目标检测技术取得了巨大的突破。
像RCNN、Fast RCNN、Faster RCNN等基于深度学习的目标检测方法相继被提出,大大提高了目标检测的准确率和效率。
基于视频的移动目标检测论文研读报告苏航00748178智能科学系信息科学技术学院北京大学摘要基于视频的移动目标检测是一个重要且有挑战性的任务,在许多应用中都起到相当关键的作用。
本次论文研读围绕该主题展开,深入阅读了十余篇论文,在本文总结了视频中移动目标检测的一些主要方法及各自的优劣,并将几个重要的方法大致分为了两个不同的类别:基于像素的移动目标检测和基于区域的移动目标检测。
在基于像素的方法中,图像特征完全由各个像素的坐标及灰度值(或颜色值)确定,而在基于区域的方法中,各个像素属性之间的关联成为主要特征来用以提取移动目标。
另外本文还讨论了以上两类之外的一些方法。
关键词视频移动目标检测背景差分高斯混合模型直方图正文1 引言基于视频的移动目标检测在许多实际应用中都担当着核心的任务。
譬如视频监视、人机交互、视频编码等广泛的领域都需要有效地进行该工作。
帧差法(Frame Differencing)12是视频中检测移动目标最简单直观的方法,其在视频片段中固定间隔的两帧之间计算绝对差,该差值大于一定阈限的像素就认为是运动物体可能存在的区域:D t(x,y)=Abs.F t(x,y)−F t−k(x,y)/(1)这种简单的方法有时十分有效,但在更多应用环境下并不能获得期望的效果。
这主要是由于视频中各帧之间的差异并不仅仅来源于运动的物体,而同时可能来1R. Jain and H. Nagel, “On the Analysis of Accumulative Difference Pictures from Image Sequences of Real WorldS cenes”, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 1, no. 2, pp. 206–214, 1979.2为了避免混淆,本文中将作为主要研读对象的文章列在报告最后的“参考文献”一栏中,而其他引用的文献则作为脚注注明。
源于很多别的因素。
例如在室外道路监视中,由于太阳位置及云雾遮挡阳光的情况不断改变,路面整体的亮度并不固定而是不断改变的,甚至有可能出现大的变化。
类似这样可能被错误识别成移动物体的因素还有很多,如移动物体产生的阴影、水面的波纹、摄像机的抖动等。
另外,在特定的应用场景下还有其他一些至关重要的问题需要考虑。
例如在道路监视中,车辆往往有复杂的遮挡现象,而且车辆的阴影很大程度加剧了这种现象的出现。
当然这些困难也并不总是存在的,有些应用中并不会出现这些问题,如室内视频监视就没有大尺度光照变化的问题;也有些应用中并不需要考虑这些问题,如传统的视频编码中阴影、水波等本身并不能忽略所以可以一并视为运动物体。
以上这些分析可以简单看出,视频中的移动目标检测是一件非常有挑战性的工作,而且不同应用环境的需求存在很大的差异。
在一个应用中性能很好的算法可能在另一个场景中完全不适用,所以很难使用单一的技术应对所有的应用环境,这也就导致相关的算法技术不断涌现。
Category Method Author and TimeSimplest Method Frame Differencing Jain and Nagel 1979Pixel-based Methods Mean-threshold Method Wren et al. 19973 Gaussians N Friedman, S Russell 1997 Gaussian Mixture Model(GMM) Stauffer and Grimson 2000 Non-parametric Model Elgammal and Davis 2000Region-based Methods LBP (texture) Heikkila, M. et al. 2006Co-occurrence matrices (texture) Luo Di, Huang Xiangnian 2008 Covariance matrices Oncel Tuzel et al. 2006 Accumulated Histogram Fatih Porikli 2005Other Methods Eigenspace decomposition Oliver et al. 2000 早期提出的移动目标检测方法大都单独地处理各个像素的灰度值或颜色而没有考虑较大尺度上的特征,故称它们为基于像素的方法。
典型的方法包括均值-阈限方法、高斯混合模型[1]、非参数模型[2]等。
由于这些方法没有充分利用局部像素之间的关系信息,很多有效的图像特征无法得到表示,从而导致移动目标检测精度及效度都受到影响。
后期大量的检测方法都不同程度地利用了局部区域层次的信息,称为基于区域的方法。
典型的基于区域的方法包括纹理方法[5][6]、直方图方法[7]等。
报告接下来的部分组织如下:第二节介绍一般问题的陈述及典型的应用,第三节与第四节分别介绍基于像素的移动目标检测方法与基于区域的移动目标检测方法,第五节进行简单的讨论与总结。
2 问题陈述及应用一般而言移动目标检测并不单独地构成应用,而是作为一个组件出现在许多实际的应用之中。
故移动目标检测的具体要求随着应用的改变而有很大的不同。
例如对足球场上球员及足球的检测与跟踪就和对视频中用户手势的跟踪有所不同,前者的关键在于如何应对复杂的光照变化有效提取运动物体,后者的难点则在于如何从整个躯体大范围的运动背景中将手势的运动识别并提取出来。
尽管不同的应用可能提出不同的技术上的要求,但是相当一部分这类问题还是可以在同一的框架下进行探讨和比较的。
以下就是本文讨论范围内一般问题的陈述(Figure1):a.高层次的模型一般具有检测、跟踪、识别三个模块,其中识别模块并不必须;b.检测模块可细分为移动目标区域检测与移动目标分组,其中前者是这个模块能够顺利工作的保证,其目的是将各帧内移动目标所在的区域标出;c.该模型的输入为连续的视频,输出为跟踪的物体(即轨迹)或分类的物体。
Figure1 系统框架图中即为一个典型的流程图,其中省略了分类模块并把运动目标区域检测规定为背景差分方法。
该模型的典型应用场景是室内\外的视频监视分析(Figure2),特别是交通数据的分析。
另外体育运动视频(如足球或台球)的分析也能在该模型下解决。
Figure2 移动目标检测的典型应用:视频监控本文讨论的就是这样一个系统之中移动目标检测部分内容,并且将重点放在了如何判定移动目标区域的部分。
这是这样的系统中的最初的处理,对于之后的处理能否获得有效的信息至关重要。
该内容主要涉及两个问题:如何提取运动的前景,及如何建立一个良好的背景模型。
后者一般并不是应用任务中所要求完成的,但往往是用以提取运动前景很好辅助工具,将新的一帧“减去”背景即可获得移动前景,故同时具有这两个步骤的方法也被称为“背景差分”,是移动目标检测中的一大类主流方法,本报告中涉及的大部分方法即属于这一类。
3 基于像素的移动目标检测3.1 均值-阈限方法均值-阈限(Figure3)的基本思路是计算每个像素的平均值和标准差作为它的背景模型。
Figure3 均值-阈限方法图中为某视频中单个像素在一定时间内不断更新得到的平均值和平均差值3,该像素处在天空的位置,在一段时间后有人的手挥过该区域,可以看到由于前景目标明显不如背景中的天空明亮,所以可以很容易将其分辨出来。
实际上均值-阈限方法就是赋予视频中每个像素一个统计上的背景模型,例如高斯分布模型4。
每个点需要两个参数来衡量:均值与方差。
后面将看到,许多更先进的基于像素的移动目标检测方法其实无非采用了更复杂的分布模型来描述每个像素。
3.2 阴影去除及三高斯模型简单的帧差值或均值-阈限方法在很多应用中都面临一个很严重的问题:阴影。
在某些光照条件下,移动物体产生的阴影相对背景具有非常显著的差别从而被识别成了前景,有时这些阴影比物体本身还大,并且导致原本独立的运动物体连接在一起无法分割。
一种简单的思路是放弃使用灰度值进行背景建模,而采用颜色信息从而将阴影的移动去除掉。
这类方法需要一条假设:移动目标投射到路面上的阴影主要改变了该位置的亮度而对色度没有大的影响5。
部分情况下确实可以承认该假设。
在不同的颜色模型下有不同提取亮度信息的方式。
在HSV等空间中这个任务尤为简单,因为亮度本身就是一个独立的分量,所以在该分量以外的维度上进行背景建模与差分就能消除一定的阴影。
如果在常用的RGB颜色空间中,亮度的提取就稍微复杂[3]。
Figure4 RGB空间中的亮度与色度3类似标准差的作用,但是计算更快捷。
4C.R. Wren, A. Azarbayejani, T. Darrell, and A.P. Pentland, “Pfinder: Real-Time Tracking of the Human B ody,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 19, no. 7, pp. 780-785, July 1997.5J. M. Alvarez, A. López, and R. Baldrich, "Illuminant-Invariant Model-Based Road Segmentation", IEEE Intelligent Vehicles Symposium, June 2008.将一个像素的颜色值在RGB 三维空间中表示(Figure4),背景建模就是确定了穿过原点的一条色度直线,所有在该直线上的颜色都认为是背景色。
当前颜色相对参考颜色(背景)的亮度分量αi 由最小化下式给出:ϕ(αi )=(I i −αi E i )2 (2)αi 表示该像素当前值相对参考背景色的相对亮度。
如果其值为1则代表亮度相同,大于1代表比背景更亮,小于1代表比背景更暗。
当前颜色到色度直线的垂直距离就表示色度的偏离:CD i =‖I i −αi E i ‖ (3)利用色度与亮度的偏离值就可以将新的颜色值分为四个类别:M (i )={Forground: CD i ̂>τCD or αi ̂>ταlow ,elseBackground: αi ̂<τα1 and αi ̂>τα2, else S adow: αî<0, else Hig lig t: ot erwise (4)其中CD i ̂与αi ̂分别代表均一化之后的两个偏离分量。
这些方强烈依赖于上面提到的假设:阴影仅仅改变背景亮度而不改变色度。