中国有线电视 2011(01)C H I N A D I G I T AL C ABLE TV
摄编制播
中图分类号:TN948.13!!文献标识码:B !!文章编号:1007-7022(2011)01-0066-02
作者简介:王!昕(1969-!),女,中级职称,主要研究视频传播理论,E ma i:l w angx i n691124@163.co m 。
视频对象分割技术与应用
∀王!昕(辽源电视转播台,吉林辽源
136201)
摘!要:随着MPEG-4基于内容的功能的提出,视频对象分割技术成为视频处理领域的研究热点,视
频对象分割就是从视频序列中分割出在语义上有意义的对象,介绍视频对象分割所涉及的关键技术,详细讨论基于时空联合的分割算法,并且探讨视频对象分割技术在视频会议、交通流视频监测等领域的应用。
关键词:视频对象分割;时空联合;M PEG -4
V ideo Object Seg m entation Technique and Application
∀WANG X i n
(Liaoyuan Television Re lay Stati o n ,Jili n Liaoyuan 136201,China)
Abst ract :Due to the e m erg i n g o f content-based functi o na lities in M PEG -4,ob ject-based seg m en tation techno l o gy has beca m e a popular research in video field ,w hich m eans the segm entati o n o f se m an tica lly m ean i n g ful ob j e ct i n v i d eo sequences .Th is paper presen ts so m e i m po rtant v ideo seg m entation m et h ods ,studies the v i d eo object segm entati o n based on te mporal and spatial i n for m ation ,and researches t h e app li c ation of the v id eo object seg m en tation technology on v i d eo conferenc i n g ,the surveillance of the traffic flo w and so on .K ey w ords :v ideo ob j e ct seg m entation;spatio-te m pora l co m binati o n;MPEG-4
1!引言
随着多媒体信息日益丰富,人们不再满足于对多媒体信息的简单浏览,而是提出了基于对象的交互、查询和检索等新要求,为此M PEG 组织制定了国际压缩编码标准M PEG-4。M PEG -4采用基于内容的视频编码,它依赖于按内容对视频场景进行表示,即在编码之前首先将视频场景分割成若干个语义上有意义的视频对象(VO ),然后根据各个视频对象的特征对不同的视频对象采取不同的编码方法,其效率得到很大提高。但是M PEG-4推荐的3种视频分割算法经过测试发现,其实时性较差,并且分割结果不能令人满意,因此在MPEG-4标准中视频对象的分割作为一个开
放的部分,没有规定具体的分割方法,任何一种能够满足MPEG-4要求的视频对象分割算法都可以作为标准的一部分添加进去,本文对M PEG -4基于对象的视频编码所引入的视频对象分割及其关键技术展开综述。
2!基于对象的视频分割
视频对象分割的原理主要是利用运动信息,同时结合其他颜色、纹理、边缘、区域等信息,把前景对象从背景中分离出来。视频对象分割算法大致可以分为3类:基于空域信息的分割算法、基于时域信息的分割算法和基于时空联合的分割算法。空域分割将图像划分为区域,其中某些区域具有相似的特征,而与其他区域
66
明显不同,然后通过空间聚类形成语义视频对象。由于视频对象通常具有不同于背景的运动,时间分割通常利用运动信息。时空分割算法通过时域分割标识出运动对象,然后与空域分割得到的对象边界融合在一起,以得到更精确的分割结果,由于同时利用时域和空域信息,时空分割通常可以取得更好的效果,是目前主流的分割算法。
目前常见的视频对象时空分割算法大体可分为两类:一类是基于像素的分割算法,包括阈值算法、经典分水岭算法、改进分水岭算法等;另一类是基于二维网格的分割算法,包括受限最大对比路径搜索算法、形状自适应分级网格算法等。
2.1!基于像素的分割算法
基于像素域的分割算法根据是否需要人工参与可以分为半自动视频对象分割和全自动视频对象分割。半自动视频对象分割算法先依赖于人工的交互确定语义对象并干预分割和跟踪结果,往往可以取得较好的效果,但是实时性较差;全自动视频对象分割算法的实时性较好,但分割边界不精确,适合于较简单的场景以及特定的视频序列,以下介绍的几种算法都是全自动视频对象分割算法。
杨高波等提出一种基于小波分解和分水岭变换的自动视频分割算法,其中时间分割通过直方图分析得到,空间分割采用基于小波变换的分水岭变换算法,空间分割是此算法的核心。分水岭变换一般针对图像的梯度图进行操作,由于对梯度变换很敏感,很容易产生过分割现象。为了克服噪声和量化误差引起的过分割问题,先对图像进行二级小波分解,然后在低分辨率的图像上进行分水岭变换,它同时可以去除噪声的影响。逆小波变换在空间域进行,尽管它在区域合并即进行时、空分割融合之后执行,但也被并入空间分割。
Guo L i n hua提出一种基于视频对象语义相似度的自动快速分割算法,首先,根据像素域亮度梯度采用分水岭算法进行初始静态分割,然后根据颜色和运动相似性进行区域融合,最后经过处理得到语义视频对象。为了克服分水岭算法的过分割问题,此算法采用颜色和运动相似性融合的方法,其中运动分析采用块匹配技术。V incentM arti n为每个像素建立一个颜色直方图,采用基于密度空间的聚类算法来识别图像聚类,获得对象模板,这个算法适用于环境发生变化的较长时间的视频序列,在视频监视系统中获得满意的分割效果。Y ang G aobo提出基于变化检测颜色边界(CECD)机制来提取视频对象,利用细胞神经网络(CNN)结构达到实时性的要求,这个算法是基于3#3的细胞神经网络结构,相比于COST211AM,此方法具有更好的空间精确度和时间连续性,克服了阈值自适应能力差和视频对象边缘区域不规则的问题,这种算法在实时性要求很强的视频会议和监控系统中取得很好的分割效果。
2.2!基于二维网格的分割算法
基于像素的分割算法对图像中所有像素进行操作,因此可以得到边缘精细的分割结果,但遍历所有像素的计算量较大,实时性较差。基于二维网格的分割算法主要对特征点进行分析,降低了计算负荷,处理速度较快,但所得的分割结果精细程度不如前者。
王煜坚将两类分割算法的优点结合,提出了一种结合二维网格运动分析和改进形态学滤波空域自动分割策略的视频对象时空分割算法,算法具体步骤如下: (1)采用机器学习F AST算法选取待分割帧图像的角点;(2)采用灰度帧差图像的四阶矩来进行运动分析;
(3)采用HOS算法对运动轮廓区域中的像素进行运动分析,这样可以将运动轮廓区域细分为运动部分与静止部分,从而获得更精细准确的初始运动检测掩膜;
(4)采用基于交变序列滤波的分水岭算法;(5)采用最大类间方差的阈值算法;(6)采取区域映射的方法将时域运动检测掩膜和空域分水岭分割结果结合起来。这种算法对静止背景的视频图像具有较好的分割效果,对于运动背景的情况,可以先对视频图像进行全局运动估计补偿,再应用此算法提取出视频对象。
3!视频对象分割技术的应用
随着视频对象分割提取技术研究的深入,视频分割在视频编码、广播电视、对象识别、对象跟踪、视频监控、电视电话会议、视频数据库检索等多媒体应用领域有非常重要的应用。
头肩序列(H SS)是视频会议与视频监控系统中的经典序列,H SS可以被归为非复杂背景视频序列(NB VS),它的特点如下:(1)参与实时性应用;(2)摄像机位置固定;(3)前景目标比背景大,并且更详尽;(4)可以提前得到背景信息作为先验信息。根据头肩序列的特点来设计视频分割算法,会使其在视频会议与视频监控系统中得到更满意的结果。陈进华对视频对象分割合成技术尤其是三维的情况进行了分析,在当前技术条件下,沉浸式视频会议系统在欧美的一些实验室己经取得基本令人满意的效果,目前虽然还存在一些问题,比如遮挡尤其是手势所带来的遮挡问题,给视差估计和视图合成造成一定的麻烦,但是应该看到,基于三维信息处理的视频会议系统必然是将来的发展方向。
视频对象分割技术不仅适用于以人物为目标的系
67
中国有线电视 2011年第01期王!昕:视频对象分割技术与应用
