数字抠图技术综述
- 格式：pdf
- 大小：567.42 KB
- 文档页数：7
第19卷第4期2007年4月计算机辅助设计与图形学学报JOURNALOFCOMPUTER2AIDEDDESIGN&COMPUTERGRAPHICSVol119,No14Apr1,2007
收稿日期:2005-10-27;修回日期:2007-01-
151基金项目:国家自然科学基金重点项目(60033010);浙江省自然科学基金(Y105324);浙
江省科技厅计划项目(2006C31065)1林生佑,男,1976年生,博士,讲师,主要研究方向为计算机视觉、图像处理1潘瑞芳,女,1959年生,学士,教授,主要研究方向为数据库技术、网络技术(panrf@1261com)1杜 辉,男,1979年生,硕士,讲师,主要研究方向为计算机智能自动控制(duhui@zjicm1edu1cn)1石教英,男,1937年生,教授,博士生导师,主要研究方向为并行计算、CAD&CG、科学计算可视化、虚拟环境(jyshi@cad.zju.edu.cn)1
数字抠图技术综述林生佑1) 潘瑞芳1) 杜 辉1) 石教英2)1)(浙江传媒学院传播科技系 杭州 310018)
2)(浙江大学CAD&CG国家重点实验室 杭州 310058)
(lsy@cad1zju1edu1cn)
摘要 数字抠图是一种把图像的前景部分从背景中分离出来的技术,它通过用户指定图像中少量部分前景和背景区域,并根据这些提示按照一定的判定规则自动、准确地分离出所有的前景物体1回顾了该技术的历史发展过程,包括光学场景抽取、蓝屏抠图和图像合成技术,重点介绍了数字蓝屏抠图、自然图像抠图以及数字抠图技术的扩展和应用,如环境抠图、阴影抠图、视频抠图等,并对这几种技术的局限性以及发展方向做了简要的说明1
关键词 蓝屏抠图;自然图像抠图;环境抠图;阴影抠图;视频抠图中图法分类号 TP391
ASurveyonDigitalMatting
LinShengyou1) PanRuifang1) DuHui1) ShiJiaoying2)1)(DepartmentofScienceandTechnologyinCommunication,ZhejiangInstituteofCommunicationandMedia,Hangzhou 310018)
2)(StateKeyLaboratoryofCAD&CG,ZhejiangUniversity,Hangzhou 310058)
Abstract Digitalmattingisanewtechnologyofextractingtheforegroundfromthebackground1Itismeanttoautomaticallyextractalltheotherpartsoftheforegroundobjectsbasedonafewuser2specifiedparts1Inthispaper,itshistoricaldevelopmentisatfirstoutlined,followedbyadetailedreviewonthemainmattingtechnologies,includingbluescreenmatting,naturalimagematting,aswellassomeextendedtech2nologiesofmattingonimage,suchasenvironmentmatting,shadowmatting,andvideomatting1Intheend,thecurrentlyencounteredmaindifficultiesinthefieldandsomepromisingfuturedirectionsarelisted1
Keywords bluescreenmatting;naturalimagematting;environmentmatting;shadowmatting;videomatting
抠图与图像合成技术是影视制作中必不可少的关键技术,广泛应用于媒体制作中1抠图是指把任意形状的前景物体从图像中抽取出来的一种技术,图像合成则是把抽取出来的前景物体和一幅新的背景图像合成为新的图像1抠图和图像合成是互逆的基本操作1抠图与图像合成技术始于19世纪50年代,它经历了光学和数字两大发展阶段120世纪80年代,数字抠图方法逐渐取代了光学抠图方法1当前,数字抠图与图像合成技术已经在各种应用中占据了主导地位1数字抠图技术主要分为蓝屏抠图和自然图像抠图,此外还有环境抠图、阴影抠图和视频抠图3种扩展和应用1
1 数字抠图技术数字抠图和图像合成技术用Porter等提出的合成方程[1]描述为C=AF+(1-A)B(1)其中,C,F和B分别表示合成图像、前景图像和背景图像,A¹称为掩像1每一点的颜色值表示C对应点的颜色值中含前景颜色的百分比,或者表示该点的不透明程度1抽取与合成的过程如图1所示,图1a在大象的脚下加入了人工制造的阴影1
图1 抠图与图像合成 在RGB颜色空间中,理想抠图问题的C,F和B三点共线,在这种情况下,可以准确地计算出A值1式(1)中,由于在R,G,B3个通道上可以建立3个方程,共有10个未知量,因此有方程组CR=AFR+(1-A)BRCG=AFG+(1-A)BGCB=AFB+(1-A)BB(2) 对于灰度图像,对C上的每个点有1个方程,3个未知量F,B和A;对于彩色图像,则有3个方程和7个未知数1抠图问题本质上是不可精确求解的问题1本文中讨论的对象都为彩色图像1由于未知数个数大于方程个数,因此必须有图像的额外信息才有可能使抠图问题可解1在媒体制作中,经常把前景物体放在一幅已知的背景图像前面拍照,即BR,BG和BB已知,从而把未知量的个数缩减为4个,但未知量个数仍然大于方程个数,抠图问题仍然不可精确求解1我们把B已知的抠图技术叫蓝屏抠图1相应地,背景任意的抠图技术叫自然图像抠图1111 蓝屏抠图文献[2]中提出了一种与蓝屏抠图类似的差分抠图方法,它通过对场景进行2次拍照来获得背景信息,然后比较这2张照片上各点的颜色,再把这个颜色差映射为每一点的透明度1Smith等[3]从求解方程组的角度出发,详细分析了蓝屏抠图的各种可能的精确解的情况1在Vlahos的抠图方案[4]中,假设已知前景颜色中红、绿、蓝分量大小的相对比例,结合抠图方程组,可以推出每一点的A计算公式为A=1-a1(Cb-a2Cg);其中,Cb和Cg为输入图像的蓝色和绿色分量,用户通过调节参数a1和a2可获得一个满意的抠图结果为止1这种方法简单、易于实现,但需要一个有经验的专家来调整参数,要求有很高的调试技巧1文献[5]提出了一种改进的蓝屏抠图方法,该方法需要用户指定前景和背景样本点,对背景的要求较少1蓝屏抠图有蓝色闪耀现象,即蓝色屏幕会把一些光反射到前景物体上,解决闪耀的方法是使用双影技术1双影技术需对同一个场景进行2次拍摄,通常用光束分离镜来实现,光束分离镜把场景的光分成2束并送到2个不同的相机1文献[6]中描述的红外抠图系统是一个利用红外光的双影抠图例子,文献[7]中的双影抠图则利用了偏振光进行抠图;文献[8]提出了一种利用场景景深信息的深度抠图方法;文献[9]提出了一种温度抠图方法,它利用物体的温度信息来区分前景和其周围的物体:这些方法对背景不做要求,适合户外影视制作,但这些方法在物体的边缘通常会产生/锯齿化0的现象1另外,它们需要昂贵的特制摄影机,这给其推广应用带来了一定的困难1文献[3]提出了一种抠图的三角解法,它把相同的物体放在多幅已知背景图像前面拍照1当背景图像数目超过2幅时,抠图问题变成了一个过定问题,该问题可用最小平方框架来解决1由于该方法需多幅背景图像,不适合用在实时场合1
¹本文中,符号C,F和B既可以指图像,也可以指这些图像中每一点的RCB颜色值,A的情况类似1
112 自然图像抠图自然图像抠图发展到今天也产生了许多不同的算法1Rotoscoping是一种普遍使用的自然图像抠图技术,但这种技术过分依赖操作人员的经验,且工作量大,抠图效果不够好1文献[10]提出了一种AutoKey的抠图方法用来改进rotoscoping过程1在该方法中,通过rotoscoping可以得到每一帧中前景物体的
474计算机辅助设计与图形学学报2007年边缘曲线,之后用少量的手工工作来校正每一帧的边缘曲线1AutoKey采用了一种自适应的羽化方案,比较适用于前景物体的边缘比较/硬0的情况,而不适用毛刺比较多的复杂边缘1最近在抠图领域出现了许多自然图像抠图方法,主要有Knockout方法[11212]、Ruzon2Tomasi方法[13]、Hillman方法[14]、Bayesian方法[4,15]、Poisson方法[16]、Grabcut方法[17219]和基于感知颜色空间的
抠图[20222]1在自然图像抠图中,适量的手工交互是
必要的1自然图像抠图可以分为区域划分、颜色估计与A估计3个步骤1以上几种方法事先都进行trimap划分,然后求未知区域中各点的前景色成分和A值1前景区域、背景区域和未知区域之间的分界线分别称为前景轮廓线和背景轮廓线1图2所示为这几种抠图方法1
图2 几种自然图像抠图方法 区域分割以后,对未知区域中任一点C,Knockout方法[11212]利用和C邻近的前景轮廓线上的点的颜色均值作为前景色分量,类似地,可得到背景色分量;接着修正背景色,根据得到的前景色和背景色分量以及C点的颜色值来推断该点的A值1Knockout方法的A估计方法称为三通道加权法,其做法是计算出3个颜色通道上的A分量,然后取其加权平均值作为最终的A值1Knockout方法的颜色估计方案决定了该方法只适用于光滑图像的抠图,该方法简单、运算速度很快1Ruzon2Tomasi方法[13]采用统计学方法来估计A值;但该方法的颜色估计和A估计的计算量很大,导致其处理速度非常慢12001年,Hillman等[14]提出了一个基于主成分分析的抠图方法,他们观察到,前景和背景区域在颜色空间中分布为类似于雪茄形状的长条形,这种形状使样本的协方差矩阵的非零元素主要分布在对角线附近,适用于主成分分析;但该方法采用投影法来估计A,计算量也很大1同年,Chuang[15]提出了一个基于贝叶斯框架的抠图方法,与以往方法利用光栅扫描顺序来逐个处理每个像素不同,该方法的处理顺序像剥洋葱似的由外向内逐圈处理;但该方法只定义了对数概率L(C|F,B,
A),L(F)和L(B),没有定义L(A),当前景和背景的颜色比较接近时,这种假设就会出现问题1文献[15]中还介绍了一种基于马尔可夫场的L(A)定义方法,在一定程度上弥补了上述缺陷1文献[23]介绍了一种L(A)的定义方法,然后用Bayesian抠图来解决灰度图像的抠图问题;文献[24]也探讨了L(A)的定义问题,提出了一种相关性抠图的方法,并在一种称为弹出式光场的基于图像的绘制系统中用这种方法来构建相关性图层1Bayesian抠图方法实际上是要在RGB空间中求得C点到线段FB的欧氏距离d1,F点到F点的
