计算机角色动画制作中的可视媒体融合综述

第２Ｏ卷第５期　２００８年５月　计算机辅助设计与图形学学报　ＪＯＵＲＮＡＬ　ＯＦ　ＣＯＭＰＵＴＥＲ—ＡＩＤＥＤ　ＤＥＳＩＧＮ＆ＣＯＭＰＵＴＥＲ　ＧＲＡＰＨＩＣＳ　Ｖｏ１．２Ｏ，ＮＯ．５　Ｍａｙ，２００８　

计算机角色动画制作中的可视媒体融合综述　

俞　俊　庄越挺　（浙江大学计算机学院人工智能研究所杭州　３１００２７）　（ｙｕｊｕｎｌ１６＠ｙａｈｏｏ．ｃｏｒｎ．ｃｎ）　摘　要　近年来，计算机角色动画在虚拟现实、计算机游戏、动画生成、影视特技及运动仿真等多个领域得到广泛深　入的应用，同时在数据上涉及到图像、视频、运动捕获数据、三维模型等可视媒体，已经成为一个多种可视媒体融合　的研究领域．在计算机角色动画制作中，传统的仅仅利用单一可视媒体进行模型制作和动画生成的方法正在被基于　多种可视媒体融合的方法所取代．文中从可视媒体融合的角度对现有的计算机角色动画研究进行综述，并依据可视　媒体融合框架进行归纳和分类．　关键词计算机角色动画；可视媒体；融合　中图法分类号ＴＰ３９１．４１　Ａ　Ｓｕｒｖｅｙ　ｏｎ　Ｖｉｓｕａｌ　Ｍｅｄｉａ　Ｆｕｓｉｏｎ　ｉｎ　Ｃｈａｒａｃｔｅｒ　Ａｎｉｍａｔｉｏｎ　Ｙｕ　Ｊ　ｕｎ　Ｚｈｕａｎｇ　Ｙｕｅｔｉｎｇ　（Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｃｏｌｌｅｇｅ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｚｈｅｊｉａｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｎｇｚｈｏｕ　３１００２７）　Ａｂｓｔｒａｃｔ　Ｉｎ　ｒｅｃｅｎｔ　ｙｅａｒｓ，ｃｈａｒａｃｔｅｒ　ａｎｉｍａｔｉｏｎ　ｈａｓ　ｂｅｅｎ　ｗｉｄｅｌｙ　ｕｓｅｄ　ｉｎ　ｖａｒｉｏｕｓ　ａｐｐｌｉｃａｔｉｏｎｓ　ｓｕｃｈ　ａｓ　ｖｉｒｔｕａｌ　ｒｅａｌｉｔｙ，ｖｉｄｅｏ　ｇａｍｅｓ，ａｎｉｍａｔｉｏｎ　ｆｉｌｍｓ　ａｎｄ　ｓｐｏｒｔ　ｓｉｍｕｌａｔｉｏｎｓ．Ｂｙ　ｕｔｉｌｉｚｉｎｇ　ｓｅｖｅｒａｌ　ｖｉｓｕａｌ　ｍｅｄｉａ　ｉｎｃｌｕｄｉｎｇ　ｉｍａｇｅ，ｖｉｄｅｏ，３Ｄ　ｍｏｄｅｌ　ａｎｄ　ｍｏｔｉｏｎ　ｃａｐｔｕｒｅ　ｄａｔａ，ｃｈａｒａｃｔｅｒ　ａｎｉｍａｔｉｏｎ　ｃｏｍｅｓ　ｕｐ　ａｓ　ａ　ｃｒｏｓｓ　ｒｅｓｅａｒｃｈ　ｆｉｅｌｄ　ｏｆ　ｖｉｓｕａ１　ｍｅｄｉａ　ｆｕｓｉｏｎ．Ｔｈｅ　ｔｅｃｈｎｉｑｕｅｓ　ｏｆ　ｍｏｄｅ１　ｃｏｎｓｔｒｕｃｔｉｏｎ　ａｎｄ　ａｎｉｍａｔｉｏｎ　ｇｅｎｅｒａｔｉｏｎ　ｉｎ　ｃｏｍｂｉｎａｔｉｏｎ　ｏｆ　ｓｅｖｅｒａｌ　ｋｉｎｄｓ　ｏｆ　ｖｉｓｕａｌ　ｍｅｄｉａ，ａｒｅ　ｔｈｅｎ　ｐｌａｙｉｎｇ　ａ　ｍｏｒｅ　ａｎｄ　ｍｏｒｅ　ｉｍｐｏｒｔａｎｔ　ｒｏｌｅ　ｉｎ　ｔｈｅ　ｃｈａｒａｃｔｅｒ　ａｎｉｍａｔｉｏｎ．Ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｍｅｎｔｉｏｎｅｄ　ｆａｃｔｓ，ｔｈｉｓ　ｐａｐｅｒ　ｇｉｖｅｓ　ａ　ｓｕｒｖｅｙ　ｏｎ　ｔｈｅ　ｃｈａｒａｃｔｅｒ　ａｎｉｍａｔｉｏｎ　ｆｒｏｍ　ｔｈｅ　ｖｉｅｗ　ｐｏｉｎｔ　ｏｆ　ｖｉｓｕａ１　ｍｅｄｉａ　ｆｕｓｉｏｎ．　Ｋｅｙ　ｗｏｒｄｓ　ｃｈａｒａｃｔｅｒ　ａｎｉｍａｔｉｏｎ；ｖｉｓｕａｌ　ｍｅｄｉａ；ｆｕｓｉｏｎ　近年来，随着数字媒体处理技术的迅速发展及　计算机硬件成本的进一步降低，计算机动画技术及　其相关应用得到有力推动与普及，特别是计算机角　色动画被广泛地应用于虚拟现实、计算机游戏、动画　生成、影视特技、运动仿真及医学研究等多个领域．　计算机角色动画的生成需要综合处理图像［１－２３、视　频＿３　］、三维模型＿１］及运动捕获等多种数据，这４类　数据通过计算机进行数字化采集，压缩／解压、编辑　和存储等加工处理，是能被人类视觉感知的多媒体　数据，即可视媒体．这４类媒体数据相互作用生成计　算机角色动画，本文称其为可视媒体融合．　计算机角色动画制作过程中需要解决模型制作　收稿日期：２００７　０９　２０；修回日期：２００８—０１－２１、基金项目：　俞俊，男，１９８０年生，博士研究生，主要研究方向为计算机动画　媒体分析、计算机动画、智能ＣＡＤ、数字图书馆．　和动画生成２个问题．在传统的仅仅利用单一可视　媒体进行模型制作和动画生成的方法中，角色模型　通过原始特征级处理或降维子空间处理得到，如根　据多视角拍摄的图像定标得出相机参数，并依据图　像重建模型＿２　；或基于角色样本，利用主元分析法　（ｐｒｉｎｃｉｐａｌ　ｃｏｍｐｏｎｅｎｔｓ　ａｎａｌｙｓｉｓ，ＰＣＡ）构建样本子　空间，并从中合成出模型＿５　；动画生成则是以传统二　维动画技术为基础发展而来的模型动画＿６］．动画生　成是基于单一可视媒体，采用关键帧动画技术、基于　运动学知识的关节动画技术以及物理学／动力学等　方法制作动画．由于采用单一可视媒体限制了技术　路线的创新并降低了角色动画制作的质量和效率，　国家自然科学基金（６０５２５１０８）；长江学者和创新团队发展计划（ＩＲＴ０６５２）．　、机器学习．庄越挺，男，１９６５年生，

博士，教授，博士生导师，主要研究方向为多　维普资讯 http://www.cqvip.com ５４６　计算机辅助设计与图形学学报　因此学者们提出利用多种可视媒体制作计算机角色　动画．在角色建模方面，Ｈｉｌｔｏｎ等¨ｌ　利用图像或视　频中的角色侧影约束变形中性模型，得到个性化模　型，与图像建模¨２　相比，该方法能有效地提高运算效　率，且可获得更真实的角色模型　］．在动画生成方　面，随着近年来运动捕获系统的普及，产生出基于运　动捕获的动画制作技术．该技术是以高效获取真实　感三维运动数据为基础，进而采用数据驱动方式制　作角色动画，从本质上而言，它是一种运动数据驱动　三维模型的动画制作手段，与模型动画相比能更方　便、有效地制作动画．这表明多种可视媒体融合已经　成为计算机角色动画制作发展的主要趋势．　由于角色模型及动画的生成过程不仅需要综合　应用图像、视频、三维模型及运动捕获数据这４类可　视媒体，同时也涉及到定标、三维模型重建、主元分　析、视频跟踪、关键帧插值等各类算法，且分属计算　机视觉、计算机图形学、机器学习等技术范畴，因此　计算机角色动画已成为多种可视媒体融合、多学科　技术汇聚的研究领域．已有学者从技术的角度分析　计算机动画的研究进展，如Ｍｉｃｒｏｓｏｆｔ的Ｌｅｎｇｙｅｌｌ８］　对计算机视觉和计算机图形学的汇聚进行了深刻的　分析和展望；Ｄｅｂｅｖｅｃ¨ｇ］基于图像建模（ｉｍａｇｅ－ｂａｓｅｄ　ｍｏｄｅｌｉｎｇ，ＩＢＭ）和图像渲染（ｉｍａｇｅ－ｂａｓｅｄ　ｒｅｎｄｅｒｉｎｇ，　ＩＢＲ）提出了一种真实场景和虚拟物体合成的算法，　即采用ＩＢＲ渲染整个场景，而通过ＩＢＭ算法重建场　景中的虚拟物体；Ｄｉｎｅｒｓｔｅｉｎ等　则认为计算机图　形学和机器学习的汇聚能产生出新的、更有效的技　术，因为机器学习技术能有效地解决计算机图形学　面临的数据量大、计算复杂度高的问题．本文认为各　种技术的汇聚本质上是由可视媒体融合引起的，如　Ｄｅｂｅｖｅｃ的算法之所以汇聚了计算机视觉（ＩＢＭ）和　计算机图形学（ＩＢＲ）这２种技术，是因为在制作过　程中需要融合三维模型和图像这２种可视媒体．由　此可见技术只是手段，而最终的目的是要融合各类　可视媒体．目前，国内外尚未见到从可视媒体融合的　角度对计算机角色动画研究进行分析的报道．本文　的贡献在于：１）明确了可视媒体融合的概念；２）提出　可视媒体融合框架，并对现有计算机角色动画研究　进行分类；３）利用该框架在理论上探索新的计算机　角色动画研究方向．　

１可视媒体融合定义　

计算机角色动画制作各阶段涉及了图像（ｉ）、视　频（ｖ）、运动捕获数据（Ｃ）和三维模型（ｍ）这４类可　视媒体，其中运动捕获数据产生于２Ｏ世纪７Ｏ年代，　由于运动捕获技术的发展，可供重复利用的三维人　体运动捕获数据库也已经出现．这些数据都有各自　的特点：图像是空间静态数据；视频是空间时序数　据；三维模型为空间拓扑数据；而运动捕获数据则是　时序拓扑数据．当然这些数据也有共同点：能被人类　视觉所感知；能通过相应的硬件设备制作得到；能被　编辑、压缩／解压及存储．因此，它们被统称为可视　媒体．　所谓“融合”是将不同的事物“融化”并“合成”为　一种新事物，是一个质变过程．本文将计算机角色动　画制作定义为“融合”，其中可视媒体即为质变所需　的事物，整个融合的过程则依据具体技术实现．　定义１．设Ｆ为可视媒体融合函数，Ｐ为可视　媒体集合，Ｖ　，∈Ｐ，则可视媒体融合表示为　Ｆ（　ｌ，　２，…，　）一　，　∈Ｊ　（１）　其中，Ｐ＝：＝｛ｉ，　，　，ｃ｝为可视媒体集合，该函数的值　域Ｊ一｛ａ，ｍ｝，ａ表示融合结果为角色动画．本文认　为有关计算机角色动画的研究其融合的结果为角色　动画和角色模型２类．　定义１给出了可视媒体数据融合，这是依靠具　体算法实现的，如Ｈｉｌｔｏｎ等ｌ】　从多视点图像中提取　角色的侧影信息，并依据侧影信息变形中性模型得　到个性化角色，再采用运动捕获数据驱动角色模型　得到角色动画．该过程出现图像、三维模型和运动捕　获数据３类可视媒体，因此依据定义１该过程可表　示为　Ｆ（ｉ，ｍ，ｆ）一　（２）　其中出现了侧影提取（ｓｉｌｈｏｕｅｔｔｅ）、中性模型变形　（ｍｏｒｐｈｉｎｇ）和重定向（ｒｅｔａｒｇｅｔｉｎｇ）３种具体算法，　因此式（２）可分解为　Ｆ…　。　ｇ（Ｆ　ｏｒｐ　ｇ（ＦｓｉＩ　ｈ０ＩＪ　（ｉ），ｍ），ｆ）一ａ　（３）　将式（２）～（３）的分解过程实现在式（１）上可得到定　义２．　定义２．设Ｆ为可视媒体融合函数，Ｐ为可视　媒体数据集合，ｓ为算法集合，Ｖ　∈Ｐ且Ｖｓ，∈ｓ，　则可视媒体融合可定义为　Ｆ　（…Ｆ　（Ｆ　（Ｆ　（　），　ｚ），　。）…，　）一　，　∈Ｉ．　该定义将，ｚ元可视媒体的融合分解为，ｚ步循环，每　步循环针对２类媒体（初始状态仅为一类媒体），且　每步循环对应一种算法：　一ｓ　，（Ｆ　（　），　）一　２，…（Ｆ　一　（…Ｆ　（Ｆ　（Ｆ　（　１），　２），　３）…），　

）　维普资讯 http://www.cqvip.com ５期　俞俊等：计算机角色动画制作中的可视媒体融合综述　５４７　４－－￣６　，因此可视媒体｛ｐ　，ｐ。，…，ｐ　）的融合依靠算　法集｛Ｓ１，Ｓ２，…，Ｓ　｝实现．　定义２算法集内的各类算法是属于图像处理、　计算机视觉、计算机图形学和机器学习等技术范畴　的，揭示出可视媒体融合是通过技术汇聚实现的，所　采用的算法是由可视媒体种类决定的．由于融合中　处理的可视媒体包括图像、视频、运动捕获数据和三　维模型，则相应地采用了图像处理、计算机视觉、计　算机图形学和机器学习中的算法．　

２计算机角色动画研究　

２．１可视媒体融合框架　从融合角度看，计算机角色动画中出现的４类　可视媒体有１５种融合可能性，并分为同类媒体融　合、两类媒体融合及多类媒体融合，其中同类媒体融　合也称自融合．例如，传统动画制作过程＿１　就是一　种典型的自融合；运动捕获数据的重用，即运动重定　向Ｃｌ２］是一种典型的两类媒体融合．依据定义２，３种　及３种以上可视媒体融合可由自融合及若干次两类　媒体融合组成．图１定义了可视媒体融合框架并给　出了４种自融合及６种两类媒体融合，双向箭头的　两头代表了媒体融合的种类，而箭头本身则表明该　类融合对应的若干种技术汇聚情况．例如，箭头①表　示角色动画的制作基于视频媒体，而箭头⑤表示制　作过程基于视频及三维模型．３类及４类媒体的融合　能由图１中１０条箭头组合而成，如式（２）表示的３类　可视媒体融合（图像、三维模型、运动捕获数据）可分　解为式（３），其中，　…　（　）由②表示，Ｆｎ，。，　（ｉ，ｍ）　由⑨表示，Ｆ　（　，ｆ）由⑧表示，因此图像、三维　模型、运动捕获数据３类媒体的融合可通过②，⑨和　⑧３条箭头的组合表示．由于当前所有计算机角色