当前位置:文档之家› 人体运动捕捉数据特征提取与检索研究综述

人体运动捕捉数据特征提取与检索研究综述

第27卷第1期2010年1月

计算机应用研究

ApplicationResearchofComputers

V01.27No.1

Jan.2010

人体运动捕捉数据特征提取与检索研究综述

肖伯祥,张强,魏小鹏

(大连大学先进设计与智能计算省部共建教育部重点实验室,辽宁大连116622)

摘要:介绍了目前国内外研究进展和发展概况,分析了现有的研究和技术方法,主要分析阐述了基于模板匹配的方法、基于内容的检索方法,以及其他具有代表性的方法和成果;最后探讨了现有方法和技术的局限性,并对未来的研究方向进行了展望。

关键词:运动捕捉;特征提取;检索

中图分类号:m9l文献标志码:A文章编号:1001.3695(2010)01-0010—04

doi:10.3969/j.issn.1001-3695.2010.01.003

Surveyonhumanmocapdatafeatureextractionandretrieval

XIAOBo-xiang,ZHANGQiang,WEIXiao—peng

(KeylaboratoryofAdvanced如‘卵&IntelligentComputingforMinistryofEducation.Ddmnf,,啦m盼,DalianL/∞,ang116622。Ch/na)

Abstract:Thispaperintroducedthedevelopmentsinthisresearchfield,anMy聆dseveralmainapproachesincludingmotiontemplates—based,content-based,andotherrepresentativetechnologies.Finally,discussedthemainlimitationofexistingmeth-odsandtheprospectsonthisfield.

Keywords:motioncapture;featureextraction;retrieval

体运动捕捉数据的特征提取与检索对于管理和重用运动

捕捉数据具有重要的实际应用价值。一方面,由于运动捕捉设备本身运行和维护成本较高,例如一套Vicon运动捕捉设备商业报价高达上百万元…,此外,还需要附加设备操作人员的人力资源成本旧J,这就必然造成了运动捕捉数据采集成本费用的上升。而不断采集新的重复的运动捕捉数据导致大量的数据难以管理,自然也会增加数据管理设备和人员的成本,造成不必要的浪费。然而在已经存在的运动捕捉数据中,检索满足条件的运动捕捉数据就可以避免重新采集相同的运动,避免设备和人力资源的重复浪费,进而节约制作成本并提高制作效率。另一方面,由于运动捕捉数据通常以特定的数据格式存储,如ASF&.AMC¨J、C3D【4J、BVH【5o格式等,这些数据格式都不具备直观的运动细节描述性质,要获取一个未知运动数据的运动特征通常有很多困难,还要使用专用的运动捕捉数据编辑软件如AutodeskMotionBuilder怕1等,而直接使用文字描述运动捕捉数据的运动特征不仅难以描述全部特征,而且会增加附加文件不便于管理。从运动捕捉数据中直接提取运动特征,不仅可以避免以上所述的诸多不便,而且可以使运动捕捉数据像其他媒体形式如图像"1、音/视频¨3信号一样实现直接检索。同时,可以为建立大规模标准运动捕捉数据库提供基础。随着运动捕捉设备的发展,现有的运动捕捉数据规模不断扩大一】,在人体运动捕捉数据特征表示、特征提取和检索方面,国内外研究人员开展了许多有意义的工作。1人体运动特征定义与提取方法

自然人体运动具有很大的灵活性,因而具有较高的自由度,这就导致了人体运动特征的表示和描述存在较大的困难。到目前为止,有很多方法被设计用来表示人体运动特征,但是尚未形成统一的标准。。

此外,Demuth等人¨叫提出一种几何相似性度量的方法。与目前大多数人体树型结构类似,在该方法中将人体结构用24个关节点相连的线段来表示,并在此节点模型基础上,定义了七类Boolean类型的特征,分别为处于平面前后位置关系、运动方向关系、两节点是否近邻以及夹角变化等,并以特征表达式F来表示这些取值范围为0或1的特征(图1),进而构造特征矩阵以实现索引和匹配等进一步的操作。

图I特征点标定方式.共32个marker

Lin‘…实现了一种用于大规模人体运动数据库检索方法,

收稿日期:2009—04—28;修回日期:2009—05—31基金项目:国家自然科学基全资助项目(60875046);国家教育部新世纪优秀人才支持计划资助项目(NCET-06—0298);国家教育部科学研究重点资助项目(209029);辽宁省高等学校优秀人才支持计划资助项目(Rc一05—07,2006R06);辽宁省教育厅科学研究计划资助项目(05I/)20)

作者简介:肖伯祥(1981.)。男,河北遵化人,博士.主要研究方向为运动捕捉、计算机图形学、计算机动画;张强(1971-),男,陕西西安人,教授,博士。主要研究方向为智能计算、计算机动画(zlI鲫鹊26@126.tom);魏小‘(1959-)。男.辽宁大连人.教授,博导,博士,主要研究方向为计算机辅

助设计与图形学、计算机动画.

第1期肖伯祥,等:人体运动捕捉数据特征提取与检索研究综述?11?

在其基于索引的几何特征描述中,首先定义了一个类似于人体自然骨骼结构的几何特征索引树型结构。对于大多数运动的特征而言。四肢的运动占主体支配作用,因此选取四肢的参数作为特征提取对象,称为特征骨骼。在此基础上,构造特征树的思想是根据几何特征分割运动序列,使类似的运动片断作为树型结构的叶节点,进而定义特征编码函数以实现特征的提取。晟后通过曲线匹配的方式实现类似运动数据的检索。

北京航空航天大学的杨跃东等人【l引提出了一种基于几何特征的人体运动捕获数据分割方法,将人体运动数据分割为具有特定语义的运动片断,以及连接语义的过渡片断。首先选择二组几何特征:然后通过PCA法构造出用于分割的综合特征函数和对应的评价函数;最后对特征函数进行归一化、低通滤波和幅度跳变检测,检测出所有的语义片断,从而实现对运动数据的分割。

2基于模板匹配的特征提取和检索

基于模板(templates)匹配的方法广泛应用于数据检索系统中,在人体运动捕捉数据的检索中也得到了一定程度的应用。德国波恩大学的Muller等人一1提出了一种运动模板(mo-tiontemplates,MTs)用于人体运动捕捉数据的自动分类识别和检索,方法的本质在于逻辑上相关的同一类运动可以提取出一个清晰表示的特征矩阵。基于模板的方法最关键的性质在于一个未知运动的不同方面可以在通过与模板运动的对比中自动地被提取出来。该模板方法适用于较大规模时空分布的运动捕捉数据库,能够保证有效和高效性。该方法的实现步骤包括模板定义(MTsdefinition)、模板训练(MTslearning)和模板匹配(MTsmatching)。他们提出的模板矩阵是一个布尔型(Boolean)特征构成的二维矩阵,其中矩阵的列数表示相关特征的个数,行数表示运动数据的帧数。给定一组类似的运动进行训练,得到一个合成的特征矩阵,进而用于未知运动的特征模板匹配。此外,Reder¨驯也对该模板匹配的方法进行了系统论证。

浙江大学刘丰等人¨41提出了一种基于例子的三维运动检索方法,运用动态聚类算法建立基于层次化运动描述的运动检索树;然后根据得到的运动检索树,采用k近邻法则对例子运动进行分类,确定检索子集;最后采用弹性匹配算法计算例子运动和被检索运动子集间的相似度,得到检索结果。为了提高检索效率,采用聚类算法提取运动关键帧序列表征运动,实验结果表明了文中算法的有效性。

3基于内容的检索方法

基于内容的检索方法(content—basedretrieval)¨副广泛地被应用于多媒体对象的检索,如视频序列016,17]等。其基本思想是将视频序列在时间轴上分割,作为索引(indexing)和匹配(matching)的基础¨“。

近年来,基于内容的检索方法(content-based)也是被应用在人体运动捕捉数据检索中的另一种主要方法。Chiu等人¨耵提出了一种基于内容的运动检索方法,并且在自行采集的一组太极拳的运动序列数据上进行了方法验证。该方法包括两个主要组成部分,即索引和匹配。在索引过程中,首先定义了一种仿射不变的姿态特征,并基于原始数据中的姿态分布提出了一种索引图结构(indexingmapstructure)。由于人体运动本身是一种高自由度的数据,为了避免维数灾难,文献[18]用分解的各肢体的低维数特征的和来表示高维的人体整体特征。在匹配过程中,检索条件序列(queryexample)的起始帧和结束帧首先被编入索引图,以在运动捕捉数据库中选取可能的备选片断(candidatecnpB),最后应用动态时间弯曲¨引(dynamictimewarping,DTW)方法计算检索条件序列与所有备选片断的相似性,以确定最终的检索结果。实验证明该方法具有良好的检索率和检索精度。

Yamasaki等人Ⅲ’提出了一种基于内容的交叉搜索方案用于三维人体运动数据的检索,包括时间变化网格(time.varyingmesh,TVM)和运动捕捉数据。它包括形状几何特征提取、相似性评价两个部分。

此外,Muller等人【2¨在其工作中也提出了一种有效的基于内容的运动数据检索方法:首先定义一组定型的特征以描述人体运动过程中各肢体之间的关系(该特征定义方法和描述关系将在下一章中详细阐述);然后采用索引的方法以从大规模运动数据库中实现高效灵活的数据检索。检索样本与未知运动之间的相似性是以判断它们是否占有相同的几何特征级数来定义的。实验中简化地采用特征向量作为索引关键字。与直接采用时间轴的帧相比,这样做的好处是节省运行时间而提高运行效率。实验证明该方法具有较好的检索效果和较高的执行效率。

上海交通大学高岩旧1对基于内容的检索进行了系统的研究,提出了一种运动正规化算法,能够保证运动库中所有的运动数据具有相同的骨架长度,简化了运动重定向算法的复杂度,并对Muller等人提出的基于内容的检索框架进行了改进,在运动检索过程中集成了运动过渡能力,进而结合运动重组织和运动检索的优点,能够按照用户的高层控制,自动拼接和检索出运动库中并不存在的运动,并且在此基础上提出了一种人体运动描述语言。

4动态时间弯曲方法

动态时间弯曲(Dw)方法是一种有效的用于不同长度的时间序列匹配方法,被广泛应用于时间序列处理和信号处理领域中。较早的应用是在语音识别等领域。Bmderlin等人【I引将其应用到动画参数中。在运动捕捉数据识别、匹配等应用方面的后续研究中,Kovar等人旧1将该方法应用到运动序列片断插补之前的对齐。随着数据挖掘等方法的引入,使得该技术在基本算法的基础上得到改进。Chu等人Ⅲ。提出一种迭代深度动态时间弯曲方法用于时间序列的处理。Kengh等人Ⅲ1提出针对大规模数据集的改进DTW检索算法。在运动查询上的应用,Cardle等人Ⅲ1提出基于运动编辑的快速运动数据匹配方法.通过在?个多维最小边界矩形区域内分裂节点曲线及其关联角速度,并将其存储在一个R?树型结构中,支持动态时间弯曲匹配和时间轴上的长子序列相似度量。gengh等人旧¨提出了一种大规模运动数据库的标定索引方法,该方法基于边界封装在全局统一尺度下实现相似性搜索。Vlachos等人Ⅲ1提出一种基于LCSS(10ngestcommonsubsequence)的多维轨迹比较测量方法。

?12?计算机应用研究第27卷

然而DTW方法的最大缺陷是其二次方的运动时间消耗和存储空间需求,限制了其在大规模数据库中实现检索应用‘101。

5其他具有代表性的方法

在以上所述的几类主要方法以外,还有一些其他具有代表性的工作和方法。Forbes等人陋1提出了一种基于加权主成分分析(weightedprimarycomponentanalysis,WPCA)的方法用于实现运动捕捉数据的检索,通过计算姿态与姿态之间的距离实现稳定高效的检索,并且分别使用合成数据和运动捕捉数据验证了该方法。

Uehara等人闭1实现了一种基于联合尺度(associationrules)的运动提取方法。在该方法中定义并阐述了联合尺度的概念,即惟一地表示各种基本运动模式的符号,也被称做原始运动。原始运动通过分割和聚类从被运动序列中抽取出来。

Sakamoto等人口¨提出一种基于图像的检索和运动数据的分割算法。该算法使用一种自组织映射(self-organizingmap,SOM)来实现各种姿态的可识别图标。姿态是运动数据检索和分割应用的关键,可以通过指定开始和结束姿态来提取正确的部分。运动数据分割的片段数目取决于作为关键姿态范围的变化。

Xiang等人m1提出了一种使用非线性PCA降维的隐马尔可夫(hiddenMarkovmodel,HMM)学习的运动检索算法,在提取了人体运动特征之后使用非线性PCA和径向基函数(racialbasisfunction,RBF)神经网络进行特征的降维处理,最后所有处理后的特征使用HMM学习的方法进行分类识别。

“uFeIIg等人口列提出了一种应用运动索引树(motionin—

dexingtree)的方法实现三维运动捕捉数据的检索。该方法通过分级运动描述构造运动索引树,索引树再决定其子树与检索条件从属关系时期到一个分类器的作用,一种称做最近相邻尺度动态聚类的算法(nearestneighborrule—baseddynamiceluste-ringalgorithm)被用来划分运动数据和聚类。通过弹性匹配计算检索条件与子树之间的相似性,并且引用基于适应性聚类的关键帧抽取算法(adaptiveclustering—basedkey—franleextractionalgorithm)来提高计算效率,取得了良好效果。

向坚等人Ⅲ1提出了基于改进的数据驱动决策树分析的三维人体运动检索方法,先通过从人体运动中提取一种基于三维空间变换特征规律的空间变换特征和运动的一些关键时间特性来得到人体运动的三维时序特征;然后针对不同的训练需求,通过改进的数据驱动决策树的学习方法来分析关节点对运动相似的不同影响,并在检索过程中按照不同影响程度依次对关键点进行相似度计算;最终实现了一个高效的运动检索仿真系统。在此基础上又提出了一种基于集成多示例学习决策树分析的三维运动检索方法【351,对运动捕获数据中人体的各个关节点提取一种基于三维空间变换规律的三维空间特征的方法,并基于空间运动连续性引入了关键空间的概念。针对各关节点空间特征相对保持独立的特性,用每个关节点作为索引,并通过集成学习的多示例决策树的学习方法去分析关节点对运动相似的不同影响,最终实现了一个高效的运动检索系统。

大连理工大学冯林等人Ⅲ用1提出了一种基于运动能量模型(kineticenergy)的人体运动捕捉数据库的检索方法。该方法不同于经典的基于几何空间位置的检索方法,首先提出基于

运动能量的描述人体运动的模型.在此基础上引入熵的概念,

提取能体现运动特征的关键关节作为衡量动作相似性的基准;

然后利用Keogh定界算法建立索引,以加快检索速度;最后利用动态时间变形算法计算运动例子与检索集之间的相似度,确定检索结果集。取得了良好的实验效果。此外还结合支持向量

机和高维索引技术ⅢJ,实现了运动数据的分割和检索。

.北京理工大学黄天羽等人旧1提出了一种基于几何特征编码的运动搜索方法,也提出了基于姿态的几何特征来描述人体躯干和四肢的关系,并且通过特征编码函数,将复杂的运动数

据转换成简单编码流,通过合并特征编码与索引树的思想,建立基于编码的数据库索引,实现了快速而有效的基于内容的运动搜索,并支持索引的线性扩展。在2×106帧的运动数据库上的实验验证,表明该搜索方法的实时性和有效性。

6结束语

综上所述,人体运动捕捉特征表示与数据检索方法的研究吸引了众多研究人员的注意。本文介绍了目前人体运动捕捉数据特征提取方法和数据检索方法等领域中国内外研究进展和发展概况,分析了现有的研究和技术方法,主要分析阐述了基于模板匹配的方法、基于内容的检索方法以及其他具有代表性的方法和成果。

现有方法从不同角度对人体运动的特征进行了定义和分析,由于人体运动的复杂性和多自由度特征,仍存在特征表示不统一,有些复杂运动难以使用简单特征进行定义、表示等局限性。这些因素导致人体运动高维特征的提取仍然是一项具有挑战性的研究课题,在检索率、检索精度及检索效率等方面仍有进一步提高的空间,因此在进一步的研究中,研究人体运动特征表示和提取方式,在高维空间中定义统一表示的、适应性和鲁棒性强的人体运动特征,设计有效的、高效的数据检索算法,并实现运动数据的快速检索,对于提高运动捕捉数据重用效率进而降低制作成本具有一定的理论价值和现实意义。

参考文献:

[1】Vicenmotioncapturesystem[EB/OL].http://www.vlcon.coin.[2]DVMCmotioncapturesystem[gB/OL].http://www.dorealmft.coln.cn.

[3】MULLERM,RODERT,CLAUSENM,ef吐MocapdatatmeHDMfl5。

CC,-2007-2[R].Bonn:University0fBonn。2007.

[4】UserguideofC3Dfileformat[EB/OL】.hnp://www.m060lloJab6.corn.

[5]BVHfileformat[EB/OL].hap://www.Biovision.coin.

[6】Motionbuilders01.are[EB/OL].http://www.autodesk.com.[7]张菁,沈兰荪,FENGDD.基于视觉感知的图像检索的研究[J】.电子学报,2008,36(3):494.499.

[8]DENGYi?ning.MANJUNATHBS.NeTra.V:towardnobject.basedvideorepresentation【J】.IEEETransOffCircuitsandSystemsforV'tOeoTE时n蝴,1998,8(5):616.627.

[9]MULLERM。RODERT.Motiontemplatesforautomaticchssiilcation

andretrievalofmotion

capturedata[C】//ProcofEurographiea/ACMSIC.GRAPHSymposiumOIIComputerAnimation.2006:137.146.[10]DEMUTHB,RODERT,MULLERM.et以Aninformafion州evalWlstemformotioncapturedata[M】.Berlin:Springer,2006:373.384.[11]LINYi.EfficientmotionsearchinIaI带motiollcaptllredatabases

第1期肖伯祥,等:人体运动捕捉数据特征提取与检索研究综述?13?

[M].Berlin:Springer.2006:151-160.

[12]杨跃东,王莉莉,郝爱民,等.基于几何特征的人体运动捕获数据

分割方法[J].系统仿真学报,2007,19(20):2229-2234.

[13]RODERT.Similaritytretrieval,andclassificationofmotioncapture

data[D].Bonn:UniversityofBonn,2006:93-110.

[14】刘丰,庄越挺,吴飞,等.基于例子的三维运动检索[J].计算机辅

助设计与图形学学报,2003,15(10):1275.1280.

[15]CRAWFORDT,VELTKAMPRC.06171executivelmmul丑ry—con-

tent—basedretrieval[EB/OL].(2006).http://drops.dagstuid.de/

opus/volhexte/2006/757.

[16]AHANGERG.I.册.ETDC.Asurveyoftechnol06∞forparsing

andindexingdigitalvideo[J】.JournalofVisualCommunication

andImageRepresentation,1996,7(1):28—43.

[17]SERHAND,WASFIAK。ARIFG。et耐.Modelsformotion.based

videoindexingandretrieval[J].IEEETransollImagoProces—

sing,2000,9(1):88—101.

[18]CHIUCY,CHAOSP,WUMing—yang,el耐.Content—basedt劬-ieval

forhumanmotiondata[J】.JoumalofVisualCommunicationand

ImageRepresentation,2004,15(3):446—466.

[19]BRUDERLINA,WILLIAMSL.Motionsignalprocessing[C】NPme

ofSIGGRAPH.1995:97—104.

[20]YAMASAKIT,AIZAWAK.Content—basedci'068searchforhuman

motiondatausingtime?varyingmeshandultotioncapturedata[C]//

PmeofIEEEInternationalConferenceONMultimediaandExpe.

2007:.2007?2009.

[21]MULLERM,RODERT,CLAUSENM.Efficientcontent.basedre-

trievalofmotioncapturedata[J].ACMTransonGraphics,2005,

24(3):677—685.

[22]高岩.基于内容的运动检索与运动合成[D】.上海:上海交通大

学,2006.

[23]KOVARL,GLEICHERM.Flexibleautomaticmotionblendingwith

regi咖ali∞curv∞[C]//PreeofACMSIGGRAPH/Eurographies

SymposiumOHComputerAnimation.Aim-la—Ville.Switzerland:Eu—

rographicsAssociation.2003:214?224.

[24]CHUS,KEOGHE,HARTD.耐以herativedeepeningdyn血c

timewarpingfortimeseries[C]//VrocofSDM.2002.

[25]KEOGHEJ,PAZZANIMJ.Scalingupdynamictimewarpingto

∞sivedataset[c]//Pmofthe3rd

European

Conference0111Prinei—

piesofDataMiningandKnowledgeDiscovery.London:Springer—Ver-

189,1999:1一11.

[26]CARDLEM,VLACHOSM.BROOKSS,eta/.Fastmotioncapture

matehingwithreplicated

motionediting[C]//PrneofSIC,GRAPH

SketchesandApplications.[s.1.】:ACMPress,2003.

[27]KEOGHE,PALPANAST,ZORDANV,eta/.Indexinglapsehu—

manmotiondatabases[C]//ProeofVLDB.2004.

[28]VLACHOSM.KOLLIOSG.GUNOPULOSD.Discoveringsimilar

multidimensionaltmjectories[C]//Precofthe18thICDE.2000.

[29]FORBESK.FIUMEE.Ane4矗eientsearchalgorithmformotiondata

usingweightedPCA[C]//ProcofEurngraphies/ACMSIGGBAPH

SymposiumonComputerAnimation.2005:67?76.

[30]UEHARAK,SHIMADAM.Extractionofprimitivemotionanddis-

coveryofassociationrulesfromhuman

motiondata[C]//Pineof

LNAI.2002:338?348.

[31]SAKAMOTOY,KUBIYAMAS,KANEKOT.MotionnⅡtp:image—

basedretrievalandsegmentationofmotiondatasymposiumoncempu-

teranimation【C]//PrneofEurngraphies/ACMSIC,GRAPHSympasi—

umonComputerAnimation.2004:259-266.

[32]XIANGJian,ZHUHong?li.EnsembleHMMlearningformotionre-

trievalwithlion?linearPCAdimensionalityreduction[c]//P№ofthe

3rdIntematjionalConfereneoonIntelligentInformationHidingand

MaltimediaSignalProcessing.2007:604—607.

[33]uuFeng.ZHUANGYue-ring,WUFei.el以3Dmotionretrieval

withmotionindextree[J].ComputerVisionandImageUnder-

standing,2003。92(2?3):265—284.

[34]向坚,徐劫,郭同强,等.基于改进的敷据驱动决策树分析的三维

人体运动检索[J].中国图象图形学报,2007,12(10):1761?

1765.

[35]向坚。俞坚.基于集成多示例学习决策树分析的三维运动检索

[J】.计算机研究与发展,2008,45(增刊):305—309.

[36】冯林,沈骁,孙焘,等.基于运动能量模型的人体运动捕捉数据库

的检索[J].计算机辅助设计与图形学学报,2007,19(8):1015.

1021.

[37]沈崤.基于人体运动捕捉数据的高维时问序列检索和分割算法

研究[D].大连:大连理工大学。2007.

[38]于孝航.基于人体运动捕捉数据的高维时间序列模式挖掘算法

的研究[D].大连:大连理工大学。2007.

[39]黄天羽,李凤霞。战守义,等.一种基于几何特征编码的运动搜索

[J].系统仿真学报。2006,18(10):2767.2773.

(上接第9页)

参考文献:

[1]BROLLG,SIORPAESS,RU驻IOE,da/.Supportingmobile8盯-viceusagethruuShphysicalmobileinteraction[C】//Proeofthe4thIEEEInternationalConferenceonPervasiveComputingandCommuni?cations.WashingtonDC:IEEEComputerSociety.2007:262-271.[2]MICHAELK,MCCATHIEL.TheprosandconsofRFIDinsupplychainmanagement[C】//PrecofInternationalConferenceonMobileBusiness.WashingtonDC:IEEEComputerSociety.2005:623-629.[3]FRAMLINGK,HOLMSTROMJ.ALA?RISKUT,ela/.Productagentsforhandlinginformation

aboutphysicalobjeels,TKO—B153/03[R].Helsinki:HelsinkiUniversityofTechnology,2003.

[4]KARKKAINENM.AIA—RISKUT,FRAMLINGK.TheproductCell-trieapproach:asolutiontosupplynetworkinformationmanagem廿Rproblems[J].ComputersinIndustry,2003.52(2):147-159.

[5】ARMENIOF,BARTHELH.BUR.STEINL.矗a/.TheEPCglobalarchitecturefnunework(EPC¥10balfinalvemionI.2)[EB/OL】.(2007—09一10).http://www.epcglobalinc.o衫standards/architec—

ture/architeeture一1上-framework-20070910.p皿

[6]EPCglobaltagdatastandardsversionl.4[EB/OL].(2008—06—11).hrtp://www.epeglobalinc.org/standards/tds/tds』1—4-standard一20080611.p札

[7]Objectnamingservice(ONS)version1.0[EB/OL].(2005.10.

04).http://www.epeglobaline.org/standards/ons/ous一1一O-stand—ard-20051004.p皿

[8]FABIANB,GUNTHERO,SPIEKERMANNS.Securityanalysisof

theobjectnamegel-vice[C]//PreeoftheIstIEEEWorkshoponSe.curity,PrivacyandTrustinPervasiveandUbiquitousComputing.[S.I.]:IEEEICPS,2005:71-76.

[9]KOUTSONIKOLAV,VAKALIA.LDAP:framework,practices。andtrends[J].IEEEIntemetComputing.2004,8(5):66-72.

[10]SMITHM,HOWEST.RFCA516,Liglltweightdirectory∽ce∞proto-col(LDAP):uniform舢urceIocator[S】.【S.I.]:IETF,2006.[11】JOHNERH,BROWNL,HINNERF,el以.UnderstandingLDAP[M].Austin,Texas:IBMCorporation.InternationalTechnicalSup-pertOrgani盟tion,1998:16-18.

人体运动捕捉数据特征提取与检索研究综述

作者:肖伯祥, 张强, 魏小鹏, XIAO Bo-xiang, ZHANG Qiang, WEI Xiao-peng

作者单位:大连大学,先进设计与智能计算省部共建教育部重点实验室,辽宁,大连,116622

刊名:

计算机应用研究

英文刊名:APPLICATION RESEARCH OF COMPUTERS

年,卷(期):2010,27(1)

被引用次数:0次

参考文献(39条)

1.Vicon motion capture system

2.DVMC motion capture system

3.MULLER M.RODER T.CLAUSEN M Mocap database HDM05,CG-2007-2 2007

https://www.doczj.com/doc/643058060.html,er guide of C3D file format

5.BVH file format

6.Motion builder software

7.张菁.沈兰荪.David Dagan FENG基于视觉感知的图像检索的研究[期刊论文]-电子学报 2008(3)

8.DENG Yi-ning.MANJUNATH B S NeTra-V:toward an object-based video representation 1998(5)

9.MULLER M.RODER T Motion templates for automatic classification and retrieval of motion capture data 2006

10.DEMUTH B.RODER T.MULLER M An information retrieval system for motion capture data 2006

11.LIN Yi Efficient motion search in large motion capture databases 2006

12.杨跃东.王莉莉.郝爱民.封春升基于几何特征的人体运动捕获数据分割方法[期刊论文]-系统仿真学报

2007(10)

13.RODER T Similarity,retrieval,and classification of motion capture data 2006

14.刘丰.庄越挺.吴飞.潘云鹤基于例子的三维运动检索[期刊论文]-计算机辅助设计与图形学学报 2003(10)

15.CRAWFORD T.VELTKAMP R C06171 executive summary_content-based retrieval[EB/OL] 2006

16.AHANGER G.LITTLE T D C A survey of technologies for parsing and indexing digital video 1996(1)

17.SERHAN D.WASFI A K.ARIF G Models for motion-based video indexing and retrieval 2000(1)

18.CHIU C Y.CHAO S P.WU Ming-yang Content-based retrieval for human motion data 2004(3)

19.BRUDERLIN A.WILLIAMS L Motion signal processing 1995

20.YAMASAKI T.AIZAWA K Content-based cross search for human motion data using time-varying mesh and motion capture data 2007

21.MULLER M.RODER T.CLAUSEN M Efficient content-based retrieval of motion capture data 2005(3)

22.高岩基于内容的运动检索与运动合成 2006

23.KOVAR L.GLEICHER M Flexible automatic motion blending with registration curves 2003

24.CHU S.KEOGH E.HART D Iterative deepening dynamic time warping for time series 2002

25.KEOGH E J.PAZZANI M J Scaling up dynamic time warping to massive dataset 1999

26.CARDLE M.VLACHOS M.BROOKS S Fast motion capture matching with replicated motion editing 2003

27.KEOGH E.PALPANAS T.ZORDAN V Indexing large human motion databases 2004

28.VLACHOS M.KOLLIOS G.GUNOPULOS D Discovering similar multidimensional trajectories 2000

29.FORBES K.FIUME E An efficient search algorithm for motion data using weighted PCA 2005

30.UEHARA K.SHIMADA M Extraction of primitive motion and discovery of association rules from human motion data 2002

31.SAKAMOTO Y.KURIYAMA S.KANEKO T Motion map:image-based retrieval and segmentation of motion data symposium on compu-ter animation 2004

32.XIANG Jian.ZHU Hong-li Ensemble HMM learning for motion retrieval with non-linear PCA dimensionality reduction 2007

33.LIU Feng.ZHUANG Yue-ting.WU Fei3D motion retrieval with motion index tree 2003(2-3)

34.向坚.徐劼.郭同强.吴飞.庄越挺基于改进的数据驱动决策树分析的3维人体运动检索[期刊论文]-中国图象图形学报 2007(10)

35.向坚.俞坚基于集成多示例学习决策树分析的三维运动检索[期刊论文]-计算机研究与发展 2008(z1)

36.冯林.沈骁.孙焘.于孝航.潘晓雯基于运动能量模型的人体运动捕捉数据库的检索[期刊论文]-计算机辅助设计与图形学学报 2007(8)

37.沈崤基于人体运动捕捉数据的高维时间序列检索和分割算法研究 2007

38.于孝航基于人体运动捕捉数据的高维时间序列模式挖掘算法的研究 2007

39.黄天羽.李凤霞.战守义.李祥晨一种基于几何特征编码的运动搜索[期刊论文]-系统仿真学报 2006(10)

相似文献(5条)

1.学位论文肖伯祥运动捕捉数据处理、检索与重构方法研究2009

人体运动捕捉是近年来新兴的一种数据采集方式,是数学、计算机图形学、图像处理、数据处理等多个学科相互渗透、相互交叉而产生的新兴研究领域,引起了国内外众多研究人员的注意,大量的研究成果不断涌现。人体运动捕捉的研究不仅具有一定的理论研究意义,还具有广泛的实际应用价值。到目前为止,人体运动捕捉已经广泛应用于现代影视动画、游戏制作、医学分析、体育科学研究和运动训练指导等领域。

在运动捕捉逐渐发展的近二十年里,国内外很多学者和研究人员在相关领域开展了研究工作,在许多方面都取得了丰富的理论和实践成果,包括运动捕捉方式的研究,运动捕捉设备的设计、开发以及系统架构,运动捕捉数据处理算法及相关软件系统开发,运动捕捉数据的管理、压缩、检索与重用方法,运动数据的理解及人体运动分析,人体运动重构方法等。本文的主要研究工作包括以下几个方面:

1)光学运动捕捉散乱数据处理方法:针对运动捕捉系统获取的三维散乱中间数据,提出了基于结构匹配的运动捕捉数据处理方法和基于语义块的动态脉冲噪声模型实现噪声数据和缺失数据的处理。根据目前我国运动捕捉发展现状,结合企业实际问题,提出的方法基于人体的刚性结构假设,通过五种匹配类型和拓扑结构校验的方法实现三维空间散乱数据点的识别、匹配与重构。在此基础上,通过定义语义节点,提出语义块和备选语义块的概念

,基于语义块而非传统的特征点轨迹构建动态噪声模型,进而应用中值滤波算法实现噪声数据的滤除和缺失数据修复。在以上两种方法的理论基础上

,设计开发数据处理系统并进行实验验证,实验结果表明以上方法具有较好的数据处理效果及鲁棒性和较高的处理效率。

2)人体运动特征表示与运动捕捉数据检索方法:提出基于语义模型的人体运动高维空间特征提取方法,引入仿生模式识别理论并实现基于该理论的人体运动数据检索方法。针对运动捕捉数据特征提取与检索问题,定义语义节点、建立人体语义模型,测试了基于语义相似度的检索方法。此外,基于构造的高维空间特征向量,根据检索样本在高维空间中构造同类型运动数据的特征覆盖域,从而实现检索目的。进而在此基础上,引入仿生模式识别理论,在高维空间中构造改进的HSN神经元表示同类型运动在高维空间中的特征覆盖域,以实现运动数据的检索。在设计的原型系统中,测试数据库采用卡耐基梅隆大学(CMU)运动捕捉实验室的开放式运动捕捉数据库进行验证,实验结果表明以上方法具有较高的检索精度和检索效率。

3)基于数据驱动的人体及人脸运动重构方法:将运动捕捉数据与非均匀有理B样条(NURBS)方法相结合,分别提出局部坐标系插补方法和NURBS映射方法,实现了运动捕捉数据驱动的NURBS人体和人脸模型的运动重构动态仿真。针对人体运动,首先定义一个分片的基于NURBS曲面的人体虚拟模型,进而设定曲面控制点与语义节点的关联,根据从运动捕捉数据驱动过程中提取的语义模型的变化,通过坐标系插补的方法驱动曲面的变形以实现人体运动动态模拟。此外,特别针对面部运动,构造基于NURBS曲面和MPEG-4标准的虚拟人脸模型,通过对运动捕捉数据的局部坐标系分解,分别提取出面部表情运动与头部整体运动,进而建立运动捕捉数据与NURBS控制点的映射关联,实现面部表情的仿真。最后,分别设计开发原型系统并验证了方法的有效性。 综上所述,本文主要围绕以上三个方面提出了有效的处理方法和实现途径,并在算法基础上,分别设计开发了相应的软件或原型系统,在大量实验数据测试的基础上,验证了方法的有效性、鲁棒性和执行效率。为设计和开发自主知识产权的运动捕捉数据处理软件系统提供了算法基础和可行性分析依据。

2.学位论文孙运达多视点非接触式人体运动捕捉的研究2006

运动捕捉是检测记录运动目标的动作或表情,将其转化为数字化的“抽象运动”的技术。运动捕捉结果表达为不同时刻目标所处的姿态,可用于新一代人机自然交互、动画制作、游戏制作、运动分析、虚拟现实等诸多应用领域。由于非接触式人体运动捕捉具有非强迫、成本低、智能化等优点,如何不依赖于特殊设备或标志,克服噪声、复杂背景、遮挡和自遮挡等因素的干扰,从图像序列中获取人体的姿态信息已成为运动捕捉领域的重要热点之一。本文对多目图像序列中的人体运动捕捉的相关技术进行了研究和探讨,提出了一系列新的解决方案和算法。主要内容如下:

1.在运动目标的提取中提出了一种自适应层次式混合高斯(GMM)背景模型,即HGMM。它使运动捕捉系统能够处理更多复杂场景中采集的数据,较好的解决了自适应混合高斯背景模型中存在的三个方面的问题:背景模型初始化速度慢、暂停运动或运动缓慢的目标被背景模型过快吸收、无法处理剧烈的光照变化。为了解决这些问题,本文介绍了一种小样本集上的背景模型学习算法、一种新的背景模型选取算法以及背景模型的层次式组织形式。

2.在运动目标的提取中提出了一种新的结合“自适应GMM背景模型”的马尔可夫随机场后验概率最大化(MRF-MAP)方法,即GMM-MRF。它是一种固定摄像机条件下实时、准确的运动目标自动提取方案,解决了已有MRF-MAP方法中存在的四个方面的问题:无法处理动态背景造成的“伪目标”、阴影的干扰、提取结果不符合图像中的边缘特征、算法效率太低。本文对MRF-MAP方法的贡献在于:设计了基于“自适应GMM背景模型”的能量项、设计了阴影消除能量项、设计了对比能量项以及引入了动态的切图算法。

3.在基于学习的人体运动捕捉中,提出了一种从视点基本无关的三维体素数据中学习人体姿态的方法,即LPFV(Learning Pose From Voxel)。它在

目标推进了一大步。本文的主要贡献还包括:改进了三维形状描述子3DSC,更有效的描述体素数据;提出了一种体素数据特征提取的贝叶斯方法,增强了特征矢量的区别力;引入了多变量相关向量机,学习单个映射函数,保持回归模型的稀疏性。

4.在基于模型的人体运动捕捉中,提出了一种三维动态马尔可夫随机场方法,即3D-DMRF。它把运动捕捉和三维重建巧妙的结合在统一的贝叶斯框架MRF中,能够同时给出运动捕捉的准确姿态和三维重建的更好结果,解决了以往三维拟合方法中存在的问题,即没有考虑三维数据中(尤其是稀疏视点下)所包含的误差对运动捕捉精度的影响。本文的主要贡献还包括:设计了一种新的人体模型——增强型的骨架图,较好的平衡了模型的复杂度和真实感;提出了3D-DMRF的构造方法,使观测数据和人体模型两种形式的信息互为补充;提出了3D-DMRF的两层嵌套优化技术,同时求解人体运动捕捉和三维重建问题。

各部分的合成与真实数据实验证明了本文工作内容的可行性和有效性,最后介绍了一个实用简便、成本低廉、精度较高的非接触式的人体运动捕捉原型系统,作为实验平台和总结性的成果,为今后进一步的研究打下了坚实的基础。

3.学位论文万成凯无标记人体运动捕捉及姿态估计的研究2009

人类感知外界信息,80%以上是通过视觉得到的,让计算机具有视觉是人类多年以来的梦想。随着人机交互技术的发展,人与计算机之间自然的、多模态的交互将成为人与计算机之间交互的主要方式。而这首先就需要计算机可以正确地理解和捕捉人的行为,运动捕捉正是在这种背景下提出来。运动捕捉是指检测和记录运动目标(通常是人)的动作或表情,并将其转化为数字化的“抽象运动”的技术,其结果则表示为不同时刻目标所处的姿态。它是新一代人机交互的关键技术之一,同时也可应用于动画游戏制作、运动分析、虚拟现实、智能监控及模型基编码等领域。

基于视觉的人体运动捕捉具有非入侵、成本低、智能化等优点。从图像序列中获取人体的姿态信息已经成为运动捕捉领域的热点之一.然而由于存在人体的非刚体运动、三维空间到二维图像平面投影的多义性、人体的遮挡与自遮挡、高维状态空间搜索、复杂条件下的图像特征提取与匹配等方面的困难,从视频图像中恢复出人体三维运动姿态存在大量的不确定性。因此三维人体运动捕捉是计算机视觉领域一项非常有挑战性的任务。本文正是从计算机视觉的角度出发,对基于视觉的人体运动捕捉和姿态估计进行了深入地研究,其取得的主要成果可以总结如下:

1.提出了一种集多种约束功能的活动轮廓运动目标提取算法,即MC-GMM-Active Contours。它在活动轮廓的框架之下引入了对GMM背景模型的描述。为了有效地利用前一帧已经获得的前景目标的有关信息,能量函数中引入了前景颜色模型。为了有效的抑制阴影,能量函数中引入了阴影消除能量项来代替以往独立的阴影消除模块。人们对物体的认识主要是来自于其外形轮廓,而能量函数的曲率约束项则将目标轮廓及先验知识约束统一于运动目标提取的过程之中。能量函数的优化采用曲线演化及水平集方法来优化目标函数的方法。而在水平集的数值解中,采用了半隐式无条件稳定的加性算子分裂算法(Additive Operator Splitting, AOS)。这些使得我们在固定摄像机条件下,获得了比通常算法更准确和快速的运动目标提取算法。

2.提出了一种结合改进的三维动态马尔可夫随机场(Markov Random Fields)和距离能量模型(Distance Energy Model)的姿态估计方法(M-MRF-DEM)。相比以往基于MRF的运动捕捉算法,有如下的改进:为了使模型与表演者任何时候都合身紧凑,我们提出了一种基于骨架模型的自适应距离能量模型。它可以根据姿态估计过程中的反馈,对人体模型进行在线更新。为了可以更有效的描述MRF中体素之间的关系,我们采用了一个更准确的二元交互势。为了能更好地约束人体运动姿态的合理性,我们引入了更合理的附加约束项。实验表明改进后的算法使得估计的姿态更为鲁棒。

3.提出了一种无需目标提取的3D活动轮廓运动捕捉算法。该方法不再把运动目标提取和姿态估计作为两个独立的模块相继处理。以往的运动目标提取模块提取出人体轮廓之后,后续的处理步骤只关注图像中轮廓以内的部分,这使得后续步骤中信息出现丢失。同时这也使得后续的处理过分依赖目标提取的结果,一旦目标提取存在错误则在后续步骤中无法恢复。而基于3D活动轮廓的人体运动捕捉将人体的目标提取与姿态估计无缝地整合到活动轮廓的框架下,借助于人体模型,将运动捕捉与三维重建两个任务有机地结合起来,克服了前面的缺点。同时该算法引入了人体运动先验约束项来抑制三维数据中摄像机遮挡带来的影响,这些改进使得我们的算法获得比通常算法具有更高效率和更加鲁棒的效果。

4.提出了一种基于2D活动轮廓的强先验运动目标分割与人体姿态估计算法。该方法同样不再把运动目标提取作为一个独立的模块来单独处理。但是在很多情况下,人们不仅需要得到更加精确姿态估计,同时也要获得运动目标分割的较好结果。因此本方法致力于同时获得人体的姿态和目标分割的更好结果。本方法仍以人体模型为基础,将运动捕捉和目标分割统一在活动轮廓的框架之下。一方面人体模型的强先验知识可以指导目标分割获得更好的分割效果,另一方面好的目标提取效果又使得姿态估计有更高的精度。

4.学位论文李振波低维空间人体运动分析技术研究2007

在计算机中生成满足人们需要的三维人体运动是一项长期而艰巨的任务.近年来,随着计算机动画、虚拟现实、游戏、影视等产业的不断发展,人们对研究三维空间中的人体运动产生了浓厚的兴趣.但由于描述人体运动的状态空间维数非常高,运动状态空间非常巨大(从优美的舞蹈动作到激烈的体育比赛,无不是人体运动状态空间的子空间),使得三维空间中人体运动的生成变得非常困难.

当前运动捕捉技术已经成为获取真实的人体运动信息的主流技术,运动捕获数据真实地反映了人体的运动过程.由于运动数据中包含了人体关节点的三维运动信息,它具有传统的二维图像运动分析所不具有的真实、准确的优点.经过近十年的发展,人们已经积累了大量的运动捕获数据,从运动数据出发建立人体运动分析模型或者统计模型的研究条件已经具备.

三维空间人体运动的特点是运动是多刚体、多自由度的,对其直接分析具有很大的难度.但同时我们注意到人体运动具有一定的规律性,如在走路过程中,人体上肢与下肢的运动关系遵循一定的运动模式.通过对人体运动的这种规律性知识的学习可以建立人体运动的分析模型或者统计模型.这种运动分析模型或者统计模型对于计算机视觉中的人体运动跟踪、运动识别以及计算机动画制作都是十分重要的.在人体运动跟踪中加入人体运动的先验知识可以极大地提高运动跟踪的效率和准确性.通过对给定的人体运动先验模型的似然观察可以对指定的运动进行分类和识别.另外,在计算机动画中这种模型可以用于减少生成运动的状态空间,提高动画制作的自动化程度.

建立人体运动分析模型或者统计模型过程中一个很重要的方法是对人体运动的状态空间进行降维表示.本文从理论和实际应用的角度,对低维空间中的人体运动分析技术进行了研究.本文研究的目的是通过运动状态空间降维,在低维空间对运动的特征及规律进行描述,为运动跟踪及运动合成等提供先验知识,本文的主要贡献如下:

1.提出了建立包括现象模型和解剖模型的分层结构的三维人体运动模型表示思想.针对当前不同系统中三维人体运动模型表示不统一的问题,定义了两种层次的人体运动表示模型.同时在运动模型中引入特定运动的统计特征,增加了相应运动的动态约束条件.这种分层结构的运动模型可以满足不同应用的需求.

2.提出人体运动虚关节的概念,利用线性方法对人体运动的状态空间进行降维表示,将高维的运动数据映射到低维空间.并在此基础上提出了一种利用运动数据产生不同级别真实感人体运动的方法,提出了低维空间中人体运动周期的获取策略和在低维空间利用运动数据进行身份识别的方法.

3.提出了利用高斯过程动态模型(Gaussian Process Dynamical Model,GPDM)和三维曲线矩不变量(3D Curve Moment Invariant)进行运动的非线性低维描述的方法,高斯过程动态模型可以对运动序列进行非线性学习,获取低维空间的非线性运动特征,三维曲线矩不变量用来对获取的三维空间隐式曲线进行几何描述,从而实现在非线性隐式空间进行运动的特征描述和识别;

4.提出了一种空间投影模型,建立了基于投影图像的人体运动识别方法,将三维空间的人体姿态和运动识别问题转化为二维空间投影图像之间的特征提取和匹配,实现了基于姿态投影的运动识别原型系统.

5.学位论文陈睿基于概率模型的三维人体运动跟踪研究2005

本文的主要研究内容是从多个同步的视频序列中自动恢复人体的三维运动姿态。这种无标记的人体运动捕捉跟踪技术可广泛应用于体育运动分析、医学诊断、虚拟现实、计算机动画、视频监控、人机交互等领域。由于存在非刚体人体描述、人体模型的三维到二维投影多义性、人体模型的自遮挡、高维状态空间搜索、复杂条件下的图像特征提取与匹配等方面的困难,从视频图像中恢复出人体三维运动姿态存在大量的不确定性。因此三维人体运动跟踪是计算机视觉领域一项非常有挑战性的任务。

本文提出了有模型指导的三维人体运动跟踪框架,将一个多关节的圆台形状三维人体模型与多个视频图像中的外轮廓、边界、狄度和肤色特征进行匹配,使人体运动跟踪变成一个状态估计问题。并且,使用基于概率模型的粒子滤波算法来完成非线性、非高斯动态系统的状态估计。

粒子滤波算法虽然能在混乱背景及遮挡情况下很好地完成一般跟踪任务,但是对于人体运动估计仍然存在困难。因此本文提出了两种新的粒子滤波改进策略。一种是将状态空间分解和PERM(Pruned-Enriched Rosenbluth Method)采样与退火粒子滤波结合,提高了对多模式后验分布的模拟精度。另一种是确定性搜索方法与随机采样方法相结合的改进粒子滤波算法,用于跟踪复杂背景下的三维人体运动。这种新的粒子滤波算法的最大特点就是通过局部优化方法来指导重要性分布函数的生成,使得对高维空间中多峰后验分布函数的估计成为可能。

此外,在图像特征提取方面,本文提出了一种非参数的背景估计模型,用于检测视频图像中的运动人体的外轮廓。这种方法综合考虑了图像上的时

本文链接:https://www.doczj.com/doc/643058060.html,/Periodical_jsjyyyj201001003.aspx

授权使用:哈尔滨理工大学(heblgdx),授权号:f8d0f160-fbd5-44ef-ba8a-9dc4011c10db

下载时间:2010年7月31日

相关主题
文本预览
相关文档 最新文档