粗糙集理论在中国手语合成中的应用

第43卷第5期2004年10月复旦学报(自然科学版)Journal of Fudan U niversity(Natural Science)Vol.43No.5O ct.2004文章编号:0427-7104(2004)05-0874-03粗糙集理论在中国手语合成中的应用徐燕1,2,怀进鹏1,苏林萍2,王兆其3(1.北京航空航天大学计算机学院,北京100083;2.华北电力大学(北京)计算机系,北京102206;3.中国科学院计算技术研究所,北京100080)摘要:粗糙集理论是处理模糊和不确定知识的一种重要工具,约简是它的核心方法之一.在人机交互中,手势交互的难点在于手势表示的复杂性和逼真性,在将粗糙集理论应用于中国手语合成中,利用约简发现了手运动中的一类约束,降低了手语表示的复杂性,也增强了手语合成的逼真性.关键词:数据挖掘;粗糙集;约简;手语中图分类号:T P311文献标识码:A手语是一种人体运动语言,通过手的运动表达意思,主要用于聋人之间相互交流.手语合成就是要将自然语言文本句子,自动翻译成聋人手语,并由计算机生成的虚拟人逼真地显示出来.根据中国政府1987年4月1日进行的全国残疾人抽样调查结果推算,到2000年,中国大陆有残疾人6500万,其中患有听力语言障碍的聋人数目最多,约2800万.这些聋人之间及他们与周围其他人之间的交流主要通过中国聋哑手语进行.合成手语不仅可以方便聋人使用各种信息,而且也有利于聋人参加正常人群体活动(如观看电视),实现聋人与正常人之间的自然交流,具有十分重要的应用价值和社会意义.由于手语是用手运动表示的一种语言,而手包含多个关节,每个关节又具有多个自由度,因此手语合成的难点之一是手势表示的复杂性.由于手运动时,手关节之间存在一定的约束,也就是说,有些手势是不存在的,另外,采集数据时难免误差,因此手语合成的另一个难点是手语的逼真性和准确性.使用粗糙集理论的目的就是降低手语表示的复杂性及增强手语合成的逼真性.1中国手语合成系统手语合成的研究开始于1982年,美国的Shantz和Poizner实现了一个合成美国手语的计算机程序.之后,中科院计算所的高文教授、中国浙江大学的舒宏先、王申康、美国加州州立大学的Noriko、日本的Lee、德国的Frank和Thoma s等许多学者都进行了自己国家的手语合成研究,并取得了许多重要的研究成果.中国聋人手语合成的研究开始于1994~1995年间.浙江大学的人工智能研究所基于多媒体的方法建立了一套手语教学系统,高文从1994年起应用计算机图形学的方法研究手语合成.一般来说,手语合成的系统结构如图1所示[1].2粗糙集理论在中国手语合成中的应用2.1粗糙集理论的基本概念粗糙集以不可分辨关系为基础,粗糙集合之所以是粗糙的,是因为知识的粒度太大,对论域缺乏足够X收稿日期:2004-05-12基金项目:国家863计划资助项目(863-306-02-01);国家自然科学基金资助项目(60103007)作者简介:徐燕(1968)),女,博士研究生.图1 手语合成过程F ig.1 T he process for synthesis of sign language的知识,但可以用上下一对集合来近似刻画.约简是粗糙集理论中的重要概念,在信息表中,它的作用是去掉多余的属性.约简不是唯一的,其中包含关系最少的约简为最小约简,最小约简是应用中大家较感兴趣的约简,但已证明最小约简的计算是NP -hard 问题.有关粗糙集理论及其扩展的模型可以参见文献[2~5].2.2 手势表示我们采用基于关节旋转角度的人体上肢模型[6].腕关节及各手指关节的运动由数据手套获取,肩关节与肘关节的运动由传感器获取.两只手共有54个自由度.因此,手势可由一个54元向量表示,每维向量表示某关节的角度,一个手语运动可以由一个从时间到手势集合的向量函数表示[1].基于此原理,我们记录了5中国手语6中收录的全部5596个手势语和30个手指语,建立了一个初始的手语词运动库[1].2.3 基于聚类的手势类在实际手势聚类中,我们给出了一种改进的LBG 算法[7],在该算法中两手势的距离为手势数据各分量之间的最大差值.即两个手势相似,则两个手势的各关节角度值相近.调节各参数如迭代运算畸变D 、最大迭代次数N ,由于在实际使用中两个手势的各关节最大角度差值小于10b 时,两个手势是很相似的,因此给出一个相似的关节角度误差值(10b ),最后得到238个手势类[8].2.4 手语词库的建立手语词库记录了每个手语词的手语运动信息,是手语合成的基础.建立手语词库不仅工作量大,而且其质量也直接影响合成手语的效果.以下简单阐述中国手语合成系统手语词库的建立.中国手语合成系统使用运动跟踪方法建立手语词库,运动跟踪方法主要使用数据手套与传感器记录每个手语词对应的手语运动.这种方法的优点是方便快捷,可以减少手语库建立的工作量,用这种方法录制的手语包含了丰富的时间信息,使得手的运动变化更加逼真.由于运动跟踪方法容易受金属与其他电磁场的干扰,记录的数据存在很多噪声,因此,这种方法的缺点是易受干扰,使录制的一些手语不准确.为了减少由于干扰引起的手语误差,对那些不准确的手语运动进行编辑修改,我们采用如下方法:首先,使用运动跟踪的方法,记录每个手语词的真实人体运动数据,建立一个初始的手语词库;然后对那些不准确的、变形的手语运动进行编辑修改,给出一个基于控制点的手语运动编辑方法[6].对于不准确的关键帧的修改,用了聚类得到的手势类,由于手势类的特点,任何一个手势和该手势类中的一个手势类相似.这个手势类满足了建立手语词库的要求.2.5 手的运动约束人手的结构是非常复杂的,因此手的运动也是极其复杂的.由于手的生理特点,它的运动又是高度约束的.分析手的运动约束,就可以更真实地模拟虚拟三维人手的运动.所以,手的运动约束是除手势合成与识别外的一个研究热点.为了刻画真实运动中手的状态,对采集到的手运动数据进行分析处理,手的一种运动约束表现在某些手关节的运动是相依的,而非独立的,即某个关节的角度可以由其他关节角度计算得到.为此,利用粗糙875第5期 徐 燕等:粗糙集理论在中国手语合成中的应用876复旦学报(自然科学版)第43卷集理论中的约简算法,对这238个手势类进行约简[9],最终得到15个独立的手势,即这15个手势可以作为一组基手势,任何一个手势都可以由它们合成得到.手运动约束的发现有利于真实地表示手势,增强了手势表示的逼真性,即增强了手语合成的逼真性.由于手语是用手运动表示的一种语言,因此手语合成的难点是手势表示的复杂性和手语表示的逼真性、准确性.本文使用粗糙集理论降低了手语表示的复杂性并增强了手语合成的逼真性.参考文献:[1]王兆其,高文.基于虚拟人合成技术的中国手语合成方法[J].软件学报,2002,13(10):2051-2056.[2]Pawlak Z.Rough sets[J].I nter national Jour nal of Comp uter and I nf or mation Science,1982,11(5):341-356.[3]Ziarko W.Variable precision rough sets model[J].Jour nal of Comp uter and Systems Sciences,1993,46(1),39-59.[4]Kr yszkiewicz M.Generation of rules from incomplete information systems[A].In:K omo rowskj H J,Zytkow JM,eds.Principles of data mining and know ledge discovery,F irst European Symposium,PKDD.97[C].T r ond-heim,Norw ay:Spr ing er,1997.156-166.[5]Kr yszkiew icz M.Rough set appr oach to incomplete informat ion systems[J].I nf or mation Sciences,1998,112:39-49.[6]王兆其,高文,徐燕.一种基于传感器的人体上肢运动实时跟踪方法[J].计算机学报,2001,24(6):616-619.[7]徐燕,怀进鹏.数据挖掘及其在手语合成中的应用[A].见:史忠植,怀进鹏,田启家编.第六届中国人工智能联合学术会议论文集[C].北京:清华大学出版社,2001.131-136.[8]徐燕,怀进鹏,王兆其.手势数据挖掘及挖掘结果的可视化[J].计算机辅助设计与图形学学报,2003,15(4):449-453.[9]徐燕,怀进鹏,王兆其.基于区分能力大小的启发式约简算法及其应用[J].计算机学报,2003,26(1):97-103.The Application for Rough Set on theSynthesis of Chinese Sign LanguageXU Yan1,2,HU AI Jin-pen g1,SU Lin-ping2,WAN G Zhao-qi3(1.Dep ar tment of Comp uter Science and E ngineer ing,Beij ing University of A er onautics and A stronautics,Beij ing100083,China;2.Dep ar tment of Comp uter Science,N CEP U(BJ),Beij ing102206,China;3.I nstitute of Comp uting T echnology,CA S,Beij ing100080,China)Abstract:Roug h set theory is an useful tool to process inaccur ate data,reduction is an important concept in rough set.T he difficulty of hand gestur e interaction is the complex ity and facticit y.It applies roug h set to synthesis of Chinese Sig n L anguag e.T here are some constraints among t he hand gesture,the reduction is used to find some constraints of hand gestur e,the reco gnition and gener atio n of Chinese Sig n L anguag e w ill be simplified by the constraints.Keywords:dat a mining;rough set;r eduction;sig n language。