面向汉语词义自动标注研究的软件平台开发

第22卷　第3期2007年9月 北京机械工业学院学报Journal of Beijing I nstitute ofM achineryVol.22No.3Sep.2007文章编号:1008-1658(2007)03-0040-04面向汉语词义自动标注研究的软件平台开发肖建涛,张仰森,谢　宇(北京机械工业学院　计算机及自动化系,北京100085)摘 要:词语义项标注在自然语言处理领域占有重要地位。

词义排歧知识的获取、基于排歧知识构建词义标注的语言模型,以及对所构建模型性能的评价就成为词语义项标注系统的三个核心问题,尤其是前两个问题非常重要,难度也很大。

为更好地研究这些问题,设计并实现了一个面向词语义项标注研究的试验软件平台,应用该软件平台,很容易实现对不同语言模型、知识获取算法的试验与比较,且在模型确定之后,稍作改进,该实验系统就能成为一个功能完善的自动标注软件系统。

试验表明,该平台对汉语词义标注的研究是有用的。

关　键　词:词语义项标注;知识获取;特征模板;模型评价中图分类号:TP391.1 文献标识码:ASoftware pl a tform or i en ted to Ch i n ese wordsen se auto ma ti c t agg i n g researchX I A O J ian2tao,Z HANG Yang2sen,X I E Yu(Depart m ent of Computer Science&Aut omati on,Beijing I nstitute of Machinery,Beijing100085,China) Abstract:Word sense tagging has al w ays been i m portant in natural language p r ocessing.The knowl2 edge gaining of word sense disa mbiguati on,language model constructing,model and algorithm app raising for word sense disa mbiguati on are three key p r oble m s,a mong which the f or mer t w o are es pecially i m por2 tant and difficult.I n order t o study these p r oble m s,a s oft w are p latfor m f or Chinese word sense aut omatic tagging research is designed and i m p le mented.Based on this p latf or m,knowledge gaining algorithm can be tested and compared f or different language models.After selecting an app r op riate word sense disa m2 biguati on language model,this s oft w are p latfor m can become an aut omatic word sense tagging syste m.The experi m ent shows that this s oft w are p latf or m is useful for Chinese word sense tagging research.Key words:word sense tagging;knowledge gaining;feature te mp late;model app raising 语言知识库是自然语言处理系统不可缺少的组成部分。

北京机械工业学院计算机及自动化系经过智能信息处理资源平台建设项目的支持,已经拥有了一系列颇具规模的基础语言数据资源,包括“现代汉语语法信息词典”、“人民日报大规模基本标注语料库”、“现代汉语语义词典”和“知网“等。

为了使已有的语言知识资源发挥更大作用,弥补它们的不足,将与北大计算语言学研究所合作,开展综合语言知识库建设的方法研究,旨在构建全方位一体化的语言知识平台,为中文信息的处理提供更好的支撑。

词语义项标注是“综合语言知识库建设”的重要组成部分,是建立面向内容理解的语言知识库的关键。

另外,作为综合知识库建设基础的语法信息词典与人民日报基本标注语料库,尽管当初遵循的语法和语义体系相同,但由于受应用领域和当时确定的目标的限制,这两种资源在内容表达上不统一,需要通过词义标注来填补和解决。

词义标注的关键是对多义词的词义排歧,长期以来被认为是自然语言处理的难题之一。

词义排歧研究的主要问题是排歧知识获取问题,以及利用所获得的知识实现词义的标注。

为了提高试验的效率以及集中精力解决词语义项标注中的关键问题,设计实现了一个模型和算法的试验与开发系统平台,该系统平台具有知识获取、特征模板设计、特征提取、词义排歧和模型与算法评价等几大功能。

收稿日期:2007-06-08作者简介:肖建涛(1981-),男,河北乐亭人,北京机械工业学院计算机及自动化系硕士研究生,主要从事中文信息处理方面的研究。

　第3期 肖建涛等:面向汉语词义自动标注研究的软件平台开发1系统原理与结构设计词义排歧实验系统主要由知识获取模块、特征模板设计模块、特征提取模块、词义排歧模块和模型与算法评价模块等构成。

各模块之间相互关联,便于对各种词义排歧的模型与算法进行试验,一旦模型与算法确定,该系统即是一个汉语词义自动标注与排歧系统。

该系统的结构如图1所示。

图1　系统结构原理图2知识获取模块排歧知识的获取是词义排歧的关键,它是计算机自动对文本词语进行标注的依据,要通过机器学习获取排歧知识必须要有好的知识资源,目前大多数相关研究所使用的知识资源主要有两种:词典资源和语料库资源。

文章以北京大学计算语言学研究所的《现代汉语语法信息词典》[1]和2000年1月已经过粗粒度义项标注的人民日报语料为知识源,探索知识获取的机器学习方法。

2.1现代汉语语法信息词典《现代汉语语法信息词典》是北京大学计算语言学研究所经过长期的研究和“七五”、“八五”科技攻关而形成的科研成果,并在后续的应用和开发中不断得到扩充和改进,到2004年,该词典已成为包含8万词语且具有丰富语法信息的词典,是词义排歧的一种很好知识源。

语法信息词典是一部机读词典,像一般的机读词典一样,包含有词语的释义与实例,分别包含在语法信息词典的“义项”和“备注”字段中,可以利用Lesk 方法[2]来从语法信息词典的“义项”字段中的释义文本中获取词义消歧的知识。

另外,语法信息词典又与一般的机读词典有所区别,包含了大量的语言学知识,对每个词语的语法属性进行了描述,可以在语法信息词典中选择一些对词义区分有用的语法属性信息,将之提取出来,并转化成用于词语义项标注的知识。

2.2人民日报标注语料词义标注工作是在人民日报基本标注语料库的基础上进行,它已经过词语切分和词性标注。

为了研究词语义项标注的语言模型与算法,需要先研究粗粒度的词义排歧的模型与算法,即“同形”信息标注的模型与算法。

所谓“同形”是指词形和词类以及拼音都相同,但属于不同词项或同一词项的不同义项的那些词。

为了区分这些词,语法信息词典设立了“同形”属性字段。

对于同字、同类、同音但应算不同词项的情况,在“同形”字段用A,B ,C 等字母区分;对于同字、同类、同音但应算同一词的不同义项时,在“同形”字段用1,2,3等数字区分。

目前已经拥有标注了“同形”信息,且经过人工校对的2000年1月的约200多万的人民日报熟语料,可以利用它作为训练语料,研究词语“同形”信息的标注模型与算法。

因为同形信息标注属于粗粒度的词语义项标注,所以,同形信息标注的模型与算法应该能用于词语义项的标注工作[3]。

2.3特征模板的设计与特征选择2.3.1　特征模板的设计特征模板的主要功能是定义上下文中某些特定位置的语言成分或信息对当前词的出现概率是否有影响。

特征模板一般包括词语的位置参数和语法属性信息参数,位置参数即通常所说的窗口大小,也就是要取多义词前后多大范围的词语来确定当前多义词的词义;而语法属性信息则是词语在当前语境内所能充当的语法成分或词性等信息。

例如,如果建立一个模板,在位置上只考虑当前词和左右各两个词,在信息上,考虑词本身和词性,则模板如图2所示。

当前位置…-2-1012……p p p p p ……w w www…图2　特征模板14北京机械工业学院学报 第22卷 特征模板的选择是比较重要,也是比较困难的,它关系到特征选取是否合理。

可以设计多个特征模板,将训练语料中符合每个模板的特征都找出来,即候选特征的生成实际是一个二重循环过程。

2.3.2　特征的提取与选择特征提取模块按照特征模板的要求,在训练语料中的多义词上下文中选择特征,并将其提取出来,该模块的输入参数来自特征设计模块,目前的特征提取参数主要包括两类:特征的种类,可选择的范围包括词形、词性、词形+词性;上下文窗口的大小,可选择的范围包括多义词左右各取1个词、2个词、3个词和整句。

利用特征模板所得到的候选特征集合中通常包含许多特征,从中选择对输出影响较大的特征时,常用的方法一般有3种:①将候选特征集中的所有特征都作为建模特征;②从候选特征集中选择那些在训练语料中出现一定频次的特征;③利用Della Pi2 etra等人提出的增量式特征选择法[4]从候选特征集中选择特征。

增量式特征选择算法的基本思想是:设F是一个候选特征集合,其中只有一小部分特征是语言建模的有效特征,有效特征子集设为S,特征选择就是从候选特征集F中求取有效特征子集S。

方法如下:①设候选特征集合F={Fi},初始化有效特征子集S=<;②对每个候选特征集里的特征Fi,以S和F i的并集作为特征进行评测。

选择对标注结果的正确率有所提高的Fi,把F i从F中删除,并添加到S中;③重复步骤②直到正确率没有提高。

2.4自动排歧知识的生成该模块首先对每个多义词(共805个)从训练语料库中提取出所有包含它的语句,并针对该多义词的每个义项抽取它们所在的语句,形成实例空间。

应用上面设计的特征提取模板与特征提取算法,从这些实例中抽取多义词的上下文特征,并对这些特征进行统计聚类,然后对各义项的实例应用基于归纳的两空间学习模型获取词义排歧知识。

即通过统计聚类的方法,再利用将常量化为变量的归纳推理方法,对各实例进行泛化处理,生成面向多义词各义项标注的规则或知识。