汉语自动分词与词性标注
- 格式:ppt
- 大小:1.21 MB
- 文档页数:117


浅谈《现代汉语词典》(第五版)词性标注的几个问题
摘 要:本文主要从功能的角度对《现代汉语词典》(第五版)的词性标注进行了初步的探索,主要涉及词性标注及其与释义和配例相一致、兼类词的释义等几个方面的问题,对《现汉》(五)的成功和不足之处作了一定说明。
关键词:《现代汉语词典》(第五版) 词性标注 释义
《现代汉语词典》是目前国内最有影响的语文辞书之一。对现代汉语词典质量产生影响的根本性因素,是词典的释义问题。
一、《现代汉语词典》(第五版)词性标注
现代汉语词典标注词性,给汉语教学、用户的学习和使用和中文信息处理等带来了很大的方便。标注词性必须要对词类系统和词与非词进行界定。科学的给词归类,主要根据词的语法功能。陆俭明提出的词类划分标准是:1、词充当句法成分的功能,2、词跟词结合的功能,3、词表示类别的功能,即语法意义。《现代汉语词典》(第5版)依据的词类是中学语文课本的教学词类系统,是比较科学的。如:
集成:【动】同类著作汇集在一起(多用做书名):《丛书~》|《中国古典戏曲论著~》。(《现汉》(五)p592)集锦:【名】编辑在一起的精彩的图画、诗文等(多用做标题):图片~|邮票~。(《现汉》(五)p593)
《现代汉语词典》(第5版)中的“集成”与“集锦”根据配例来看,“丛书集成”、“图片集锦”、“邮票集锦”,二者看似相同,但
是语法意义不同。根据“语料库在线”的检索结果,“集成”66条例句中,17个做谓语例句,13个做定语例句,且能带宾语;“集锦”6条例句中5个做中心语。前者语法意义表示事物的动作、行为或变化、存在,后者的语法意义表示事物名称。所以二者词性标注不同。另外,在根据功能判断词性的基础上,也不能完全脱离意义。“集成”与“集锦”词汇意义也不同,“集:1.集合;聚集”(《现汉》(五)p639),“成:3.【动】成为;变为”(《现汉》(五)p171),“集成”有“汇集成为”的意思,释义行文体现为动词性。“锦:有彩色花纹的丝织品” (《古汉语常用字字》p150),这里应为比喻义,指美好的东西,所以“集锦”释义行文应体现为名词性。
CTB词性标注指南
第一章
引言
中文几乎没有屈折语素。譬如,词语不随时态、格、人称和数量而曲折变化。因此,对特定文本中的词进行词性标注往往都很困难。
这个文件是专为宾州中文树库项目[XPS+00]所设计的。这个项目的目标是构建一个十万词的有语法托架的中文官话文本语料库。标注包括两个步骤:第一阶段是中文分词和词性标注,第二阶段是句法托架。每个步骤包括至少两个经过,即数据库由一个标注者标注,结果文件由另一个标注者检查。
词性标注指南,就如分词指南和托架指南,在项目进行过程中已经修订了多次。到目前为止,我们已经在我们的网站上发行了三个版本:第一部草作完成于1998年12月,在第一个中文分词和词性标注文件发行后;第二部草作完成于1999年3月,在第二个中文分词和词性标注文件发行后;这个文件,是第三部草作,修订于第二个托架文件发行后。在这个第三部草作中,与前两部草作相比,主要改变在于:(1)我们增加了一章引言来解释指南中存在的一些基本原理;(2)我们增加了对中文词语的注释;(3)我们把这个指南写成了一个技术性报告,报告被发表于宾夕法尼亚大学认知科学研究机构(IRCS)。
1.1 标注标准
词性标注(POS)的核心问题是词性标注是否应该基于意义或者句法分布来标注。这个问题自1950年以来就被热烈争论到现在,并且始终存在两种不同的观点。譬如,中文词“毁灭”可以被翻译为英文中的destroy或destroys或destroyed或destroying或destruction,并且如它英文所对应的词一样使用。根据第一种观点,词性标注应该只基于意义。因为词的意义在它所有的用法中基本都是一样的,它就应该总是被标注为一个动词。第二种观点是词性标注应该由词的句法分布来决定。当“毁灭”是一个名词短语的首词,它在那个文本中就应该被标注为一个名词;当“毁灭”是一个动词短语的首词,它就应该被标注为一个动词。
我们选择了句法分布作为我们词性标注的主要标准,因为这与当代语言学理论所采纳的原则一致,譬如X-bar理论和GB理论中的首字投射概念。
Vo1.25 No.4 October 2008 安徽工业大学学报
J.of Anhui University of Technology 第25卷
2008 第4期 1O月
文章编号:1671—7872(2008)04—0426—04
一种基于规则优先级的词性标注方法
王广正,王喜凤 (安徽工业大学计算机学院,安徽马鞍山243002)
摘要:词性标注作为汉语自动分词以至中文信息处理领域比较关键的问题之一,是该领域的研究难点也是研究重点,对兼类词 词性标注的正确率严重影响着词性标注的质量。在基于规则的词性标注的基础上,提出了一种基于规则优先级的词性标注方 法,即对每条词性标注规则加上优先级,并在标注算法中通过对优先级进行控制来完成兼类词的词性标注。并用大规模语料对 该方法做了试验,结果表明其词性标注正确率可达到96.4%。 关键词:汉语自动分词;词性标注;兼类词;规则优先级 中图分类号:TP391 文献标识码:A
A Method of POS Tagging Based on Priority of Rules
WANG Guang-zheng,WANG Xi-feng
(School of Computer Science,Anhui University of Technology Ma anshan 243002,China)
Abstract:As one of the important problem in the field of Chinese automatic word segmentation and Chinese information process,part of speech tagging is the research difficulty and emphases in the filed.The precision of POS tagging to syntactic category has influenced badly the quality of POS tagging.On the basis of POS tagging based on rules,proposed a method of POS tagging based on PRI of rules,that is adding PRI to each rule.Through controlling the
第l5卷第3期 200 7年6月 呼伦贝尔学院学报 Journal of Hulunbeier College No.3 Vo1.15 Published i11 June.2007
基于范例的汉语短语自动标注实验系统
涂云杰 (呼伦贝尔学院信息科学分院 内蒙古海拉尔区021008)
摘要:文章提出了一种基于范例的汉语短语标注方法,并将这一方法应用于计算机系统开 发中,以小学语文课本作为基础语料,验证了系统的可用性,经过对熟语料的统计分析,建立起 范例库,实现短语自动标注,为自然语言的计算机处理提供基础研究服务。 关键词:基于范例;范例库;相似性;短语标注 中图分类号:TP391.1 文献标识码:A文章编号:1009.4601(2007)03.0066.02
经过近几年的研冤.汉语自动切分和词性标注的处理 技术已经达到成熟.为进一步进行汉语短语分析研究打下 很好的基础。对汉语语料库的短语标注研究,近几年来才 刚刚起步,也取得了一定的研究成果。 近几年来,随着大量的在线文本的积累以及计算机技 术的发展,基于范例的学习方法越发受到人们的青睐。本 文正是将基于范例的学习方法用于汉语短语的标注上。 影响基于范例的短语自动标注方法的关键在于两方 面:范例库建立的规模和全面性:待标注序列与范例间的 相似性的定义和度量。 一、系统的结构和功能 短语自劫标注实验系统的组成分为三部分,其结构如 下图所示: 短语自动标注实验系统
熟语料鲍统计与分析 范例库的建立 短语自动标 注 图1 短语自动标注实验系统的组成 (一)熟语料的统计与分析 现代汉语中,对短语分类_般采用下面两种标准: 1.内部结构。2.外部功能。按照内部结构,可分为联合 短语、定中短语、状中短语、动宾短语、述补短语、主谓 短语、连谓短语、兼语短语、同位短语等几类:而按照外 部功能.则一般可分为名词短语、动词短语、形容词短语 和副词短语等几类。本文使用上海师大的短语标注集,本 标注集对汉语短语的描述则采用了结构和功能分类的方 法。 本文首先对小学语文课本进行自动分词与词性标注, 在此基础上使用上海师大的短语标注集进行短语人工标 注,并进行多次校对,形成一个精确度较高的由人工标注 的语料。本阶段所做的工作对后续阶段是必不可少的,是 建立范例库的基础。 通过又寸已经进行人工标注短语的语料做一番详细的 统计和分析,得到各种统计数据.以便于发现现代汉语复 杂多变的语言现象,可以为建立范例库提供必要的数据, 同时可以与自动分析结果进行比较,以测试自动分析结果 的正确率。 (二)范例库的建立 基于范例的短语标注方法可以直接利用真实的自然 语言文本来产生范例库,而无需人工编写规则,通辽对真 实的自然语言文本进行学习,从而获得所需的范例。如果 范例库过小,尽管可以节省搜索的时间和存储的空间,但 是,必然会导致所选取的范例不具有全面性,会影响标注 的正确率。反之,范例保留得越全面,标注的正确率就越 高,但处理的时间上会有所延长。因此,建立合适的范例