一．切分
从字数考虑，对两个字的组合较宽地看作是一个切分单位，三个字的较严，四个字以上的若不是成语、习用语一般不看作是一个切分单位。
（1）人名: nr
（2）地名: ns
（3）团体、机构、组织的专有名称: nt
（4）除人名、国名、地名、团体、机构、组织以外的其他专有名词都标以nz，具体规定如表示民族的“族”、表示语言的“语”，表示文字的“文”，则不切分。
（5）数词与数量词组
（6）时间词
（7）单音节代词“本”、“每”、“各”、“诸”后接单音节名词时，和后接的单音节名词合为代词；当后接的名词有2个以上音节时，应予切分。
（8）区别词
如①一般为切分单位，并标以词性b。
女/b 司机/n，金/b 手镯/n
（9）动词加动词或动词加形容词构成的述补结构
（10）四个字以上的短语，通常应切分。
（11）超过四个字的成语或习用语，一般不予切分，暂不要求划分子类。
（12）表达一个完整概念或集合的简称或缩略语为一个切分单位，标以j，也要求根据其在句子中的功能进一步标注子类。子类的划分原则同成语和习用语。
（13）文本中非汉字的字符串的处理意见
如
①已经约定俗成的或科学技术中已通用的符号保持原有的意义，根据其原有的意义
决
定相应的标记。
阿拉伯数字：121/m 号/q 房间/n
2000年/t 8月/t 15日/t
单独的罗马数字：Ⅱ/m
ⅠⅩ/m
ⅩⅤ/m
英文字母（或字母组合）代表常用的度量单位：A代表“安培”，二．切分标注结合
（1）重叠
⑴“AA”重叠形
①单字动词重叠式AA作为一个切分单位，并标注为动词词性v。
②单字形容词重叠式AA，有的成词，有的不成词。如后面不紧跟“的”就成词，作为
一个切分单位，通常为副词d。
③单字名词重叠式AA，为一个切分单位，并标注为名词词性n。
（2）“AAB”重叠形
（3）“ABB”重叠形
⑷“AABB”重叠形
⑸“A里AB”和“A不AB”的词形
⑹“ABAB”重叠形
⑺双音节拟声词的“ABAB”重叠形式同其他词类一样，切分开
5.2 附加
⑴前接成分＋语素或词
由“前接成分＋语素或词”构成的合成词，为一个切分单位。
⑵语素或词＋后接成分
5.3 复合词
“复合”方式可将两个构词成分结合成一个新词。
⑴二字名词
①“名＋名”的定中结构，一般为一个切分单位。
②“动＋名”如果是定中结构，一般为一个切分单位。
③“动＋名”如果是述宾结构，则是短语，应切分开。
④“形＋名”的定中结构，若中间不能插“的”或插“的”后意义改变，则作为一个切分单位；否则，应予切分。
⑵三字名词
①“动（双音）＋名（单音）”的定中结构，一般为一个切分单位。
②“名（双音）＋名（单音）”结构，通常为一个切分单位，但弹性较大，若前面的双音节名词与后面的单音节名词组合后意义不变，也可以分开
③“名（单音）＋名（双音）”结构，通常为一个切分单位，但弹性较大，若前面的单音节名词与后面的双音节名词组合后意义不变，也可以分开。
④“形（单音）＋名（双音）”的定中结构，处理原则同二个字的“形＋名”组合。
⑤“形（双音）+名（单）”的定中结构，处理原则同④。
⑶其他
①单纯方位词＋名（单音）的定中结构，为一个切分单位。所组成的合成词一般是处所词，但在某些特殊情况下可能是名词或时间词。
②明显带排行的亲属称谓要切分开，分不清楚的则不切开。
三．标注规范
《规范2001》的词性标注除了使用《语法信息词典》中的26个词类代码（名词n、时间词
t、处所词s、方位词f、数词m、量词q、区别词b、代词r、动词v、形容词a、状态词z、
副词d、介词p、连词c、助词u、语气词y、叹词e、拟声词o、成语i、习用语l、简称j、
前接成分h、后接成分k、语素g、非语素字x、标点符号w）外，增加了以下3类标记：①
专有名词的分类标记，即人名nr，地名ns，团体机关单位名称nt，其他专有名词nz，英语
等其他非汉字的字符串nx。②语素的子类标记，即名语素Ng，动语素Vg，形容语素Ag，时
语素Tg，副语素Dg等；由于标注时只使用这些子类标记，故语素标记g 不在标注语料库中
出现。③动词和形容词的特殊用法标记，即名动词vn（动词的名词用法），名形词an（形
容词的名词用法），副动词vd（动词的副词用法），副形词ad（形容词的副词用法）。合计约
40个。
1.常见兼类词的词性选择
⑴ n-q兼类情况。
汉语中的一些名词（主要是单音节名词）可以兼作量词，对于这些词，依据上下文来确
定句子中的词的词性。
①数词＋ n-q ＋ n，取q。
一/m 车/qr 煤/n，三/m 桶/qr 水/n
②“这”,“那”,“每”等指示代词＋ n-q＋n, 取q。
这/rz 床/qe 被子/n, 这/r 门/qz 功课/n
⑵ a-v兼类情况
①若该词在句子中带了真宾语，则标为v。
②若该词受“很”一类程度副词修饰，则标为a。
③若该词修饰名词作定语，则一般应标为a。
④若该词作动词的补语，则应标为a。
⑶ v-n兼类情况
实际上指的是广义兼类现象[2]。当该词表示一种动作时，后面带真宾语，则是v；
当它指称人或物时，则是n。
⑷ p-v兼类情况
这类词主要有“在”，“到”，“比”，“朝”，“跟”，“给”等，它们的区分主要依据以下方法：
①从词的语法功能与分布考虑，若该词（包括带“着、了、过”的情况）单说
或单独做谓语，则为动词。
③对“p-v＋其他成分”的结构，若单说或单独作谓语，则其中的p-v为动词；若
不是单说也不是单独作谓语，而是作状语或补语，则其中的p-v为介词。
⑸ p-c兼类情况
常见的词有“和”、“跟”、“同”、“与”，这些词的词类排歧主要依据下列原则：在句子中，如果这些词的前后成分不能互换位置或者在这些词的前面可以加修饰成分，则这些词为
介词；如果这些词的前后成分可以互换位置即互换位置后句子的意思基本不变并且在这些词
的前面不能有修饰成分，则这些词为连词。
⑹ b-d兼类情况
①若此词作状语, 则为副词。
②若此词作定语, 或与“的”组成“的”字结构，则为区别词。
⑺ c-d兼类情况
这类兼类词，主要有“不过”、“尽管”、“但”、“可”等。一般来说，若该词在句子
中修饰谓语（形容词、动词）则为副词。若此词主要连接句子和子句，表示子句之间转折、让步等语义组合关系，则为连词。
2.关于标记vn, vd, an, ad
这4个标记分别是动词v和形容词a的特殊用法标记。当将文本中的一个词标为vn、vd
或 an、 ad时，首先认为它们是动词或形容词，只不过它们在语句中表现了特殊的语法功能。有时也赋予这些标记以中文名称，如名动词等，只是为了方便。
⑴有一部分双音节动词，当它在句法结构中具有以下4种语法功能之一时，标为vn：
a. 作形式动词“有”的宾语。
b.充当了形式动词或其他准谓宾动词的准谓词性宾语。
c.直接充当体词性短语的中心语。
d.不加助词“的”，直接充当体词性短语的修饰语。
3.关于若干词类新增加的子类标记
《规范2003》还要求对某些词类，在语料库中进一步标注出它们的子类。对有些词，
如果暂时不能准确地标注出子类，允许只标注到基本词类。
名词：姓 nrf，名 nrg，
例：曹/nrf 操/nrg，诸葛/nrf 亮/ nrg，张/nrf 李/nrf 秀兰/ nrg 时间词：时间专名 tt，例：秦朝/tt，元代/tt，清朝/tt
数词：数量词 mq，例：一个/mq 苹果/n，一些/mq 葡萄/n，俩/mq 馒头/n
一个个/mq, 一阵阵/mq, 一团团/mq，一辆辆/mq 量词：个体量词 qe，集体量词 qj，度量词 qd，容器量词qr，种类量词 qz，成形
量词 qc，不定量词 qb，倍率量词 ql，时量词 qt，动量词 qv
代词：人称代词 rr，指示代词 rz，疑问代词 ry
谓词性指示代词rzw，例：就/d 这么/rzw 吧/y 。/wj
谓词性疑问代词ryw，例：怎么样/ryw ？/ww
动词：不及物动词vi，联系动词vl，趋向动词vq，形式动词vx，助动词vu
副词：程度副词dc，否定副词df
助词：助词“的”ud，助词“地”ui，助词“得”ue，助词“着”uz，
助词“了”ul，助词“过”uo，助词“所”us
标点符号：逗号wd，句号wj，问号ww，叹号wt，分号wf，顿号wu，冒号wm，引号wy，左引号wya，右引号wyy, 括号wk, 左括号wkz，右括号wky
CTB词性标注指南 第一章 引言 中文几乎没有屈折语素。譬如，词语不随时态、格、人称和数量而曲折变化。因此，对特定文本中的词进行词性标注往往都很困难。 这个文件是专为宾州中文树库项目[XPS+00]所设计的。这个项目的目标是构建一个十万词的有语法托架的中文官话文本语料库。标注包括两个步骤：第一阶段是中文分词和词性标注，第二阶段是句法托架。每个步骤包括至少两个经过，即数据库由一个标注者标注，结果文件由另一个标注者检查。 词性标注指南，就如分词指南和托架指南，在项目进行过程中已经修订了多次。到目前为止，我们已经在我们的网站上发行了三个版本：第一部草作完成于1998年12月，在第一个中文分词和词性标注文件发行后；第二部草作完成于1999年3月，在第二个中文分词和词性标注文件发行后；这个文件，是第三部草作，修订于第二个托架文件发行后。在这个第三部草作中，与前两部草作相比，主要改变在于：（1）我们增加了一章引言来解释指南中存在的一些基本原理；（2）我们增加了对中文词语的注释；（3）我们把这个指南写成了一个技术性报告，报告被发表于宾夕法尼亚大学认知科学研究机构（IRCS）。 1.1 标注标准 词性标注（POS）的核心问题是词性标注是否应该基于意义或者句法分布来标注。这个问题自1950年以来就被热烈争论到现在，并且始终存在两种不同的观点。譬如，中文词“毁灭”可以被翻译为英文中的destroy或destroys或destroyed或destroying或destruction，并且如它英文所对应的词一样使用。根据第一种观点，词性标注应该只基于意义。因为词的意义在它所有的用法中基本都是一样的，它就应该总是被标注为一个动词。第二种观点是词性标注应该由词的句法分布来决定。当“毁灭”是一个名词短语的首词，它在那个文本中就应该被标注为一个名词；当“毁灭”是一个动词短语的首词，它就应该被标注为一个动词。 我们选择了句法分布作为我们词性标注的主要标准，因为这与当代语言学理论所采纳的原则一致，譬如X-bar理论和GB理论中的首字投射概念。 由于很多中文动词也出现在名词位置，因此需要两个词性标注标记，这就导致使用句法分布方法将会扩大词典的规模，因此这个原因常被用来反对句法分布方法。我们认为这个观点不足以让人信服，主要有如下两个理由。首先，两个词性标注标记可以让我们区别可以出现在名词位置的动词和不可以出现名词位置的动词（譬如单音词动词和重叠词形式的动词如AABB，A不A）。如果存在动词可以出现在名词位置或者不能出现在名词位置的实词虚化现象，这些实词虚化可以被看做构形规则，这会使得词典自动被扩大。另一方面，如果不存在这样的实词虚化现象并且名词化过程大部分都很特殊，这就验证了一个观点：这是一个词汇现象并且那些可以被名词化的动词在词典中应该有两个词性标注标记。其次，很多动词可以出现在名词位置的现象并不只存在于中文，在其他语言中设立的标准也是给予这些词两个标记。 1.2 词性标注标记集 我们的词性标注标记集有33种标记： 动词，形容词（4）：V A，VC，VE，VV。
12.文本分词 文本分词，就是对文本进行合理的分割，从而可以比较快捷地获取关键信息。 例如，电商平台要想了解更多消费者的心声，就需要对消费者的文本评论数据进行内在信息的数据挖掘分析，而文本分词是文本挖掘的重要步骤。 R语言中，对中文分词支持较好的包有RWordseg包和jiebaR包。 一、配置Java环境 步骤1.下载JDK安装包 https://www.doczj.com/doc/3d7507583.html,/technetwork/java/javase/downloads/index.html 点Java Download图标进入下载界面（Java SE Development Kit）；点Accept License Agreement，接受许可协议，选择对应系统的版本下载，比如Windows x64 步骤2.安装JDK 安装路径（可修改），比如D:\Program Files\Java\jdk1.8.0_101 特别注意：第2次出现选择路径时，是选择jre的安装路径，一定不要和前面jdk同一个路径，建议也在放在Java目录下，单放在jre 文件夹，比如D:\Program Files\Java\jre1.8.0_101否则将有问题。
步骤3.配置环境变量 右键计算机->属性->高级系统设置->环境变量，在“环境变量”窗口“系统变量”区域操作： (1)【新建…】，变量名输入：JAVA_HOME 变量值输入JDK安装路径：D:\Program Files\Java\jdk1.8.0_101 【确定】 (2)双击Path，在变量值框末尾加上 ;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin 【确定】 (3)【新建…】，变量名输入：CLASSPATH变量值输入： %JAVA_HOME%lib\dt.jar;%JAVA_HOME%\lib\tools.jar 【确定】 步骤4.测试是否配置成功 运行->cmd,回车，输入java–version回车，显示版本号等信息； 输入javac–version回车，也显示版本号，如下图所示，则表示配置成功
973当代汉语文本语料库分词、词性标注加工规范 （草案） 山西大学从1988年开始进行汉语语料库的深加工研究，首先是对原始语料进行切分和词性标注，1992年制定了《信息处理用现代汉语文本分词规范》。经过多年研究和修改，2000年又制定出《现代汉语语料库文本分词规范》和《现代汉语语料库文本词性体系》。这次承担973任务后制定出本规范。本规范主要吸收了语言学家的研究成果，并兼顾各家的词性分类体系，是一套从信息处理的实际要求出发的当代汉语文本加工规范。本加工规范适用于汉语信息处理领域，具有开放性和灵活性，以便适用于不同的中文信息处理系统。 《973当代汉语文本语料库分词、词性标注加工规范》是根据以下资料提出的。 1．《信息处理用现代汉语分词规范》，中国国家标准GB13715，1992年 2．《信息处理用现代汉语词类标记规范》，中华人民共和国教育部、国家语言文字工作委员会2003年发布 3．《现代汉语语料库文本分词规范》（Ver 3．0），1998年 北京语言文化大学语言信息处理研究所清华大学计算机科学与技术系4．《现代汉语语料库加工规范——词语切分与词性标注》，1999年 北京大学计算语言学研究所 5．《信息处理用现代汉语词类标记规范》，2002年， 教育部语言文字应用研究所计算语言学研究室 6．《现代汉语语料库文本分词规范说明》，2000年 山西大学计算机科学系山西大学计算机应用研究所 7．《資讯处理用中文分词标准》，1996年，台湾计算语言学学会 一、分词总则 1．词语的切分规范尽可能同中国国家标准GB13715《信息处理用现代汉语分词规范》（以下简称为“分词规范”）保持一致。本规范规定了对现代汉语真实文本（语料库）进行分词的原则及规则。追求分词后语料的一致性（consistency）是本规范的目标之一。 2．本规范中的“分词单位”主要是词，也包括了一部分结合紧密、使用稳定的词组以及在某些特殊情况下可能出现在切分序列中的孤立的语素或非语素字。本文中仍用“词”来称谓“分词单位”。 3．分词中充分考虑形式与意义的统一。形式上要看一个结构体的组成成分能否单用，结构体能否扩展，组成成分的结构关系，以及结构体的音节结构；意义上要看结构体的整体意义是否具有组合性。 4. 本规范规定的分词原则及规则，既要适应语言信息处理与语料库语言学研究的需要，又力求与传统的语言学研究成果保持一致；既要适合计算机自动处理，又要便于人工校对。 5．分词时遵循从大到小的原则逐层顺序切分。一时难以判定是否切分的结构体，暂不切分。 二、词性标注总则 信息处理用现代汉语词性标注主要原则有三个： (1)语法功能原则。语法功能是词类划分的主要依据。词的意义不作为划分词类的主要依据，但有时也起着某些参考作用。
摘要：当前已有很多种方法用于词性标注，词性标注的本质是序列标注问题。它是信息抽取、信息检索、句法分析、语义角色标注等众多中文自然语言处理任务的基础。本文将基于svm 的svmtool应用到越南语词性标注上。标注集按照越南语的词性和符号共分为28种标注，训练语料包含25万词，实现了的越南语词性注，取得了较好的效果，准确率达到96.01%。 关键词：词性标注；越南语；自然语言处理；svmtool 中图分类号：tp391.1 文献标识码：a 文章编号：1006-4311（2016）20-0159-03 0 引言 词性标注就是在给定句子中判定每个词的语法范畴，确定其词性并加以标注的过程。词性标注是自然语言处理中一项非常重要的基础性工作[1]。词性标注工作作为老挝语命名实体识别、依存句法分析、词义消歧、语义角色标注等研究工作的重要基础，并且应用于如文本索引、文本分类、语料库加工等众多领域。越南语是一门重要的东方语言，由于其书写形式及本身的词汇构成与英语及汉语呈现相似的一面又具有自己的特点，它采用的是扩展的拉丁符号；在组成上，越南语单音节词居多；在形态上，语法意义是通过语法词等词来实现。以上特点使得越南语与西方语言与东方语言既有相似之处，又有区别。越南语是一种孤立语，动词无变化，词既没有文法上的性别跟数的形式，也没有文法上格的变化，形容词也不需要跟被修饰的名词保持文法上的性、数、格上的一致。它以不变的根词的词序和虚词来表示语法关系。句子的主语在谓语之前，宾语和补语在动词之后，名词修饰语一般在名词之后，但数词、量词修饰语在名词之前。词序或虚词改变后，语义也随之而变。 目前，国内外对中文文本词性标注、欧美国家多种语言的词性标注技术的研究比较成熟[2][3]，而对东南亚国家语言，只有越南河内国家大学khong phtrong博士进行过越南语文本处理相关研究，他们使用的方法是最大熵，准确率为95%左右，还有越南国内vlsp课题组进行了相关研究，其词性标注准确率为93%。越南语词性标注面临的难点主要是它属于意合型语言，缺乏词形态变化，词的类别不能像印欧语那样，直接从词的形态变化上来判别。 当前，很多基于统计的方法用于词性标注，如隐马尔科夫模型（hmm）[4]，最大熵（me），条件随机场（crf）[5]和支持向量机[6]。其中基于svm的svmtool[7]符合自然语言处理技术的要求，具有简单、灵活、高效等特点。词性标注可以看作是多分类问题。 本文将简单介绍svm原理、如何将二分类器应用于多分类问题中及如何将svmtool应用于越南语词性标注问题。 4 实验结果 在实验中，采用了本文定义的30种词类组成的标注集，语料是从越南语相关网站上获取的包含约30万词，内容涉及政治、经济、文化、地理等题材。在词典数量不变的条件下，分别对5万、10万…30万词的语料进行开放和封闭测试。 4.1 不同规模训练语料实验 在进行封闭测试时，首先分别以5万、10万…25万词的语料进行训练，建立模型，然后从用来训练的语料中取5万词的语料重新进行词性标注，求出每一个句子的最佳词性标注序列，即完成了封闭测试。 在进行开放测试时，先从30万的语料库中抽出含5万词的句子，这些句子不参与训练，用于后面的测试。同样的也是分别以5万、10万…25万词的语料进行训练，并对测试集进行词性标注，从而完成了开放测试。 封闭测试和开放测试准确率与训练语料规模的关系如表2所示。 4.2 不同词性标注方法的比较 本文进行了与最大熵模型的比较。采用的语料是是含25万词的越南语词性标注语料作为训练语料，对含5万词的越南语文本进行标注，实验结果如表3所示。
12. 文本分词 文本分词，就是对文本进行合理的分割，从而可以比较快捷地获取关键信息。 例如，电商平台要想了解更多消费者的心声，就需要对消费者的文本评论数据进行内在信息的数据挖掘分析，而文本分词是文本挖掘的重要步骤。 R语言中，对中文分词支持较好的包有RWordseg包和jiebaR包。 一、配置Java环境 步骤1. 下载JDK安装包 https://www.doczj.com/doc/3d7507583.html,/technetwork/java/javase/downloads/index.html 点Java Download图标进入下载界面（Java SE Development Kit）；点Accept License Agreement，接受许可协议，选择对应系统的版本下载，比如Windows x64 步骤2. 安装JDK 安装路径（可修改），比如D:\Program Files\Java\jdk1.8.0_101 特别注意：第2次出现选择路径时，是选择jre的安装路径，一定不要和前面jdk同一个路径，建议也在放在Java目录下，单放在jre 文件夹，比如D:\Program Files\Java\jre1.8.0_101否则将有问题。
步骤3. 配置环境变量 右键计算机->属性->高级系统设置->环境变量，在“环境变量”窗口“系统变量”区域操作： (1) 【新建…】，变量名输入：JAVA_HOME 变量值输入JDK安装路径：D:\Program Files\Java\jdk1.8.0_101 【确定】 (2) 双击Path，在变量值框末尾加上 ;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin 【确定】 (3) 【新建…】，变量名输入：CLASSPATH 变量值输入： %JAVA_HOME%lib\dt.jar;%JAVA_HOME%\lib\tools.jar 【确定】 步骤4. 测试是否配置成功 运行->cmd, 回车，输入java –version回车，显示版本号等信息； 输入javac–version 回车，也显示版本号，如下图所示，则表示配置成功
人民日报标注语料库（PFR）使用说明书 本文是PFR标注语料库的使用说明书，帮助用户了解它，更好地使用它。 PFR语料库是对人民日报1998年上半年的纯文本语料进行了词语切分和词性标注制作而成的，严格按照人民日报的日期、版序、文章顺序编排的。文章中的每个词语都带有词性标记。目前的标记集里有26个基本词类标记（名词n、时间词t、处所词s、方位词f、数词m、量词q、区别词b、代词r、动词v、形容词a、状态词z、副词d、介词p、连词c、助词u、语气词y、叹词e、拟声词o、成语i、习惯用语l、简称j、前接成分h、后接成分k、语素g、非语素字x、标点符号w）外，从语料库应用的角度，增加了专有名词（人名nr、地名ns、机构名称nt、其他专有名词nz）；从语言学角度也增加了一些标记，总共使用了40多个个标记。
二．格式说明 1．语料是纯文本文件，文件中每一行代表一自然段或者一个标题，一篇文章有若干个自然段，因此在语料中一篇文章是由多行组成的。 2．文件名格式为“月-日-版号-篇章号”。 3．一篇文章里面的段落之间是不空行的，在两篇文章之间，会有一个空行，表示文章的分界线，同时，下一篇文章的“篇章号-段号”都会有所改变。 4．标号之后，是2个单字节空格，然后开始正文。 5．正文部分按照规范已经切分成词，并且加上标注，标注的格式为“词语/词性”，即词语后面加单斜线，再紧跟词性标记。词与词之间用2个单字节空格隔开。每段最 后的词，在标记之后也有2个单字节空格，保持格式一致。 6．语料中除了词性标记以外，还有“短语标记”，这种情况一般出现在机构团体名称、成语等情况中。如“通过/p [中央/n 人民/n 广播/vn 电台/n]nt 、/w”中，用 “[ ]”合起来的部分是一个完整的机构团体名称，方括号后面紧跟标注nt，nt之后 空两个单字节空格，保持了格式的一致。 三．例子 迈向/v 充满/v 希望/n 的/u 新/a 世纪/n ——/w 一九九八年/t 新年/t 讲话/n （/w 附/v 图片/n １/m 张/q ）/w …… 在/p １９９８年/t 来临/v 之际/f ，/w 我/r 十分/m 高兴/a 地/u 通过/p [中央/n 人民/n 广播/vn 电台/n]nt 、/w [中国/ns 国际/n 广播/vn 电台/n]nt 和/c [中央/n
1.名词(26个词性) n 名词 nr 人名 nrj 日语人名 nrf 音译人名 ns 地名 nsf 音译地名 nt 机构团体名 ntc 公司名 ntcf 工厂 ntcb 银行 ntch 酒店宾馆 nto 政府机构 ntu 大学 nts 中小学 nth 医院 nh 医药疾病等健康相关名词 nhm 药品 nhd 疾病 nn 工作相关名词 nnt职务职称 nnd职业 ng 名词性语素 ni 机构相关（不是独立机构名） nic 下属机构 nis 机构后缀 nm 物品名 nmc 化学品名 nb 生物名 nba 动物名 nbp 植物名 nz 其他专名 2.学术词(8个词性) g 学术词汇 gm 数学相关词汇 gp 物理相关词汇 gc 化学相关词汇 gb 生物相关词汇 gbc 生物类别 gg 地理地质相关词汇 gi 计算机相关词汇 3.简称省略语(1个一类，北大) j 简称略语4.成语(1个一类，北大) i 成语 5.习用语(1个一类，北大) l 习用语 6.时间词(1个一类，1个二类) t 时间词 tg 时间词性语素 7.处所词(1个一类) s 处所词 8.方位词(1个一类) f 方位词 9.动词(1个一类，9个二类) v 动词 vd 副动词 vn 名动词 vshi 动词“是” vyou 动词“有” vf 趋向动词 vx 形式动词 vi 不及物动词（内动词） vl 动词性惯用语 vg 动词性语素 10.形容词(1个一类，4个二类) a 形容词 ad 副形词 an 名形词 ag 形容词性语素 al 形容词性惯用语 11.区别词(1个一类，2个二类) b 区别词 bl 区别词性惯用语 12.状态词(1个一类) z 状态词 13.代词(1个一类，4个二类，6个三类) r 代词 rr 人称代词 rz 指示代词 rzt 时间指示代词 rzs 处所指示代词
湖南文理学院课程设计报告 课程名称：计算机软件技术基础 系部：电信系 专业班级：通信工程T09103班 学生姓名：刘程程 指导教师： 完成时间：2011.12.28 报告成绩：
目录 中文摘要 .................................................................................................................................................................... I ABSTRACT ............................................................................................................................................................ II 第一章引言 (1) 1.1背景和意义 (1) 1.2词性标注定义及其困难 (1) 1.2.1词性的定义 (2) 1.2.2词性标注的难点 (2) 第二章基础理论介绍 (3) 2.1隐马尔科夫模型(H1DDEN M ARKOV M ODEL，HM) (3) 2.2HMM用于词性标注 (4) 第三章改进HMM标注模型与参数估计 (4) 3.1改进HMM模型词性标注 (4) 3.2参数估计 (5) 3.2.1训练语料库 (5) 3.2.2当用数据库 (5) 第四章改进VITERBI算法标注 (7) 4.1标注过程 (7) 4.2改进后的V ITERBI算法的具体描述 (7) 第五章实验结果与分析 (8) 5.1评价标准 (8) 5.2实验结果 (9) 5.3错误分析 (10) 参考文献 (11)
中文分词 一、概述 什么是中文分词 众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。例如，英文句子I am a student，用中文则为：“我是一个学生”。计算机可以很简单通过空格知道student是一个单词，但是不能很容易明白“学”、“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。我是一个学生，分词的结果是：我是一个学生。 中文分词技术 中文分词技术属于自然语言处理技术范畴，对于一句话，人可以通过自己的知识来明白哪些是词，哪些不是词，但如何让计算机也能理解？其处理过程就是分词算法。 现有的分词算法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。 1、基于字符串匹配的分词方法 这种方法又叫做机械分词方法，它是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。按照扫描方向的不同，串匹配分词方法可以分为正向匹配和逆向匹配；按照不同长度优先匹配的情况，可以分为最大（最长）匹配和最小（最短）匹配；按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。常用的几种机械分词方法如下： 1）正向最大匹配法（由左到右的方向）； 2）逆向最大匹配法（由右到左的方向）； 3）最少切分（使每一句中切出的词数最小）。 还可以将上述各种方法相互组合，例如，可以将正向最大匹配方法和逆向最大匹配方法结合起来构成双向匹配法。由于汉语单字成词的特点，正向最小匹配和逆向最小匹配一般很少使用。一般说来，逆向匹配的切分精度略高于正向匹配，遇到的歧义现象也较少。统计结果表明，单纯使用正向最大匹配的错误率为1/169，单纯使用逆向最大匹配的错误率为1/245。但这种精度还远远不能满足实际的需要。实际使用的分词系统，都是把机械分词作为一种初分手段，还需通过利用各种其它的语言信息来进一步提高切分的准确率。 一种方法是改进扫描方式，称为特征扫描或标志切分，优先在待分析字符串中识别和切分出一些带有明显特征的词，以这些词作为断点，可将原字符串分为较小的串再来进机
POS_MAP = { 'n': ('名词', 'noun', { 'nr': ('人名', 'personal name', { 'nr1': ('汉语姓氏', 'Chinese surname'), 'nr2': ('汉语名字', 'Chinese given name'), 'nrj': ('日语人名', 'Japanese personal name'), 'nrf': ('音译人名', 'transcribed personal name') }), 'ns': ('地名', 'toponym', { 'nsf': ('音译地名', 'transcribed toponym'), }), 'nt': ('机构团体名', 'organization/group name'), 'nz': ('其它专名', 'other proper noun'), 'nl': ('名词性惯用语', 'noun phrase'), 'ng': ('名词性语素', 'noun morpheme'), }), 't': ('时间词', 'time word', { 'tg': ('时间词性语素', 'time morpheme'), }), 's': ('处所词', 'locative word'), 'f': ('方位词', 'noun of locality'), 'v': ('动词', 'verb', {
'vd': ('副动词', 'auxiliary verb'), 'vn': ('名动词', 'noun-verb'), 'vshi': ('动词"是"', 'verb 是'), 'vyou': ('动词"有"', 'verb 有'), 'vf': ('趋向动词', 'directional verb'), 'vx': ('行事动词', 'performative verb'), 'vi': ('不及物动词', 'intransitive verb'), 'vl': ('动词性惯用语', 'verb phrase'), 'vg': ('动词性语素', 'verb morpheme'), }), 'a': ('形容词', 'adjective', { 'ad': ('副形词', 'auxiliary adjective'), 'an': ('名形词', 'noun-adjective'), 'ag': ('形容词性语素', 'adjective morpheme'), 'al': ('形容词性惯用语', 'adjective phrase'), }), 'b': ('区别词', 'distinguishing word', { 'bl': ('区别词性惯用语', 'distinguishing phrase'), }), 'z': ('状态词', 'status word'), 'r': ('代词', 'pronoun', { 'rr': ('人称代词', 'personal pronoun'),
机器学习翻译姓名：陈伟 学号：20124227003 班级：01
机器学习的词性标注 摘要 我们应用统计决策树学习和自然语言处理解决形态语句的消歧问题。这个学习的过程是为了获得一个语言模型，来解决词性标注模糊的问题，在一些相关的文章中，词性标注组成了统计决策树的标签和一些单词。得到的决策树已经直接应用在标签中，这个标签相对简单而且效率较高，在华尔街语料库的精确测量中它得到了检测，价值得到了肯定。但是如果把决策树翻译成支持灵活标签的规则会得到更好的结果。在这个领域，我们描述一个标签是指它能够应用任何信息，特别是机器学习决策树。同时，在解决标签问题时，我们只有有限的培训材料，任何从无到有的建设过程中，标注语料库是至关重要的。我们发现，在这个学习体系中我们的系统可以获得更高的精度，并且可以在开发550万字的西班牙语料库中获得一些结果。 关键词：词性标注基于语料库的统计语言模型决策树归纳满意度约束松弛标签
1.简介 词性标注是一个非常基本的、众所周知的自由自然语言处理问题，这个问题是如何为文章中每个单词在文章的语境中分配正确的形态句法。它对许多自然语言处理问题都非常有用，例如：作为句法分析的前处理工具，信息检索和提取，从文本到语音系统，语料库语言学等。 习性标注的基础是很多单词相对于它们的标签是模糊的，而且在大多数情况下，这些单词可以通过考虑上下文消除歧义。例如表一中出现的句子，单词shot 通过前文将它理解成过去分词，这样就可以消除歧义了。虽然在这种情况下，单词的歧义可以简单的通过前面的标记来消除，但是前面的单词不明确的情况必须考虑，或者说上下文相对于前字的复杂程度是必须考虑的。此外，在一些例子中，仅仅通过上下文是不能够解决模糊性的，这就需要语义或是语法知识。表1如下： 1.1 现有的词性标注方法 使用标注的先驱是TAGGIT，布朗大学最早使用原始的标注，为了提高准确性和效率，人们做了许多的努力。现有的标注使用者可以根据他们所使用的知识分为三个主要群体：语言、统计和机器学习。当然，有些标注者很难进行分类，使用混合方法的人我们也要考虑。 在使用语言的方法中，编译系统所使用的规则是由语言学家来写的。这些语言模型的范围从几百到几千，他们需要付出数年的劳动。在这个领域，TOSCA 的工作和最近赫尔辛基大学对于约束语法的发展是最重要的。 现在大多数扩展的方法是统计的人做的（显然是因为有限的人的工作量）。基本上，它包括建立一个语言的统计模型并利用该模型消除单词的歧义。这个语言模型对不用的语言现象进行同频率的编码。
在词性标记集已确定，并且词典中每个词都有确定词性的基础上，对一个输入词串转换成相应词性标记串的过程叫做词性标注。 词性标注需要解决的问题 如何判定兼类词在具体语境中的词性。 对未登录词需要猜测其词 兼类词对句法分析的影响:尽管兼类词在词汇中所占比例并不很高，但由于它们出现的比例较高，因而对于句法分析会造成直接影响。 词性标注方法： 概率方法 基于隐马尔可夫模型的词性标注方法 机器学习规则的方法 基于转换的错误驱动词性标注方法 从统计模型角度考虑词性标注问题 1给定一个词串W=w1w2...wn,如果T=t1t2...tn是W对应的词性标记串。所谓对W进行词性标注就是在给定W和带有词性标注信息的词表条件下，求T的过程。 2假设W存在多个可能的词性标记串T1,T2,...Ti,对W进行词性标注就是在已知W的条件下求使P(T|W)最大的词性标注串T',即求： 3T'=argmax P(T|W) 例如词串“把/ 这/ 篇/ 报道/ 编辑/ 一/ 下/”中有些词有多个词性标记（兼类词），因此该词串对应的词性标注串有多个。全部标记结果等于各个词的词性标注数目的乘积，即4×1×1×2×2×2×3=96。 词性标注的任务就是从多个可能性中找出可能性最高的词性标注串T’ 上例中对应的词性标注串是“prvnvmq” 对于一个词性标注系统来说，它所“认为”的可能性最高的词性标注串T'可能是正确的，也有可能是错误的。 为了表示方便，做如下约定： Wi：表示一个词串； wi：表示一个具体词语； Ti：表示一个词性标注串； ti：表示一个具体词性标记； 隐马尔可夫模型(Hidden Markov Model，HMM)是描述连续符号序列的条件概率统计模型,可定义为五元组λ=(S,V,A,B,π),其中 S代表一个状态集合S={1,2,...,N} V代表一个可观察符号的集合V={v1,v2,...,vM} A代表状态转移矩阵(N行×N列)A=[aij]，其中 aij=P(qt+1=j | qt=i), 1≤i,j≤N,即从状态i转移到下一个状态j的概率 B是可观察符号的概率分布B={bj(k)},其中bj(k)是在状态j是输出观察符号vk的概率，即bj(k)=P(vk | j),1≤j≤N, 1≤k≤M. π代表初始状态的概率分布π={πi},表示在时刻1选择状态i的概率，即πi=P(q1=i) 一个确定的HMM,其状态数是确定的，每个状态可能输出的观察值数目也是确定的，参数A,B,π可通过统计样本得到。 词性标注和HMM之间的关系 1词性序列相当于HMM的状态序列
大规模中文文本语料库分词与词性标注一致性检验技术研究 基本信息 批准号60473139 项目名称大规模中文文本语料库分词与词性标注一致性检验技术研究 项目类别面上项目 申请代码F020603 项目负责人郑家恒 负责人职称教授 依托单位山西大学 研究期限2005-01-01 到 2007-12-31 资助经费23（万元） 项目摘要 中文摘要 目前，在机器翻译、语音识别、信息检索等应用系统的开发中，广泛地使用语料库。建设高质量的大规模语料库是中文信息处理领域的基础性工程。由于自动分词和词性标注的正确率达不到百分之百；人工校对语料时，校对者对分词单位和词性标注认识上存在着差异，造成语料加工结果不一致现象的存在。因此，研究语料库一致性检验技术是十分必要的，它不仅可以保证语料库加工的质量，也可以提高语料库加工的自动化程度，减轻人工校对的工作量。课题研究的内容有：研究语料库加工规范的分词模式、词性标注模式的形式和生成；一致性检验模式库的构建、维护、优化策略，模式的选择，模式匹配条件的确定；建立组合型歧义字段语言环境和兼类词语言环境模型；应用基于范例推理、粗糙集、分类、聚类和模式识别技术，获取分词与词性标注一致性检验知识库，研究一致性检验算法；开发分词与词性标注一致性检验软件，为建设高质量的大规模语料库提供有力的保证。 中文主题词分词一致性;词性标注一致性;语言环境模型;语料加工规范模式 英文摘要 英文主题词consistency of segmentation;co 结题摘要
建设高质量的大规模语料库是中文信息处理领域的基础性工程，也是很多相关应用领域进行更深层次研究的根本保证。由于自动分词和词性标注的正确率达不到百分之百；人工校对语料时，校对者对分词单位和词性标注认识上存在着差异，造成语料加工结果不一致现象的存在。因此，研究语料库一致性检验技术是十分必要的，它不仅可以保证语料库加工的质量，也可以提高语料库加工的自动化程度，减轻人工校对的工作量。本课题主要研究了：语料库加工规范的分词模式、词性标注模式的形式和生成；一致性检验模式库的构建、维护、优化策略；组合型歧义字段语言环境和兼类词语言环境模型；分词与词性标注一致性检验知识库和一致性检验算法；开发了自动分词与词性标注一致性检验软件。在国内外学术期刊和学术会议共发表论文20余篇，其中1篇被SCI检索，2篇被EI检索；开发的词性标注一致性软件等2个软件进行了软件著作登记；开发的自动分词软件参加了2007年bakeoff的评测，其中对词表词的分词评测取得了最好的成绩；同时，研究团队还为本次评测提供了分词训练语料和测试语料。 成果 1 基于规则的中文语料库分词一致性会议苗玺、郑家恒 2 一种改进的句子相似度计算方法会议菅小艳、郑家恒 3 一种基于实例学习的人名识别方法会议朱丽丽、郑家恒 4 基于模式匹配的中文专有名词识别会议郑家恒、谭红叶、王兴义 5 基于HMM的农作物信息抽取会议菅小艳、郑家恒 6 A Classification-based Algorit会议张虎、郑家恒、赵颖 7 基于小句相似度计算的专有名词识期刊朱丽丽、郑家恒 8 利用支持向量机实现动词—动词搭期刊白妙青、郑家恒 9 汉语语料库词性标注自动校对方法期刊张虎、郑家恒、刘江 10 规则与统计相结合的分词一致性检期刊刘博、郑家恒、张虎 11 A Study on Pattern Generalizat期刊Tan Hongye, Zhao Tiejun, Yao
分词及词性标注 在英文中，计算机能够利用词语之间的空格来辨别每一个单词词语，但是由连续中文文本组成的汉语序列，因为其词和词之间没有任何标识来进行划分，所以计算机无法方便的直接进行分词处理。然而计算机在对语句进行处理分析的时，由于对其的处理全部是以词语作为基本语言单位的，所以对语句进行分词处理从而成为离散的词语序列便是专利设计目标提取首先要完成的内容。 面向中文语句的分词的研究在目前已经提出了十余种中文分词方法，并成功研发了若干个相关的系统组件，目前基本可以将这些方法分为以词典为基础的方法和以知识规则为基础的方法这两个类别，以词典为基础的学习方法的代表有基于最大熵的方法、基于隐马尔科夫模型的方法等，以知识规则为基础的学习方法的代表有N-最短路径方法、最少切分法和最大匹配算法等。 上述这些算法都有自己的不足之处，其中现阶段面临的问题大致有两个，其一是对未登录词识别的问题，这些词没有被中文分词词典收录，所以当这些专业词汇在词法分析时，它们的识别率通常较低，往往不会被切分出来，从而造成错误的出现；其二是歧义切分的问题，是指如果依照不同的切分方法，那么即使是切分同一个语句，最后切分出的结果也会不同。 在对专利进行文本挖掘之前，需要对专利的标题和摘要数据进行切分成词序列，这是做文本挖掘工作的开始。目前，开源中文分词工具有很多，如张华平博士团队开发的NLPIR系统（C、Python、Java），哈王大的LTP语言平台（C++、Python），还有R语言的分词包等，送些分词工具都各具特色，本文在此受篇幅所限不做巧细介绍。本文采用结巴分词算法，其主要原因是它处理速度快，分词准确，并带有新词发现、词性标注功能。同时该算法功能可以通过加载包的形式，加载进Python中，便于统一编程实现。该分词算法分词流程如下： 专利标题和摘要分句最大逆向匹配切 分 后处理 输出自定义词典停用词 以下程序实现了对评论句子进行的分词过程，同时进行了词性标注。
词性标注方法 分词系统词性标注模块的基本需求即为对给定的一个分好词的句子，每一个词附上一些相应的词性。 e.g. 晚上喝水 WORD POS LIST 晚上t 喝Vg | e | v 水Ng | j | n 词性标注一个可能的结果为： 晚上/t 喝/v 水/n 注：词性标注体系请参考附录部分，北大词性标注体系 以上功能的核心思想通过算法抽象一下即可转变为一个HMM（Hidden Markov Model）。HMM这名字起得比较直观形象。还以上面的例子来解释一下该模型的思想。 i)MM （Markov Model） MM 说的通俗一点就是一个条件概率问题，譬如说“晚上喝水”这句话，如果需要计算其概率，假设用S代表整个句子，则有如下公式： P (S) = P(晚上喝水) 如果采用二元MM，同时结合链乘原理，有如下公式：（公式1） P(S) = P(晚上|) × P(喝|晚上) × P(水|喝) × P( | 水) 注： —代表句子开始位置 —代表句子结束位置 因此二元MM即等价于一个当前词仅依赖于紧邻历史词的条件概率。 ii)HMM （Hidden Markov Model） HMM其实源自于MM，不过这里引入了两个新的概念：Hidden、Emission。 Hidden我们可以直接从术语上看到，而Emission是由Hidden引出的一个概念。首先解释一下Hidden：我们看到对于一个分好词的句子“晚上喝水”，这里“晚上” 等这些单元都是我们看到的，因此是一些Explicit单元，而POS（词性）是我们看不到的，因此是一些Implicit (Hidden)单元。因此这儿的Hidden在词性标注这个应用领域指的是POS。更抽象一层，Hidden其实是外表背后的本质，所谓外表就是我们看到的现象，所谓本质即为导致该现象发生的原因。 那么“导致该现象发生的原因”这句话指的又是这么呢？通过这句话我们可以引入“Emission”这个概念。在词性标注领域即为某个具体句子中的某个位置的词性导致这个词出现概率，举个例子： e.g. 晚上喝水 WORD POS LIST 晚上t
1央金藏文分词系统 史晓东*2卢亚军**3 *厦门大学人工智能研究所 361005 E-mail：mandel@https://www.doczj.com/doc/3d7507583.html, **西北民族大学科研处 730030 E-mail：zxdl365@https://www.doczj.com/doc/3d7507583.html, 摘要：藏文分词是藏文信息处理的一个基本步骤，本文描述了我们将一个基于HMM的汉语分词系统segtag移植到藏文的过程，取得了91%的准确率。又在错误分析的基础上，进行了训练词性的取舍、人名识别等处理，进一步提高了准确率。 关键字：藏文分词、自然语言处理、HMM A Tibetan Segmentation System – Yangjin Xiaodong Shi*, and Yajun Lu** *Institute of Artificial Intelligence, Xiamen University, Xiamen 361005, China **Northwest University for Nationalities, Lanzhou 730030, China Abstract: We described the porting of a Chinese segmentation system to handle Tibetan. The F-measure of the new Yangjin system is above 91% over a test corpus although the training corpus is relatively small. We also described more processing upon error analysis which led to further improvement. Keywords:Tibetan Segmentation, natural language processing, HMM 1 引言 随着少数民族语言（主要是藏、维、蒙）到汉语的机器翻译研究逐渐进入人们的视野实验，相关的少数民族语言基础法分析工具也亟待完善。藏文分词是藏语到其他语言的基础性工具。虽然研究的时间也不算短（2002年陈玉忠[1]是较早的一篇研究），已经有至少10年的历史，但是还没有公开可用的工具。第一作者在研究汉语分词方面有丰富的经验，从2005年就开发的segtag汉语分词系统，虽然没有发表相关的论文，但是在北京大学公开的1998年人民日报一个月的语料上的准确率约为98%。因此将其移植到藏文，并加以公开，是我们的一个想法。经过与第二作者密切合作，已经成功地开发出了藏文的分词标注系统，在一个测试集上的准确率约为93%，取得了较为令人满意的效果。本文描述该系统的基本算法，并对藏文所作的特殊改进。 本文下面的内容如下：首先综述一下国内外的相关工作，然后介绍了央金藏文分词系统的基本结构，然后再描述为了改进性能对藏文所作的特殊处理，最后得出结论，并指出了进一步的工作。 由于第一作者一点也不懂藏文，因此本文对想开发一个未知语种（如蒙语、泰语、彝语等）的分词系统的人，有一定的借鉴意义。 1基金项目：863项目2006AA010108，国家社科基金重点项目05AYY001 2史晓东，男，1966.12，教授，主要研究方向：自然语言处理 3卢亚军，男，1956.10，教授，主要研究方向：语料库语言学，藏汉机器翻译
语法术语英汉对照表 A active sentence 主动句 active voice 主动态 ability 能力 absolute construction 独立结构 abstract noun抽象名词 adjective形容词 adjunct 修饰形状语 adverb 副词 adverb of degree 程度副词 adverb of frequency 频度副词 adverb of manner 方式副词 adverb of place 地点副词 adverb of time 时间副词 adverbial 状语 adverbial clause of cause 原因状语分句adverbial clause of concession 让步状语分句adverbial clause of condition 条件状语分句adverbial clause of manner 方式状语分句adverbial clause of place 地点状语分句adverbial clause of purpose 目的状语分句adverbial clause of result 结果状语分句adverbial clause of time 时间状语分句adverb phrase 副词词组 affix 词缀 allomorph 词素变体 alternative form 替换形式 alternative question 选择性疑问句attachment rule 依着法则 analytic form 分析形式 anaphoric reference 后照应 anaphoric specific reference 后照应特指antecedent 先行项 anticip atory "it" 先行“it” antonym 反义词 appositive 同位语 appropriacy 适合性 aspect 体 assertive word 肯定次 attribute 定语 attributive clause 定于从句 auxiliary 助动词 B bare infinitive 不带to不定式 base form 原形 basic clause type 分句基本类型/基本句型basic form 基本形式 be-passive be-型被动态 be-subjunctive be-型虚拟式 bound morpheme 粘附词素 C cardinal numeral 基数词 case 格 cataphoric reference 前照应 cataphoric specific reference 前照应特指central adjective 中心形容词 central determiner 中位限定词 clausal substitution 分句性替代 clause 分句 clause element 分句成分 cleft sentence 分裂句 climax 层进法 closed class 封闭词类 coherence 连贯性 cohesion 粘着性 collective noun 集体名词 combining form 组合形式 command/imperative sentence 祈使句common case 通格 common gender 通性 common noun 普通名词communicative function 交际功能comparative clause 比较分句comparative construction 比较结构comparative degree 比较级comparative reference 比较照应complementation 补足成分 complex clause 复杂分句 complex preposition 复杂介词 complex sentence 复杂句 complex subordinator 复杂从属连词complex transitive verb 复杂宾语及物动词complex verb phrase 复杂动词词组compound adjective 复合形容词compound adverb 复合副词 compound-complex sentence 并列复杂句compound conjunction 复合连词