中文分词简介

FMM 算法过程： (1) 令 令 i=0 ， 当前指针 p i 指向输入字串的初始位置，执行下面的操作： (2) 计算当前指针 p i 到字串末端的字数（即未被切分字串的长度）n ， 如果n=1 ，转 (4) ，结束算法。否则，令 m= 词典中最长单词的字数，如果n<m, 令 令 m=n (3) 从当前 p i 起取m 个汉字作为词 w i ， 判断： (a) 如果 w i 确实是词典中的词，则在w i 后添加一个切分标志，转(c) ； (b) 如果 w i 不是词典中的词且 w i 的长度大于1 ，将 w i 从右端去掉一个字，转(a) 步；否则（w i 的长 度等于1 ），则在w i 后添加一个切分标志，将w i 作为单字词添加到词典中，执行 (c) 步； (c) 根据 w i 的长度修改指针 p i 的位置，如果 p i 指向 字串末端，转(4) ，否则， i=i+1 ，返回 (2) ； (4) 输出切分结果，结束分词程序。
研究 意义
中文分词是计算机处理汉字的首要 也是基础性工作，只有不断提高中文分 词算法的效率才能跟上信息爆炸增长的 现状，使我国信息技术相关方面在 21 世 纪能够稳步发展。
Part 3
中文分词的主要问题
难点一
分词规范问题
难点二
歧义切分问题
难点三
未登录词问题
分词规范问题
“词”这个概念一直是汉语语言学界纠缠不清而又挥之不去的问题。“词是 什么”（词的抽象定义）及“什么是词”（词的具体界定），这两个基本问题有 点飘忽不定，迄今拿不出一个公认的、具有权威性的词表来。 主要困难出自两个方面：一方面是单字词与词素之间的划界，另一方面是词 与短语（词组）的划界。此外，对于汉语“词”的认识，普通说话人的语感与语 言学家的标准也有较大的差异。有关专家的调查表明，在母语为汉语的被试者之 间，对汉语文本中出现的词语的认同率只有大约70％，从计算的严格意义上说， 自动分词是一个没有明确定义的问题。 建立公平公开的自动分词评测标准一直在路上。
NLP
中文分词算法与技术认识探讨
01
什么是中文分词 为什么要中文分词 中文分词的主要问题 中文分词的具体实现 总结
02
目录
03 04
05
Part 1
什么是中文分词
概念
自然语言处理（NLP, Natural Language Processing） 是用机器处理人类语言（有别于人工语言，如程序设计语言） 的理论和技术。自然语言处理是人工智能的一个重要分支。 中文信息处理是指自然语言处理的分支，是指用计算机 对中文进行处理。 和大部分西方语言不同，书面汉语的词语之间没有明显 的空格标记，句子是以字串的形式出现。因此对中文进行处 理的第一步就是进行自动分词，即将字串转变成词串 （ 计 算 机在词与词之间加上空格或其他边界标记），这就是中文分 词 。 中文分词是中文自然语言处理的一项基础性工作，也是 中文信息处理的一个重要问题。
人工智能
中文信息处理
中文分词
自然语言处理
图1
NLP几个相关概念关系示意图
例子
• I am a member of 519 lab in Jiangsu Normal University.
• 2018年3月13日上午在人民大会堂举行第十三届全 国人大一次会议的第四次全体会议。
2018/年/3/月/13/日/上午/在/人民大会堂/举行/ 第十三届/全国人大一次会议/的/第四次全体会 议。
(3) 重复步骤(2) ，直到没有新路径( 词序列) 产生。 (4) 从产生的所有路径中，选择路径最短的( 词数最少的) 作为最终分词结 果。
优点： • 切分原则符合汉语自身规律； • 需要的语言资源（词表）也不多。 缺点 ： • 对许多歧义字段难以区分，最短路径有多条时，选择最终的输出结果缺 乏应有的标准； • 字串长度较大和选取的最短路径数增大时，长度相同的路径数急剧增 加，选择最终正确的结果困难越来越越大。
中文分词方法
基于词典 的分词法
基于统计 的分词法
基于规则 的分词法
￭ 基于词典的分词法
按照一定策略将待分析的汉字串与一个大机器词典中的词条进行匹配，若在词 典中找到该字符串，则匹配成功。
▶最大匹配法 (Maximum Matching, MM)——有词典切分、机械切分 正向最大匹配算法（Forward MM, FMM） 逆向最大匹配算法 (Backward MM, BMM) 双向最大匹配算法 (Bi-directional MM) 假设句子： ，某一词： ，m为词典中最长 词的字数。
￭基于统计的分词法
随着大规模语料库的建立，统计机器学习方法的研究和发展，基于统 计的中文分词方法渐渐成为了主流方法。 把每个词看做是由词的最小单位各个字总成的，如果相连的字在不同 的文本中出现的次数越多，就证明这相连的字很可能就是一个词。因此我 们就可以利用字与字相邻出现的频率来反应成词的可靠度，统计语料中相 邻共现的各个字的组合的频度，当组合频度高于某一个临界值时，我们便 可认为此字组可能会构成一个词语。 ▶N元文法模型（N-gram） 模型基于这样一种假设，第n个词的出现只与前面N-1个词相关，而与 其它任何词都不相关，整句的概率就是各个词出现概率的乘积。 那么，对于一个句子T，我们怎么算它出现的概率呢？
假设该句子T是由词序列W1,W2,W3,…Wn组成的，那么 P(T)=P(W1W2W3…Wn)=P(W1)P(W2|W1)P(W3|W1W2)…P(Wn|W1W2…Wn-1) 但是这种方法存在两个致命的缺陷：一个缺陷是参数空间过大，不可能实用化； 另外一个缺陷是数据稀疏严重。 为了解决这个问题，我们引入了马尔科夫假设：一个词的出现仅仅依赖于它前面 出现的有限的一个或者几个词。 如果一个词的出现仅依赖于它前面出现的一个词，那么我们就称之为bigram。即 P(T)=P(W1W2W3…Wn)=P(W1)P(W2|W1)P(W3|W1W2)…P(Wn|W1W2…Wn-1) ≈P(W1)P(W2|W1)P(W3|W2)…P(Wn|Wn-1) 如果一个词的出现仅依赖于它前面出现的两个词，那么我们就称之为trigram。
歧义切分问题
歧义字段在汉语文本中普遍存在，因此，切分歧义是中文分词研究中一个不 可避免的“拦路虎”。 （交集型切分歧义） 汉字串AJB如果满足AJ、JB同时为词（A、J、B分别为汉 字串），则称作交集型切分歧义。此时汉字串J称作交集串。 如“结合成”、“大学生”、“师大校园生活”、“部分居民生活水平”等等。 （组合型切分歧义） 汉字串AB如果满足A、B、AB同时为词，则称作多义组合 型切分歧义。 “起身”：（a）他站│起│身│来。（b）他明天│起身│去北京。 “将来”：（a）她明天│将│来│这里作报告。（b）她│将来│一定能干成大事。
几种最大匹短； ·仅需要很少的语言资源（词表），不需要任何词法、句法、语义资 源； 缺点： ·歧义消解的能力差； ·切分正确率不高，一般在95 ％ 左右。
▶最少分词法 （最短路径法）
基本思想： 设待切分字串 S=c 1 c 2 …c n ，其中c i (i =1, 2, …, n)为单个的 字， n 为 串的长度，n>=1 。建立一个节点数为n+1 的切分有向无环 图G ，各节点编号依次为V 0 ，V 1 ，V 2 ，…，V n 。
例如： 现在，我们要对“南京市长江大桥”这个句子进行分词，假设m=5，根 据正向最大匹配的原则：①先从句子中拿出前5个字符“南京市长江”，把 这5个字符到词典中匹配，发现没有这个词，那就缩短取字个数，取前四个 “南京市长”，发现词库有这个词，就把该词切下来；②对剩余三个字“江 大桥”再次进行正向最大匹配，会切成“江”、“大桥”；③整个句子切分 完成为：南京市长、江、大桥； 思考：同样的例子如果采用逆向最大匹配算法呢？
中文分词的辅助原则
1. 有明显分隔符标记的应该切分之 。 2. 附着性语素和前后词合并为一个分词单位。 3. 使用频率高或共现率高的字串尽量合并为一个分词单位 。 4. 双音节加单音节的偏正式名词尽量合并为一个分词单位。 5. 双音节结构的偏正式动词应尽量合并为一个分词单位 。 6. 内部结构复杂、合并起来过于冗长的词尽量切分。
算法过程： (1) 相邻节点 v k-1 , v k 之间建立有向边 <v k-1 , v k > ，边对应的词默认为 c k ( k =1, 2, …, n) (2) 如果 w= c i c i+1 …c j (0<i<j<=n) 是一个词，则节点v i-1 , v j 之间建立有向边 <v i-1 , v j > ，边对应的词为 w
未登录词分类情况
Part 4
中文分词的具体实现
中文分词的基本原则
1.语义上无法由组合成分直接相加而得到的字串应该合并为一个分词单位。 例如 ：不管三七二十一（成语），或多或少（副词片语），十三点（定量 结构），六月（定名结构），谈谈（重叠结构，表示尝试），辛辛苦苦（重叠结 构，加强程度），进出口（合并结构） 2.语类无法由组合成分直接得到的字串应该合并为一个分词单位。 (1) 字串的语法功能不符合组合规律，如：好吃，好喝，好听，好看等 (2) 字串的内部结构不符合语法规律，如：游水等
1%
句子比例
9%
90%
情况一
图3
情况二
情况三
据SunM.S. 和 Benjamin K.T. （1995）的研究表明，中文中90.0％左 右的句子，正向最大匹配法和逆向最大 匹配法完全重合且正确，只有大概9.0 ％的句子两种切分方法得到的结果不一 样，但其中必有一个是正确的（歧义检 测成功），只有不到1.0％的句子，或 者正向最大匹配法和逆向最大匹配法的 切分虽重合却是错的，或者正向最大匹 配法和逆向最大匹配法切分不同但两个 都不对（歧义检测失败）。这正是双向 最大匹配法在实用中文信息处理系统中 得以广泛使用的原因所在。