中文分词-ppt课件

• 当 = 3时的n元语法称为三元语法（trigram）
• >= 4时数据稀疏和计算代价又变得显著起来，实际工程中几乎不使用。
• 另外，深度学习带了一种递归神经网络语言模型（RNN Language Model），
理论上可以记忆无限个单词，可以看作“无穷元语法”（∞ −gram）。
《自然语言处理入门》
1) 前向：由起点出发从前往后遍历节点，更新从起点到该节点的最小花费
以及前驱指针。
2) 后向：由终点出发从后往前回溯前驱指针，取得最短路径。
《自然语言处理入门》
3.4.4 词图上的维特比算法
def viterbi(wordnet):
nodes = wordnet.getVertexes()
# 前向遍历
3.4.4 词图上的维特比算法
• 粗分词图：========按终点打印========
to: 1, from: 0, weight:04.60, word:始##始@商品
to: 2, from: 1, weight:00.80, word:商品@和
to: 3, from: 1, weight:00.80, word:商品@和服
• 最大似然估计（Maximum Likelihood Estimates，MLE）
0 … −1 = ML 0 … −1
0 …
=
0 … −1
其中，(0 … )表示0 … 的计数（count），比如
(商品 和 服务) = (商品|BOS)(和|BOS 商品)(服务|BOS 商品 和)(EOS|BOS 商品 和 服务)
《自然语言处理入门》
3.4 预测
• 预测（predict）指的是利用模型对样本（句子）进行推断的过程，

现在分词的形式
主动Байду номын сангаас：doing
被动式：being done （正在被做）
过去分词的形式
done （已被做）
单个分词做定语
I：“使”动词（表情感心理）作
前 置定语
• The news excited us. He told us the exciting news.
The excited pupils jumped with joy
• The story amused the audience.
The amusing story made us laugh.
The amused audience laughed all the time.
Some other examples: an interesting story
｛
an interested look a pleasing voice ｛a pleased look ｛ a moving story moved audience the tiring work
你知道昨天发生的那起交通事故吗？
Do you know the traffic accident which happened yesterday?
Practice:
• The flowers_n_od_d_i_n_g(nod) gently in the wind smell sweet.
=flowers which are nodding • There are stars _m_o_vi_n_g_(move) in
the sky? =stars which are moving • A man _g_oi_n_g_(go) to die is always

Class-based Ngram Ngram分词评价
能够处理大多数常用词带来的歧义问题 不能处理新词以及新词带来的歧义问题
解决之道：Class-based Ngram
在统一的框架下进行分词与新词识别 将词分为若干类
词典词：教师（词典处理） 仿词：2000年（规则处理） 新词：范路（基于类的新词识别） 形态词：高高兴兴（规则处理） 不同类型的词用不同处理方法，最后利用Ngram框架寻找全 局最优切分结果
P(C ) ≅ ∏P(ci | ci−2ci−1)
m 1 i=1
m
P (S1n | C1m ) = P (s1, s2 ,⋅ ⋅ ⋅, sn | c1, c2 ,⋅ ⋅ ⋅, cm ) ≅ P ([s1,⋅ ⋅ ⋅, sc1−end],⋅ ⋅ ⋅,[scm−start,⋅ ⋅ ⋅, sn ] | c1, c2 ,⋅ ⋅ ⋅, cm ) ≅ ∏ P ([scj −start,⋅ ⋅ ⋅, scj −end] | c j )
中文分词一席谈
suntian@
内容提要
中文分词概述 分词技术发展 国际分词评测 分词技术总结
中文分词概述
什么是分词？ 什么是分词？
分词就是利用计算机识别出文本中词汇的过程。比如 句子“内塔尼亚胡说的确实在理”
中文分词概述（Cont.）
分词作用
互联网绝大多数应用都需要分词，典型应用实例 汉字处理：拼音 汉字处理：拼音输入法、手写识别、简繁转换 …告推荐、内容监控 … 语音处理： 语音处理：语音识别、语音合成 … …
w w
P (W | O ) = max ∏ P ( wt | wt −1 , ot )
w t =1
T
W：分词结果 O：待分词文本
生成式分词（Cont.）

四、解决方案
为了克服中文分词技术的研究困难，以下一些解决方案值得：
1、优化分词算法：针对分词算法的复杂性问题，可以尝试优化算法的设计和 实现，提高其效率和准确性。例如，可以通过引入上下文信息、利用语言学知 识等方式来改进算法。
2、改进信息检索技术：在信息检索领域，可以尝试将先进的排序算法、推荐 系统等技术引入到检索过程中，以提高检索效果。此外，还可以研究如何基于 用户行为和反馈来优化检索结果。
3、缺乏统一的评价标准：中文分词技术的评价标准尚未统一，这使得不同研 究之间的比较和评估变得困难。建立通用的中文分词技术评价标准对于推动相 关研究的发展至关重要。
4、特定领域的应用场景：中文分词技术在不同领域的应用场景中面临着不同 的挑战。例如，在金融领域中，需要分词技术对专业术语进行精确识别；在医 疗领域中，需要处理大量未登录词和生僻字。如何针对特定领域的应用场景进 行优化，是中文分词技术的重要研究方向。
3、建立大型标注语料库：通过建立大型标注语料库，可以为分词算法提供充 足的训练数据，提高其准确性和自适应性。此外，标注语料库也可以用于开发 基于规则的分词方法和测试集的构建。
4、研究跨领域的应用场景：针对不同领域的应用场景，可以研究如何将中文 分词技术进行迁移和适配。例如，可以通过知识图谱等技术将不同领域的知识 引入到分词过程中，以提高分词效果。
然而，各种分词方法也存在一定的局限性和不足。例如，基于规则的分词方法 需要人工编写规则和词典，难以维护和更新；基于统计的分词方法需要大量标 注语料库，而且训练模型的时间和计算成本较高；基于深度学习的分词方法虽 然取得了较好的效果，但也需要耗费大量的时间和计算资源进行训练。
三、研究困难
中文分词技术的研究面临着诸多困难和挑战，以下是一些主要词方法：该方法主要依靠人工编写的分词规则来进行分词。 代表性的工作包括台湾大学开发的中文分词系统“THULAC”和北京大学开发 的“PKU中文分词系统”。这些系统均基于词典和规则，具有较高的准确率和 召回率。