自然语言处理中的分词技术简介

⼈⼯智能机器学习之NLP和中⽂分词算法

前⾔：在⼈类社会中，语⾔扮演着重要的⾓⾊，语⾔是⼈类区别于其他动物的根本标志，没有语⾔，⼈类的思维⽆从谈起，沟通交流更是⽆源之⽔。

所谓“⾃然”乃是寓意⾃然进化形成，是为了区分⼀些⼈造语⾔，类似C++、Java等⼈为设计的语⾔。NLP的⽬的是让计算机能够处理、理解以及运⽤⼈类语⾔，达到⼈与计算机之间的有效通讯。

01 什么是NLP

1. NLP的概念

NLP（Natural Language Processing，⾃然语⾔处理）是计算机科学领域以及⼈⼯智能领域的⼀个重要的研究⽅向，它研究⽤计算机来处理、理解以及运⽤⼈类语⾔（如中⽂、英⽂等），达到⼈与计算机之间进⾏有效通讯。

在⼀般情况下，⽤户可能不熟悉机器语⾔，所以⾃然语⾔处理技术可以帮助这样的⽤户使⽤⾃然语⾔和机器交流。从建模的⾓度看，为了⽅便计算机处理，⾃然语⾔可以被定义为⼀组规则或符号的集合，我们组合集合中的符号来传递各种信息。

这些年，NLP研究取得了长⾜的进步，逐渐发展成为⼀门独⽴的学科，从⾃然语⾔的⾓度出发，NLP基本可以分为两个部分：⾃然语⾔处理以及⾃然语⾔⽣成，演化为理解和⽣成⽂本的任务，如图所⽰。

▲NLP的基本分类

⾃然语⾔的理解是个综合的系统⼯程，它⼜包含了很多细分学科，有代表声⾳的⾳系学，代表构词法的词态学,代表语句结构的句法学，代表理解的语义句法学和语⽤学。⾳系学：指代语⾔中发⾳的系统化组织。词态学：研究单词构成以及相互之间的关系。句法学：给定⽂本的哪部分是语法正确的。语义学：给定⽂本的含义是什么？语⽤学：⽂本的⽬的是什么？

语⾔理解涉及语⾔、语境和各种语⾔形式的学科。⽽⾃然语⾔⽣成（Natural Language Generation，NLG）恰恰相反，从结构化数据中以读取的⽅式⾃动⽣成⽂本。该过程主要包含三个阶段：⽂本规划：完成结构化数据中的基础内容规划语句规划：从结构化数据中组合语句来表达信息流实现：产⽣语法通顺的语句来表达⽂本2. NLP的研究任务

nlp 分词 命名实体识别 语义理解

摘要：

一、前言

二、NLP 简介

三、分词技术

四、命名实体识别

五、语义理解

六、总结

正文：

一、前言

自然语言处理（NLP）是人工智能领域中的一个重要分支，它研究如何让计算机理解、解析和生成人类的自然语言。随着互联网和大数据技术的发展，NLP 技术在我国得到了广泛应用，例如搜索引擎、智能客服、语音助手等。本文将对 NLP 中的分词、命名实体识别和语义理解等技术进行简要介绍。

二、NLP 简介

自然语言处理（NLP）是一种人工智能技术，旨在让计算机理解和处理人类的自然语言。NLP 包括许多子领域，如分词、词性标注、命名实体识别、语义理解、情感分析等。这些技术在搜索引擎、智能客服、语音助手等领域有着广泛的应用。

三、分词技术

分词是 NLP 的基本任务之一，它将连续的自然语言文本切分成有意义的词汇或短语。分词的目的是使计算机能够对文本进行句法分析和语义分析。目前常用的分词方法有基于字典的方法、基于统计的方法和基于机器学习的方法等。

四、命名实体识别

命名实体识别（NER）是 NLP 中的一个重要任务，它旨在识别文本中的实体，如人名、地名、组织名等。命名实体识别可以用于信息抽取、知识图谱构建等领域。常用的命名实体识别方法有基于字典的方法、基于统计的方法和基于深度学习的方法等。

五、语义理解

语义理解是 NLP 的终极目标之一，它指的是计算机能够理解文本中的语义信息。语义理解可以分为词汇层面、句子层面和篇章层面。目前，语义理解的研究方法主要有基于规则的方法、基于统计的方法和基于深度学习的方法等。

六、总结

自然语言处理（NLP）是一种人工智能技术，旨在让计算机理解和处理人类的自然语言。NLP 包括许多子领域，如分词、词性标注、命名实体识别、语义理解、情感分析等。这些技术在搜索引擎、智能客服、语音助手等领域有着广泛的应用。

⾃然语⾔处理之jieba分词

在所有⼈类语⾔中，⼀句话、⼀段⽂本、⼀篇⽂章都是有⼀个个的词组成的。词是包含独⽴意义的最⼩⽂本单

元，将长⽂本拆分成单个独⽴的词汇的过程叫做分词。分词之后，⽂本原本的语义将被拆分到在更加精细化的各个独

⽴词汇中，词汇的结构⽐长⽂本简单，对于计算机⽽⾔，更容易理解和分析，所以，分词往往是⾃然语⾔处理的第⼀

步。

对于英⽂⽂本，句⼦中的词汇可以通过空格很容易得进⾏划分，但是在我们中⽂中则不然，没有明显的划分标

志，所以需要通过专门的⽅法（算法）进⾏分词。在Python中，有多种库实现了各种⽅法⽀持中⽂分词，例如：

jieba、hanlp、pkuseg等。在本篇中，先来说说jieba分词。

1 四种模式分词

（1）精确模式：试图将句⼦最精确地切开，适合⽂本分析。精确分词模式对应的⽅法是jieba.cut，该⽅法接受四

个输⼊参数: 需要分词的字符串；cut_all 参数⽤来控制是否采⽤全模式，值为False时表⽰采⽤精确分词模式；HMM

参数⽤来控制是否使⽤ HMM 模型。

（2）全模式：把句⼦中所有的可以成词的词语都扫描出来，速度⾮常快，但是不能解决歧义。全模式同样是调⽤

jieba.cut⽅法实现，不过cut_all参数值设置为True。

（3）搜索引擎模式：在精确模式的基础上，对长词再词切分，提⾼召回率，适合⽤于搜索引擎分词。搜索引擎模

式对应的⽅法是jieba.cut_for_search。该⽅法接受两个参数：需要分词的字符串；是否使⽤ HMM 模型。该⽅法适合

⽤于搜索引擎构建倒排索引的分词，粒度⽐较细。

注意，待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输⼊ GBK 字符串，可

能⽆法预料地错误解码成 UTF-8。 另外，jieba.cut 以及 jieba.cut_for_search 返回的结构都是⼀个可迭代的

generator，可以使⽤ for 循环来获得分词后得到的每⼀个词语(unicode)，或者⽤jieba.lcut 以及 jieba.lcut_for_search

光环大数据--大数据培训&人工智能培训

光环大数据 自然语言处理之分词术_光环大数据培训 一个良好的分词系统应由词典和统计两套系统组成。后者为前者构造可持续更新的词典，识别新词，同时对消岐部分进行匹配。在分词过程中，好的词典很重要，其次算法要跟着需求走，不同需求选择不同算法，比如有些要求速度快，与兴趣相关，此时算法是次要的，而有些需求注重的是精度。 中文分词难点：未登录词和切分歧义。 中文分词算法大概分为两类：基于字符串匹配，集扫描字符串，若发现字符串的子串和词相同，就算匹配。例如mmseg正向最大匹配策略等。这类算法速度快，时间复杂度是0（n），实现简单，但是对歧义和未登录词处理效果不太明显。基于统计及机器学习的分词方式。这类分词基于人工标注的词性和统计特征，对中文进行建模。对标注好的预料进行训练。在分词阶段，通过模型计算各种分词出现的概率，概率最大的分词即为最终结果。常见模型如CRF、HMM。这类算法能很好的解决歧义和未登录问题，效果比前一类好，但是需要大量人工标注数据，分词速度较慢。基于神经网络的分词方式。这是未来的趋势，目前比较看好的模型是RNN循环神经网络，可以解决标注量的问题，但是可能存在分词速度慢的问题，后续将确认下。 现有方法：基于词典的匹配：前向最大匹配，后向最大匹配；基于字的标注：最大熵模型，条件随机场模型，感知器模型；其他方法：与词性标注集合，与句法分析结合。 常见分词工具(以下来自知乎，具体介绍将会在后学章节展开)： 1、mmseg。是我自己最喜欢的分词方法，简单、高效、实用、效果还不错。 光环大数据--大数据培训&人工智能培训

光环大数据 我给它起了个名字，叫做“3段回溯式方法”，即每次从一个完整的句子里，按照从左向右的顺序，识别出多种不同的3个词的组合；然后根据下面的4条消歧规则，确定最佳的备选词组合；选择备选词组合中的第1个词，作为1次迭代的分词结果；剩余的2个词继续进行下一轮的分词运算。采用这种办法的好处是，为传统的前向最大匹配算法加入了上下文信息，解决了其每次选词只考虑词本身，而忽视上下文相关词的问题。4条消歧规则包括， 1）备选词组合的长度之和最大。 2）备选词组合的平均词长最大； 3）备选词组合的词长变化最小； 4）备选词组合中，单字词的出现频率统计值最高。 2、CRF方法是目前公认的效果最好的分词算法。但，具体效果是否好，也依赖于你使用的训练模型。 3、我认识一个做搜索解决方案的朋友，他们公司提供了CRF和mmseg的开源实现。 4、其实还可以使用专业公司的解决方案，比如海量和中科院分词的收费版本，也花不了多少钱。集中精力找到你自己产品独特的价值所在。 5、最大熵模型 光环大数据--大数据培训&人工智能培训