中文分词基础件(基础版)使用说明书

bert base chinese 分词训练文件分词是自然语言处理中的一项基础任务，它将连续的文本字符串切分为一个个有意义的词语。

在中文自然语言处理中，由于缺乏明显的词语边界，分词任务显得尤为重要。

而BERT模型，作为一种预训练的语言表示模型，在中文分词任务中也取得了非常好的效果。

BERT Base Chinese是谷歌公司在预训练模型BERT中针对中文语言特点所提供的一种预训练模型。

它是基于未标记的大规模中文文本进行预训练得到的，可以用于各种中文自然语言处理任务。

其中，分词任务就是BERT模型在中文自然语言处理中的一项重要任务之一。

BERT Base Chinese的分词模型是通过在大规模中文文本中进行掩码预测任务来进行训练的。

具体而言，模型会将输入的文本进行分词，并将其中的一部分词语进行掩码处理。

然后，模型通过对掩码位置的词语进行预测，来学习到更好的词向量表示。

BERT Base Chinese的训练文件是在大规模的中文文本上训练得到的，其中包括了各种不同领域和主题的文本数据。

通过这些训练文件，BERT模型可以学习到丰富的语言表示，并且能够在中文分词任务中表现出较高的准确性和鲁棒性。

对于中文分词而言，BERT模型的预训练文件对分词的效果影响很大。

由于中文语言的复杂性和上下文的歧义性，一个好的分词模型需要能够准确地识别出不同词语之间的边界，并正确地切分文本。

BERT 模型通过学习大规模的中文文本，可以从中获取到更多的语言知识和规律，提高分词的准确性。

总结起来，BERT Base Chinese的分词模型是通过在大规模中文文本上训练得到的。

这个训练文件使得BERT模型能够学习到更好的中文语言表示，从而在中文分词任务中取得更好的效果。

中文分词是中文自然语言处理中的基础任务，对于BERT模型的应用来说，这个训练文件是它在中文分词任务中取得成功的重要因素之一。

中文分词入门之最大匹配法发表于2009年01月12号由52nlp中文分词在中文信息处理中是最最基础的，无论机器翻译亦或信息检索还是其他相关应用，如果涉及中文，都离不开中文分词，因此中文分词具有极高的地位。

中文分词入门最简单应该是最大匹配法了，当年师兄布置给我的第一个学习任务就是实现最大匹配法的分词算法（正向、逆向）。

记得当时对自己参考学习最有帮助的是北大詹卫东老师“中文信息处理基础”的课件和源程序，不过他实现的是mfc程序，词表存储在数据库里。

自己实现时用纯c++实现，利用hash_map 存储词表。

这里我介绍一下相关的知识和一个简单的程序示例，部分参考自詹老师的讲义。

正向最大匹配法算法如下所示：（注：以上最大匹配算法图来自于詹老师讲义）逆向匹配法思想与正向一样，只是从右向左切分，这里举一个例子：输入例句：S1=”计算语言学课程有意思” ；定义：最大词长MaxLen = 5；S2= ” “；分隔符= “/”；假设存在词表：…，计算语言学，课程，意思，…；最大逆向匹配分词算法过程如下：（1）S2=”"；S1不为空，从S1右边取出候选子串W=”课程有意思”；（2）查词表，W不在词表中，将W最左边一个字去掉，得到W=”程有意思”；（3）查词表，W不在词表中，将W最左边一个字去掉，得到W=”有意思”；（4）查词表，W不在词表中，将W最左边一个字去掉，得到W=”意思”（5）查词表，“意思”在词表中，将W加入到S2中，S2=” 意思/”，并将W从S1中去掉，此时S1=”计算语言学课程有”；（6）S1不为空，于是从S1左边取出候选子串W=”言学课程有”；（7）查词表，W不在词表中，将W最左边一个字去掉，得到W=”学课程有”；（8）查词表，W不在词表中，将W最左边一个字去掉，得到W=”课程有”；（9）查词表，W不在词表中，将W最左边一个字去掉，得到W=”程有”；（10）查词表，W不在词表中，将W最左边一个字去掉，得到W=”有”，这W是单字，将W 加入到S2中，S2=“ /有/意思”，并将W从S1中去掉，此时S1=”计算语言学课程”；（11）S1不为空，于是从S1左边取出候选子串W=”语言学课程”；（12）查词表，W不在词表中，将W最左边一个字去掉，得到W=”言学课程”；（13）查词表，W不在词表中，将W最左边一个字去掉，得到W=”学课程”；（14）查词表，W不在词表中，将W最左边一个字去掉，得到W=”课程”；（15）查词表，“意思”在词表中，将W加入到S2中，S2=“课程/ 有/ 意思/”，并将W从S1中去掉，此时S1=”计算语言学”；（16）S1不为空，于是从S1左边取出候选子串W=”计算语言学”；（17）查词表，“计算语言学”在词表中，将W加入到S2中，S2=“计算语言学/ 课程/ 有/ 意思/”，并将W从S1中去掉，此时S1=”"；（18）S1为空，输出S2作为分词结果，分词过程结束。

中文分词器的作用-概述说明以及解释1.引言1.1 概述引言部分是文章的开头部分，用于介绍文章的背景和目的。

在中文分词器的作用这篇长文中，引言部分应该包括以下几个方面：1. 介绍中文分词的重要性和普遍存在的问题：中文是一种字符没有明确分隔的语言，而语义的理解和信息处理往往需要将连续的字符序列切分为有意义的词语单位。

因此，中文分词是自然语言处理中一个重要而困难的问题。

2. 概述中文分词器的概念和基本原理：中文分词器是一种通过算法和模型来自动识别和提取中文文本中的词语的工具。

它基于中文语言的特点，通过各种分词规则、字典和统计模型等方法，将连续的中文字符序列切分为有意义的词语。

中文分词器在自然语言处理、信息检索、文本挖掘等领域具有重要的应用价值。

3. 阐述中文分词器的作用和价值：中文分词器的作用不仅仅是简单地将字符序列切分为词语，更重要的是通过合理的分词可以提高其他自然语言处理任务的准确性和效率。

它为文本预处理、信息提取、机器翻译、搜索引擎等应用提供了基础支持，同时也为语言学研究和中文语言处理技术的发展做出了重要贡献。

最后，引言部分的目的是引起读者的兴趣，使其了解中文分词器的概念和作用，并引出全文所要讨论的内容和结论。

同时，还可以提出一些问题或观点，为接下来的正文部分做好铺垫。

文章结构部分的内容可以写成这样：1.2 文章结构本文主要分为三个部分进行讨论，每个部分涵盖了具体的主题和内容。

以下是对这三个部分的简要描述：1. 引言：首先介绍了本文的主题和重要性，包括对整个文章内容的概述、结构和目的的阐述。

2. 正文：本部分将对中文分词器进行详细的介绍和分析。

首先会讲解什么是中文分词器，对其进行定义和解释，以帮助读者对主题有一个基本的了解。

接着，将深入探讨中文分词器的作用，包括其在自然语言处理中的重要性和应用，以及对于语义分析、信息检索、机器翻译等领域的影响。

通过具体案例和实际应用，展示中文分词器在提高语言处理效率和准确性方面的作用和优势。

一、为什么要进行中文分词？词是最小的能够独立活动的有意义的语言成分，英文单词之间是以空格作为自然分界符的，而汉语是以字为基本的书写单位，词语之间没有明显的区分标记，因此，中文词语分析是中文信息处理的基础与关键。

Lucene中对中文的处理是基于自动切分的单字切分，或者二元切分。

除此之外，还有最大切分（包括向前、向后、以及前后相结合）、最少切分、全切分等等。

二、中文分词技术的分类我们讨论的分词算法可分为三大类：基于字典、词库匹配的分词方法；基于词频度统计的分词方法和基于知识理解的分词方法。

第一类方法应用词典匹配、汉语词法或其它汉语语言知识进行分词，如：最大匹配法、最小分词方法等。

这类方法简单、分词效率较高,但汉语语言现象复杂丰富，词典的完备性、规则的一致性等问题使其难以适应开放的大规模文本的分词处理。

第二类基于统计的分词方法则基于字和词的统计信息，如把相邻字间的信息、词频及相应的共现信息等应用于分词，由于这些信息是通过调查真实语料而取得的，因而基于统计的分词方法具有较好的实用性。

下面简要介绍几种常用方法:1）．逐词遍历法。

逐词遍历法将词典中的所有词按由长到短的顺序在文章中逐字搜索,直至文章结束。

也就是说,不管文章有多短,词典有多大,都要将词典遍历一遍。

这种方法效率比较低，大一点的系统一般都不使用。

2）．基于字典、词库匹配的分词方法（机械分词法）这种方法按照一定策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功。

识别出一个词，根据扫描方向的不同分为正向匹配和逆向匹配。

根据不同长度优先匹配的情况，分为最大（最长）匹配和最小（最短）匹配。

根据与词性标注过程是否相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。

常用的方法如下：（一）最大正向匹配法 (ＭａｘｉｍｕｍＭａｔｃｈｉｎｇＭｅｔｈｏｄ)通常简称为ＭＭ法。

其基本思想为：假定分词词典中的最长词有i个汉字字符，则用被处理文档的当前字串中的前i个字作为匹配字段，查找字典。

分词技术文档说明一.基本介绍1.分词技术就是搜索引擎针对用户提交查询的关键词串进行的查询处理后根据用户的关键词串用各种匹配方法进行分词的一种技术。

2.数据处理我们要理解分词技术先要理解一个概念。

那就是查询处理，当用户向搜索引擎提交查询后，搜索引擎接收到用户的信息要做一系列的处理。

步骤如下所示：(1).首先是到数据库里面索引相关的信息，这就是查询处理。

那么查询处理又是如何工作的呢？很简单，把用户提交的字符串没有超过3个的中文字，就会直接到数据库索引词汇。

超过4个中文字的，首先用分隔符比如空格，标点符号，将查询串分割成若干子查询串。

举个例子。

“什么是百度分词技术”我们就会把这个词分割成“什么是，百度，分词技术。

”这种分词方法叫做反向匹配法。

(2).然后再看用户提供的这个词有没有重复词汇如果有的话，会丢弃掉，默认为一个词汇。

接下来检查用户提交的字符串，有没有字母和数字。

如果有的话，就把字母和数字认为一个词。

这就是搜索引擎的查询处理。

3.分词原理（1）.正向最大匹配法就是把一个词从左至右来分词。

举个例子：”不知道你在说什么”这句话采用正向最大匹配法是如何分的呢？“不知道，你，在，说什么”。

（2）.反向最大匹配法"不知道你在说什么"反向最大匹配法来分上面这段是如何分的。

“不，知道，你在，说，什么”，这个就分的比较多了，反向最大匹配法就是从右至左。

（3）.就是最短路径分词法。

就是说一段话里面要求切出的词数是最少的。

“不知道你在说什么”最短路径分词法就是指，把上面那句话分成的词要是最少的。

“不知道，你在，说什么”，这就是最短路径分词法，分出来就只有3个词了。

（4）.双向最大匹配法。

而有一种特殊的情况，就是关键词前后组合内容被认为粘性相差不大，而搜索结果中也同时包含这两组词的话，百度会进行正反向同时进行分词匹配。

二.技术说明Lucene是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎ik ：采用了特有的“正向迭代最细粒度切分算法“，多子处理器分析模式。

B 142 I 144榫 B 2觚 B 1萋 B 2 I 8钮 B 4 I 7…msr_ngram 则是标记本身 之间的共现频率，形式如B 2368391I 168205617383686918B B 1027319I B 1254154B 86017I I 427001B I 1255055B 86918I 90186918…注 由于没 尖括 在Wordpress 中被 蔽， 内容 误，谢谢读者bflout的提醒， msr_ngram:1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 B 2368391I 1682056<START> 173836<END> 86918B B 1027319I B 1254154B <END> 86017I I 427001B I 1255055<START> B 86918I <END> 901<START> <START> 86918B I B 1039293B B B 408801I I <END> 285B B <END> 18403B I I 215146<START> B I 60460I I B 214861./Character2word.pl -i msr_test.hmmtagging.utf8 -o msr_test.hmmseg.utf8 msr_test.hmmseg.utf8既是最 的 词结果， 形式如帆 东做 中 合 的先行希腊的经济结构较特 沔…当然， 个 标注中文 词的结果好坏 需要利用SIGHAN Bakeoff的score 行评../icwb2-data/scripts/score ../icwb2-data/gold/msr_training_words.utf 8 msr_test_gold.utf8 msr_test.hmmseg.utf8 > msr_hmmseg.score最 的评 结果在msr_hmmseg.score中，总的评 如…=== SUMMARY:=== TOTAL INSERTIONS: 10304=== TOTAL DELETIONS: 7030=== TOTAL SUBSTITUTIONS: 30727=== TOTAL NCHANGE: 48061=== TOTAL TRUE WORD COUNT: 106873=== TOTAL TEST WORD COUNT: 110147=== TOTAL TRUE WORDS RECALL: 0.647=== TOTAL TEST WORDS PRECISION: 0.627=== F MEASURE: 0.637=== OOV Rate: 0.026=== OOV Recall Rate: 0.181=== IV Recall Rate: 0.659### msr_test.hmmseg.utf8 10304 7030 30727 48061 106873 110147 0.647 0.627 0.637 0.026 0.181 0.659结果 忍睹， 过没关系， 要的是思想，当你明白了如何 行 标注中文 词的 计和操 之 ，可 做得改 很多，譬如增 标记集，修改 Citar中 合适的未登录词处理方法，甚 采用 他模型等等等等沔 ，52nlp 在合适的时候 绍一 最大熵模型和条件随机场在中文 词中的 用， 迎继续关注本博 ！23 24 25 26 27 print "Please use: python character_split.py input output"sys.exit()input_file = sys.argv[1]output_file = sys.argv[2]character_split(input_file, output_file)执行毐py吧h欢次 化ha严a化吧优严_否p速i吧.py i化太b该-data/testing/msr_test.utf8 造否严_吧优否吧.否p速i吧.吨吧伙8毑即可得到可用于标注测试的测试语料msr_test.split.utf8， 例如1 2 3 4 5 6 7 8 9 10 帆 东 做 中 合 的 先 行希 腊 的 经 济 结 构 较 特 沔 海 业 雄 踞 全 球 之 首 ， 按 计 占 世 界 总 数 的 ７ ％ 沔 外 旅 游 沓 侨 汇 是 经 济 收 入 的 要 部 ， 制 业 规 模 相 对 较 小 沔 多 来 ， 中 希 贸 易 始 处 于 较 的 水 ， 希 腊 几 乎 没 在 中 投 资 沔 十 几 来 ， 改 革 开 放 的 中 经 济 高 发 展 ， 东 在 崛 起 沔 瓦 西 的 船 只 中 ４ ％ 驶 向 东 ， 个 几 乎 都 条 船 停 靠 中 港 口 沔 他 感 到 了 中 经 济 发 展 的 大 潮 沔 他 要 中 人 合 沔他 来 到 中 ， 第 一 个 华 的 大 船 沔现在执行最大熵标注脚本即可得到 标注结果./maxent-master/example/postagger/maxent_tagger.py -m msr_tagger.model msr_test.split.utf8 > msr_test.split.tag.utf8msr_test.split.tag.utf8即是标注结果， 例如1 2 3 4 5 6 7 8 9 10 /B 帆/M /M 东/M 做/E /S 中/B /E 合/B /E 的/S 先/B 行/E希/B 腊/E 的/S 经/B 济/E 结/B 构/E 较/S 特/B /E 沔/S海/B /M 业/E 雄/B 踞/E 全/B 球/E 之/S 首/S ，/S 按/S /B /E 计/B 占/E 世/B 界/E 总/B 数/E 的/S /B ７/M ％/E 沔/S/B 外/E 旅/B 游/E 沓/S 侨/B 汇/E /B 是/E 经/B 济/E 收/B 入/E 的/S /B 要/E /B /M 部/M /E ，/S 制/B /M 业/E 规/B 模/E 相/B 对/E 较/B 小/E 沔/S 多/B /E 来/S ，/S 中/S 希/S 贸/B 易/E 始/B /E 处/B 于/E 较/B /E 的/S 水/B /E ，/S 希/B 腊/E 几/B 乎/E 没/B /E 在/S 中/B /E 投/B 资/E 沔/S十/B 几/M /E 来/S ，/S 改/B 革/M 开/M 放/E 的/S 中/B /E 经/B 济/E 高/B /E 发/B 展/E ，/S /B 东/E 在/S 崛/B 起/E 沔/S瓦/B 西/M /M /E 的/S 船/B 只/E 中/S /S ４/B /M ％/E 驶/S 向/S /B 东/E ，/S /B 个/M /E 几/B 乎/E 都/S /S /S /S 条/S 船/S 停/S 靠/S 中/B /M 港/M 口/E 沔/S他/S 感/B /E 到/S 了/S 中/B /E 经/B 济/E 发/B 展/E 的/S 大/B 潮/E 沔/S38 39output_file = sys.argv[2]character_2_word(input_file, output_file)执行毐py吧h欢次 化ha严a化吧优严_该_太欢严北.py 造否严_吧优否吧.否p速i吧.吧a会.吨吧伙8 造否严_吧优否吧.否p速i吧.吧a会该太欢严北.吨吧伙8毑 即可得到合并 的 词结果msr_test.split.tag2word.utf8， 例如1 2 3 4 5 6 7 8 9 10 帆 东做 中 合 的先行希腊的经济结构较特 沔海 业雄踞全球之首，按 计占世界总数的 ７％沔外旅游沓侨汇 是经济收入的 要 部 ，制 业规模相对较小沔多 来，中希贸易始 处于较 的水 ，希腊几乎没 在中 投资沔十几 来，改革开放的中 经济高 发展， 东在崛起沔瓦西 的船只中 ４ ％驶向 东， 个 几乎都 条船停靠中 港口沔他感 到了中 经济发展的大潮沔他要 中 人合 沔他来到中 ， 第一个 华的大船 沔了 个 标注 词结果， 们就可 利用backoff2005的测试脚本来测一 词的效果了./icwb2-data/scripts/score ./icwb2-data/gold/msr_training_words.utf8 ./icwb2-data/gold/msr_test_gold.utf8 msr_test.split.tag2word.utf8 > msr_maxent_segment.score结果如=== SUMMARY:=== TOTAL INSERTIONS: 5343=== TOTAL DELETIONS: 4549=== TOTAL SUBSTITUTIONS: 12661=== TOTAL NCHANGE: 22553=== TOTAL TRUE WORD COUNT: 106873=== TOTAL TEST WORD COUNT: 107667=== TOTAL TRUE WORDS RECALL: 0.839=== TOTAL TEST WORDS PRECISION: 0.833=== F MEASURE: 0.836=== OOV Rate: 0.026=== OOV Recall Rate: 0.565=== IV Recall Rate: 0.846### msr_test.split.tag2word.utf8 5343 4549 12661 22553 106873 107667 0.839 0.833 0.836 0.026 0.565 0.846了 4个文件， 们可 做得 情就 较简单，只要按测试集，训 集的格式准备数据就可 了，特征模板和执行脚本可 套用， 过 简单解读一 几个CRF++文件沔首先来看训 集1 2 3 4 5 6 7 8 9 10 k B日 k Ik I聞 k I社 k I特 k B別 k I顧 k B問 k I４ n B第一列是待 词的日文 ，第 列暂且认 是词性标记，第 列是 标注中的2-tag(B, I)标记， 个很 要，对于 们需要准备的训 集， 要是把 一列的标记做好， 过需要注意的是， 断 是靠空行来完 的沔再来看测试集的格式1 2 3 4 5 6 7 8 9 10 よ h Iっ h Iて h I私 k Bた h Bち h Iの h B世 k Bk Iが h B3列，第一列是日文 ，第 列第 列 面是相似的， 过在测试集 第 列 要是占 用沔 实 ，CRF++对于训 集和测试集文件格式 的要求是 较灵活的，首先需要多列，但 能 一 ，既在一个文件 的行是 列， 的行是 列 第一列 表的是需要标注的毐 或词毑，最 一列是输出 毑标记吧a会毑，如果 额外的特征，例如词性什 的，可 到中间列 ，所 训 集或者测试集的文件最少要 列沔接 们再来 的 析一 特征模板文件1 2 3 4 # UnigramU00:%x[-2,0]U01:%x[-1,0]U02:%x[0,0]CRF++ 将特征 种类型，一种是Unigram 的，毐月毑起头， 外一种是Bigram 的，毐B毑起头沔对于Unigram 的特征，假如一个特征模板是毑月代令闭还x后-令,代成毐, CRF++ 自动的生 一 特征函数进伙吨次化令 … 伙吨次化N远 集合:1 2 3 4 5 func1 = if (output = B and feature="U01:日") return 1 else return 0func2 = if (output = I and feature="U01:日") return 1 else return 0....funcXX = if (output = B and feature="U01:問") return 1 else return 0funcXY = if (output = I and feature="U01:問") return 1 else return 0生 的特征函数的数目 = (L * N)， 中L 是输出的类型的个数， 是B ，I 个tag ，N 是通过模板扩展出来的所 单个 符串(特征 的个数， 指的是在 描所 训 集的过程中找到的日文 特征 沔而Bigram 特征 要是当前的token 和前面一个 置token 的自动 合生 的bigram 特征集合沔最 需要注意的是U01和U02 标 志 ， 特征token 合到一起 要是区 毐月代令闭問毑和毐月代该闭問毑 类特征，虽然抽 的日文毑 毑特征是一 的，但是在CRF++中 是 区别 的特征沔最 们再来看一 执行脚本1 2 3 4 5 6 7 #!/bin/sh../../crf_learn -f 3 -c 4.0 template train.data model../../crf_test -m model test.data../../crf_learn -a MIRA -f 3 template train.data model../../crf_test -m model test.datarm -f model执行脚本告诉了 们如何训 一个CRF 模型， 如何利用 个模型来 行测试，执行 个脚本之 ，对于输入的测试集，输出结果多了一列1 2 3 4 5 6 7 8 9 10 よ h I Bっ h I Iて h I B私 k B Bた h B Bち h I Iの h B B世 k B Bk I Iが h B B15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 word_list = line.strip().split()for word in word_list:if len(word) == 1:output_data.write(word + "\tS\n")else:output_data.write(word[0] + "\tB\n")for w in word[1:len(word)-1]:output_data.write(w + "\tM\n")output_data.write(word[len(word)-1] + "\tE\n")output_data.write("\n")input_data.close()output_data.close()if __name__ == '__main__':if len(sys.argv) != 3:print "pls use: python make_crf_train_data.py input output"sys.exit()input_file = sys.argv[1]output_file = sys.argv[2]character_tagging(input_file, output_file)只需要执行毐py吧h欢次make_crf_train_data.py ./icwb2-data/training/msr_training.utf8 造否严_吧严ai次i次会.吧a会会i次会4化严伙.吨吧伙8毑 即可得到CRF++要求的格式的训 文件msr_training.tagging4crf.utf8， 例如1 2 3 4 5 6 7 8 9 10 11 “ S人 B们 E常 S说 S生 B活 E是 S一 S部 S...了 份训 语料，就可 利用crf 的训 工 crf_learn 来训 模型了，执行如 命 即可crf_learn -f 3 -c 4.0 template msr_training.tagging4crf.utf8 crf_model 训 的时间稍微 长，在 的4G 内 的mac pro 跑了将 700 ，大 2个小时，最 训 的crf_model 51M 沔 了模型，现在 们需要做得 是7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38import codecsimport sysdef character_2_word(input_file, output_file):input_data = codecs.open(input_file, 'r', 'utf-8')output_data = codecs.open(output_file, 'w', 'utf-8')for line in input_data.readlines():if line == "\n":output_data.write("\n")else:char_tag_pair = line.strip().split('\t')char = char_tag_pair[0]tag = char_tag_pair[2]if tag == 'B':output_data.write(' ' + char)elif tag == 'M':output_data.write(char)elif tag == 'E':output_data.write(char + ' ')else: # tag == 'S'output_data.write(' ' + char + ' ')input_data.close()output_data.close()if __name__ == '__main__':if len(sys.argv) != 3:print "pls use: python crf_data_2_word.py input output"sys.exit()input_file = sys.argv[1]output_file = sys.argv[2]character_2_word(input_file, output_file)只需执行毐py吧h欢次 化严伙_北a吧a_该_太欢严北.py 造否严_吧优否吧4化严伙.吧a会.吨吧伙8造否严_吧优否吧4化严伙.吧a会该太欢严北.吨吧伙8毑 即可得到合并 的 词结果文件msr_test4crf.tag2word.utf8， 例如1 2 3 4 5 6 7 帆 东 做 中 合 的 先行希腊 的 经济 结构 较 特 沔海 业 雄踞 全球 之 首 ， 按 计 占 世界 总数 的 ７％ 沔 外 旅游 沓 侨汇 是 经济 收入 的 要 部 ， 制 业 规模 相对 较小 沔多 来 ， 中 希 贸易 始 处于 较 的 水 ， 希腊 几乎 没 在 中 投资 沔7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 # 4 tags for character tagging: B(Begin), E(End), M(Middle), S(Single)import codecsimport sysimport CRFPPdef crf_segmenter(input_file, output_file, tagger):input_data = codecs.open(input_file, 'r', 'utf-8')output_data = codecs.open(output_file, 'w', 'utf-8')for line in input_data.readlines():tagger.clear()for word in line.strip():word = word.strip()if word:tagger.add((word + "\to\tB").encode('utf-8'))tagger.parse()size = tagger.size()xsize = tagger.xsize()for i in range(0, size):for j in range(0, xsize):char = tagger.x(i, j).decode('utf-8')tag = tagger.y2(i)if tag == 'B':output_data.write(' ' + char)elif tag == 'M':output_data.write(char)elif tag == 'E':output_data.write(char + ' ')else: # tag == 'S'output_data.write(' ' + char + ' ')output_data.write('\n')input_data.close()output_data.close()if __name__ == '__main__':if len(sys.argv) != 4:print "pls use: python crf_segmenter.py model input output"sys.exit()crf_model = sys.argv[1]input_file = sys.argv[2]output_file = sys.argv[3]tagger = CRFPP.Tagger("-m " + crf_model)crf_segmenter(input_file, output_file, tagger)。

jieba分词用法一、jieba简介jieba是一个非常优秀的中文分词工具库，支持Python2和Python3，可以快速准确地实现中文分词。

在自然语言处理领域，分词是基础又关键的一步，jieba 分词能够满足绝大多数场景的使用需求。

二、jieba安装要使用jieba，首先需要在Python环境中安装它。

可以通过以下命令使用pip安装jieba：```shellpipinstalljieba```1.安装完jieba后，可以在Python代码中导入它：```pythonimportjieba```2.使用jieba进行分词，可以直接对一个句子或字符串进行分词，也可以对文件中的文本进行分词。

以下是一些基本用法示例：```python#示例1：对单个句子进行分词sentence="我是一只小小鸟，想要飞呀飞"seg_list=jieba.cut(sentence)#使用默认的分词模式进行分词print("DefaultMode:"+"/".join(seg_list))#输出分词结果#示例2：对文件中的文本进行分词withopen("example.txt","r",encoding="utf-8")asf:content=f.read()seg_list=jieba.cut(content)#使用默认的分词模式进行分词，并使用停用词列表进行过滤print("FilteredMode:"+"/".join(seg_list))#输出过滤后的分词结果```默认的分词模式会使用jieba自带的停用词列表进行过滤，如果你希望使用自己的停用词列表，可以将它作为参数传递给`cut`函数。

另外，jieba还支持多种分词模式，如精确模式、搜索引擎模式和全模式等，可以根据实际需求选择合适的模式。

课时：2课时教学目标：1. 理解中文分词的基本概念和意义。

2. 掌握中文分词的方法和技巧。

3. 能够运用中文分词工具进行实际操作。

教学重点：1. 中文分词的基本概念和方法。

2. 中文分词工具的使用。

教学难点：1. 中文分词的技巧和策略。

2. 中文分词工具的灵活运用。

教学准备：1. 多媒体课件。

2. 中文分词工具（如：jieba、ICTCLAS等）。

3. 实例文本。

教学过程：第一课时：一、导入1. 提问：什么是中文分词？2. 学生回答，教师总结。

二、中文分词的基本概念1. 介绍中文分词的定义、意义和作用。

2. 讲解中文分词的分类：最大匹配法、最小匹配法、双向匹配法等。

三、中文分词的方法和技巧1. 介绍最大匹配法、最小匹配法、双向匹配法等方法的原理和特点。

2. 通过实例讲解如何运用这些方法进行中文分词。

四、中文分词工具的使用1. 介绍常用的中文分词工具（如：jieba、ICTCLAS等）。

2. 演示如何使用这些工具进行中文分词。

五、课堂练习1. 学生分组，每组选择一篇实例文本进行中文分词。

2. 各组汇报结果，教师点评。

第二课时：一、复习上节课内容1. 提问：上节课我们学习了哪些中文分词的方法和技巧？2. 学生回答，教师总结。

二、中文分词的技巧和策略1. 讲解如何提高中文分词的准确性。

2. 分析不同场景下的中文分词策略。

三、中文分词工具的灵活运用1. 讲解如何根据实际需求选择合适的中文分词工具。

2. 通过实例演示如何调整工具参数，以达到最佳分词效果。

四、课堂练习1. 学生分组，每组选择一篇实际文本进行中文分词。

2. 各组汇报结果，教师点评。

五、总结1. 总结本节课所学内容。

2. 强调中文分词在实际应用中的重要性。

教学反思：1. 本节课是否达到了教学目标？2. 学生是否掌握了中文分词的基本概念、方法和技巧？3. 如何改进教学，提高教学效果？教学评价：1. 学生对中文分词的理解程度。

2. 学生运用中文分词工具进行实际操作的能力。

hanlp 中文分词
（原创实用版）
目录
1.汉 LP 的中文分词介绍
2.汉 LP 的中文分词原理
3.汉 LP 的中文分词应用领域
4.汉 LP 的中文分词的优点和不足
正文
汉 LP 的中文分词是一种基于人工智能的中文文本处理技术。

汉 LP，全称“汉字语言处理”，是一款由我国清华大学 KEG 实验室研发的开源的中文自然语言处理工具包。

其分词功能，可以将中文文本切分成有独立意义的词汇或短语，为后续的文本分析和处理提供了基础。

汉 LP 的中文分词原理主要是基于词频统计和机器学习算法。

首先，它会通过大量的语料库进行学习，分析词汇在文本中出现的频率和规律，然后建立一个模型，用以预测文本中的词汇边界。

当给定一段中文文本时，汉 LP 的分词模型会根据学习到的规律，将文本切分成有意义的词汇或短语。

汉 LP 的中文分词技术应用广泛，可以用于诸如文本分类、情感分析、信息检索、机器翻译等自然语言处理任务。

以文本分类为例，通过汉 LP 分词，可以将文本切分成有意义的词汇或短语，再进行特征提取和模型训练，最终实现文本的准确分类。

虽然汉 LP 的中文分词功能强大，但也存在一些优点和不足。

优点在于，其分词效果较好，可以准确识别出文本中的词汇边界，且开源免费，易于使用和二次开发。

不足之处在于，由于中文没有明确的词汇边界，导致其在处理一些特殊情况（如新词、歧义词等）时，效果可能不尽如人意。

此外，汉 LP 的分词速度相对较慢，对于大规模的文本处理任务，可能需
要较长的时间。

中文词汇构成手册(完美梳理)中文词汇构成手册（完美梳理）引言中文词汇构成手册旨在为中文学习者提供一份全面的词汇构成指南，涵盖了中文词汇的构成规律和特点。

本手册内容丰富，结构清晰，通过系统地梳理和分析中文词汇的构成，帮助学习者更好地理解和掌握中文词汇的构成规律，提高中文运用能力。

中文词汇构成概述中文词汇主要由汉字组成，每个汉字都有其独特的读音、意义和书写形式。

中文词汇的构成主要通过以下几种方式：1. 单一汉字：即单个汉字独立构成的词汇，如“人”、“山”、“水”等。

2. 复合词汇：由两个或更多个汉字组合而成的词汇，如“学校”、“手机”、“电视”等。

3. 派生词汇：通过在词根前后加上前缀或后缀来构成的词汇，如“好”、“高兴”、“快乐”等。

4. 词组：由两个或更多个词汇组合而成，具有一定的意义，如“桌子”、“学校”、“电影”等。

汉字构成规律1. 拼音：汉字的读音由声母、韵母和声调组成。

声母表示汉字的初始音，韵母表示汉字的尾音，声调表示汉字的音高。

2. 部首：汉字的部首是汉字构成的重要部分，部首的存在有助于汉字的归类和记忆。

大部分汉字都包含一个或多个部首。

3. 笔画：汉字的笔画是构成汉字的基本元素，包括横、竖、撇、捺、折等。

汉字的笔画数不同，其形态和意义也有所区别。

4. 结构：汉字的结构是指汉字的书写顺序和布局。

常见的汉字结构有左右结构、上下结构、包围结构等。

词汇构成特点1. 语音特点：中文词汇的语音特点主要体现在声调和韵母上，不同的声调和韵母组合产生不同的意义。

2. 语法特点：中文词汇的语法特点主要体现在词汇的组合和变化上，如词组的构成、派生词汇的生成等。

3. 语义特点：中文词汇的语义特点主要体现在词汇的内涵和外延上，同一个汉字在不同的词汇中可能具有不同的意义。

4. 文化特点：中文词汇的文化特点主要体现在词汇的来源和寓意上，很多词汇都蕴含着丰富的文化内涵。

学习建议1. 掌握汉字的基本读音、书写和部首，为词汇学习打下基础。

课时安排：2课时教学目标：1. 让学生了解中文分词的基本概念和重要性。

2. 培养学生运用中文分词工具进行文本处理的能力。

3. 提高学生对于中文信息处理的敏感度和准确性。

教学重点：1. 中文分词的基本概念和原理。

2. 常用中文分词工具的使用方法。

3. 实际文本处理中的分词技巧。

教学难点：1. 理解中文分词的复杂性和多样性。

2. 掌握不同分词工具的优缺点和应用场景。

教学准备：1. 教学课件或黑板。

2. 中文分词工具（如：jieba、HanLP等）。

3. 实际文本资料。

教学过程：第一课时一、导入1. 教师简要介绍中文分词的概念和重要性，激发学生学习兴趣。

2. 学生讨论：为什么中文分词在自然语言处理中如此重要？二、基本概念1. 教师讲解中文分词的基本概念，包括分词、未分词、分词效果等。

2. 学生通过实例理解分词的意义和作用。

三、分词原理1. 教师介绍中文分词的原理，包括基于规则、基于统计和基于深度学习等方法。

2. 学生了解不同分词方法的优缺点。

四、分词工具1. 教师演示常用中文分词工具（如：jieba、HanLP）的使用方法。

2. 学生跟随教师操作，初步掌握分词工具的使用。

五、课堂练习1. 学生运用所学知识，对提供的文本进行分词练习。

2. 教师指导学生解决分词过程中遇到的问题。

第二课时一、复习1. 教师回顾上一节课的重点内容，检查学生对中文分词的理解程度。

2. 学生提出疑问，教师解答。

二、分词技巧1. 教师讲解实际文本处理中的分词技巧，如：处理停用词、标点符号等。

2. 学生通过实例学习如何处理复杂文本的分词问题。

三、实战演练1. 教师提供实际文本资料，让学生运用所学知识和分词工具进行分词练习。

2. 教师巡视指导，解答学生在分词过程中遇到的问题。

四、总结1. 教师总结本节课的学习内容，强调中文分词的重要性和实际应用。

2. 学生分享自己的学习心得，提出对中文分词的见解。

教学评价：1. 课堂参与度：观察学生在课堂上的发言和练习情况。

普通话三千常用词表.增订本-概述说明以及解释1.引言1.1 概述在撰写《普通话三千常用词表.增订本》一文中，引言部分起到了引领读者进入全文的作用。

在这一部分，我们将对整篇文章进行概述，介绍文章的结构和目的。

普通话作为汉语的标准语言，是中华人民共和国的官方语言。

而掌握大量的常用词汇是学习和运用普通话的基础。

因此，编制一份包含常用词汇的词表对于提升普通话水平和外语学习都具有重要意义。

本文《普通话三千常用词表.增订本》旨在对现有的常用词表进行扩充和增订，以满足语言学习者和普通话爱好者的需求。

在正文部分，我们将详细介绍常用词表的编制原则，以确保词表的准确性和实用性。

同时，我们将提供一份全新的、包含三千个常用词汇的增订版本，帮助读者更好地掌握普通话。

本文的结构分为引言、正文和结论三个部分。

引言部分是全文的开篇，通过对文章内容的总览，引导读者了解该词表编制的重要性和本文的目的。

正文部分将详细阐述常用词表的介绍以及编制原则，为读者提供一个全面而系统的了解。

结论部分则对全文进行总结，并展望未来对于普通话词表编制的发展方向。

通过本文的阅读，读者将能够更加深入地了解普通话三千常用词表的增订版本，并在日常生活和学习中更好地运用普通话。

我们希望本文能够成为读者学习普通话的有益参考，提升大家对普通话的熟练度和运用能力。

【1.2 文章结构】本文主要包括引言、正文和结论三个部分。

引言部分将对“普通话三千常用词表.增订本”这一话题进行概述，介绍文章的结构和目的。

正文部分则分为两个小节，分别是常用词表介绍和常用词表的编制原则。

在常用词表介绍部分，将对普通话三千常用词表进行详细的介绍，包括该词表的来源、内容以及使用方法等方面。

而在常用词表的编制原则部分，将探讨制定这一词表的基本原则以及考虑因素，以给读者一个清晰的认识。

最后，在结论部分，将对全文进行总结，概括文章内容的要点，并展望普通话三千常用词表的未来发展方向。

通过以上的文章结构，读者能够全面了解本文的内容安排，从而更好地阅读和理解普通话三千常用词表.增订本相关内容。

分词技术文档说明一.基本介绍1.分词技术就是搜索引擎针对用户提交查询的关键词串进行的查询处理后根据用户的关键词串用各种匹配方法进行分词的一种技术。

2.数据处理我们要理解分词技术先要理解一个概念。

那就是查询处理，当用户向搜索引擎提交查询后，搜索引擎接收到用户的信息要做一系列的处理。

步骤如下所示：(1).首先是到数据库里面索引相关的信息，这就是查询处理。

那么查询处理又是如何工作的呢？很简单，把用户提交的字符串没有超过3个的中文字，就会直接到数据库索引词汇。

超过4个中文字的，首先用分隔符比如空格，标点符号，将查询串分割成若干子查询串。

举个例子。

“什么是百度分词技术”我们就会把这个词分割成“什么是，百度，分词技术。

”这种分词方法叫做反向匹配法。

(2).然后再看用户提供的这个词有没有重复词汇如果有的话，会丢弃掉，默认为一个词汇。

接下来检查用户提交的字符串，有没有字母和数字。

如果有的话，就把字母和数字认为一个词。

这就是搜索引擎的查询处理。

3.分词原理（1）.正向最大匹配法就是把一个词从左至右来分词。

举个例子：”不知道你在说什么”这句话采用正向最大匹配法是如何分的呢？“不知道，你，在，说什么”。

（2）.反向最大匹配法"不知道你在说什么"反向最大匹配法来分上面这段是如何分的。

“不，知道，你在，说，什么”，这个就分的比较多了，反向最大匹配法就是从右至左。

（3）.就是最短路径分词法。

就是说一段话里面要求切出的词数是最少的。

“不知道你在说什么”最短路径分词法就是指，把上面那句话分成的词要是最少的。

“不知道，你在，说什么”，这就是最短路径分词法，分出来就只有3个词了。

（4）.双向最大匹配法。

而有一种特殊的情况，就是关键词前后组合内容被认为粘性相差不大，而搜索结果中也同时包含这两组词的话，百度会进行正反向同时进行分词匹配。

二.技术说明Lucene是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎ik ：采用了特有的“正向迭代最细粒度切分算法“，多子处理器分析模式。

简易中文分词
【最新版】
目录
一、什么是简易中文分词
二、简易中文分词的方法
三、简易中文分词的应用
四、简易中文分词的优缺点
正文
一、什么是简易中文分词
简易中文分词是一种将中文文本切分成词语的方法，它是自然语言处理技术中的一个重要环节。

通过分词，我们可以将连续的文本切分成有意义的词语，从而方便进行后续的文本分析和处理。

二、简易中文分词的方法
1.基于字典的分词方法：这种方法是根据已有的词典库来进行匹配切分。

常见的字典有《现代汉语词典》、《辞海》等。

这种方法的优点是准确性较高，但缺点是需要大量的计算资源以及更新词典库。

2.基于统计的分词方法：这种方法主要是通过对大量已分词的文本进行学习，得到词语的概率分布，然后对新的文本进行切分。

这种方法的优点是效率较高，但对新词的处理能力较弱。

3.基于机器学习的分词方法：这种方法结合了前两者的优点，通过训练模型来对文本进行分词。

常见的模型有支持向量机、神经网络等。

这种方法的优点是既能保证准确性，又能处理新词，但缺点是需要大量的训练数据和调参。

三、简易中文分词的应用
简易中文分词在许多领域都有广泛的应用，如搜索引擎、文本分类、情感分析、机器翻译等。

四、简易中文分词的优缺点
优点：可以将文本切分成有意义的词语，方便后续的文本分析和处理。

hanlp分词流程
HanLP是一款开源的自然语言处理工具包，可以实现中文分词、词性标注、命名实体识别等功能。

下面将详细介绍HanLP的分词流程。

一、HanLP分词流程概览
HanLP的分词流程可以分为以下几个步骤：文本预处理、分词、词性标注、命名实体识别等。

二、文本预处理
在进行分词之前，需要对待处理的文本进行预处理。

预处理的目的是将文本转化为HanLP可以处理的格式，包括去除空格、标点符号等。

三、分词
分词是HanLP的核心功能之一。

HanLP采用了基于条件随机场（CRF）模型的分词方法，该方法能够在不依赖词典的情况下进行分词，具有较好的鲁棒性和泛化能力。

四、词性标注
词性标注是为分词结果中的每个词语标注其词性。

HanLP提供了预训练好的词性标注模型，可以自动为分词结果进行词性标注。

五、命名实体识别
命名实体识别是指识别文本中的人名、地名、组织机构名等实体。

HanLP采用了基于条件随机场（CRF）模型的命名实体识别方法，
能够较准确地识别出文本中的命名实体。

六、其他功能
除了上述功能外，HanLP还提供了其他一些功能，如关键词提取、摘要生成、文本分类等。

这些功能可以根据具体需求进行选择和使用。

HanLP的分词流程包括文本预处理、分词、词性标注、命名实体识别等步骤。

通过这些步骤，可以对中文文本进行有效的处理和分析，为后续的自然语言处理任务提供基础支持。

HanLP的功能强大且易于使用，是中文文本处理的重要工具之一。

jieba库及wordcloud库的使⽤知识内容：1.jieba库的使⽤2.wordcloud库的使⽤参考资料：⼀、jieba库的使⽤1.jieba库介绍jieba是优秀的中⽂分词第三⽅库，使⽤pip安装后可以使⽤其来对中⽂⽂本进⾏分词特点：⽀持三种分词模式：精确模式，试图将句⼦最精确地切开，适合⽂本分析，单词⽆冗余；全模式，把句⼦中所有的可以成词的词语都扫描出来, 速度⾮常快，但是不能解决歧义，存在冗余；搜索引擎模式，在精确模式的基础上，对长词再次切分，提⾼召回率，适合⽤于搜索引擎分词。

⽀持繁体分词⽀持⾃定义词典MIT 授权协议2.jieba库⽅法(1)jieba库3种分词⽅法(3种模式)3种模式对应的⽅法如下：cut(s)和lcut(s) # 精确模式lcut(s, cut_all=True) # 全模式(存在冗余)cut_for_search(s)和lcut_for_search(s) # 搜索模式(存在冗余)注：cut()和lcut()的不同：cut返回的是⽣成器，lcut返回的是列表。

cut_for_search()和lcut_for_search()也是前者返回⽣成器，后者返回列表另外：cut⽅法lcut⽅法接受三个输⼊参数: 需要分词的字符串；cut_all 参数⽤来控制是否采⽤全模式；HMM 参数⽤来控制是否使⽤ HMM 模型cut_for_search⽅法和lcut_for_searchlcut_for_search接受两个参数：需要分词的字符串；是否使⽤ HMM 模型。

该⽅法适合⽤于搜索引擎构建倒排索引的分词，粒度⽐较细待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。

注：不建议直接输⼊ GBK 字符串，可能⽆法预料地错误解码成UTF-8⽰例：1import jieba23 s = "中国是⼀个伟⼤的国家"4 res1 = jieba.lcut(s) # 精确模式5 res2 = jieba.lcut(s, cut_all=True) # 全模式(存在冗余)6 res3 = jieba.lcut_for_search("中华⼈民共和国是伟⼤的") # 搜索模式(存在冗余)78print(res1, res2, res3, sep="\n")1import jieba23 seg_list = jieba.cut("我来到北京清华⼤学", cut_all=True)4print("Full Mode: " + "/ ".join(seg_list)) # 全模式56 seg_list = jieba.cut("我来到北京清华⼤学", cut_all=False)7print("Default Mode: " + "/ ".join(seg_list)) # 精确模式89 seg_list = jieba.cut("他来到了⽹易杭研⼤厦") # 默认是精确模式10print(", ".join(seg_list))1112 seg_list = jieba.cut_for_search("⼩明硕⼠毕业于中国科学院计算所，后在⽇本京都⼤学深造") # 搜索引擎模式13print(", ".join(seg_list))结果：(2)向字典中添加新词或添加⾃定义词典使⽤add_word(word, freq=None, tag=None)和del_word(word)可在程序中动态修改词典，当然也可以使⽤load_userdict(file_name)来导⼊⾃定义字典最简单的⽤法：add_word() 直接向分词词典中添加新词⽰例：1 s = "李⼩福是创新办主任也是云计算⽅⾯的专家"2print(jieba.lcut(s))3 jieba.add_word("创新办")4print(jieba.lcut(s))还可以使⽤load_userdict(file_name)导⼊⾃定义字典⽰例：⾃定义字典⽂件dict.txt内容如下：1云计算 52李⼩福 2 nr3创新办 3 i4 easy_install 3 eng5好⽤ 3001 s = "李⼩福是创新办主任也是云计算⽅⾯的专家"2print(jieba.lcut(s))3 jieba.load_userdict("dict.txt")4print(jieba.lcut(s))3.⽂本词频统计通⽤代码1import string2import jieba3# 统计哈姆雷特和三国演义的词频456# 统计hamlet的词频 -> 可以⽤做英⽂的通⽤分词和统计7class Hamlet(object):8def__init__(self, name):9"""10 :param name: ⽂本名字或路径11"""12 self.text_name = name1314def get_text(self):15"""16获取⽂本并进⾏相关处理17 :return: 返回⽂本内容18"""19 txt = open(self.text_name, "r").read().lower()20for ch in string.punctuation:21 txt = txt.replace(ch, "")22return txt2324def count(self):25"""26统计单词出现的次数并输出结果27"""28 hamlet_txt = self.get_text()29 words = hamlet_txt.split()30 counts = {}31for word in words:32 counts[word] = counts.get(word, 0) + 133 items = list(counts.items())34# key指定⽤列表中每⼀项中第⼆个值作为排序依据, reverse设置排序顺序设为True的排序顺序为从⼤到⼩ 35 items.sort(key=lambda x: x[1], reverse=True)36for i in range(10):37print(items[i][0], items[i][1])383940# 统计三国演义中⼈物名字的词频 -> 可以⽤做中⽂的通⽤分词及统计41class ThreeKindDom(object):42def__init__(self, name):43"""44 :param name: ⽂本名字或路径45"""46 self.text_name = name4748def get_text(self):49"""50获取⽂本并进⾏相关处理51 :return: 返回⽂本内容52"""53 txt = open(self.text_name, "r", encoding="utf-8").read()54return txt5556def split_txt(self):57"""58对⽂本进⾏分词59 :return: 返回分词后的列表60"""61 threekingdom_txt = self.get_text()62 words = jieba.lcut(threekingdom_txt)63return words6465def count(self):66"""67统计单词出现的次数并输出结果68"""69 words = self.split_txt()70# excludes为要去掉的词71 excludes = {"将军", "却说", "⼆⼈", "不可", "荆州", "不能", "如此", "商议", "如何", "左右",72"军马", "引兵", "军⼠", "次⽇", "主公", "⼤喜", "天下", "东吴", "于是", "今⽇", "魏兵"}73 counts = {}74for word in words:75 rword = word76if len(word) == 1:77continue78# 对⼀些特殊的词进⾏处理79elif word == "诸葛亮"or word == "孔明"or word == "孔明⽈":80 rword = "孔明"81elif word == "关公"or word == "云长":82 rword = "关⽻"83elif word == "⽞德"or word == "⽞德⽈":84 rword = "刘备"85elif word == "孟德"or word == "丞相":86 rword = "曹操"87 counts[rword] = counts.get(rword, 0) + 188for word in excludes:89del counts[word]90 items = list(counts.items())91# key指定⽤列表中每⼀项中第⼆个值作为排序依据, reverse设置排序顺序设为True的排序顺序为从⼤到⼩ 92 items.sort(key=lambda x: x[1], reverse=True)93for i in range(8):94print(items[i][0], items[i][1])959697if__name__ == '__main__':98# s1 = Hamlet("hamlet.txt")99# s1.count()100101 s2 = ThreeKindDom("threekingdoms.txt")102 s2.count()⼆、wordcloud库的使⽤1.wordcloud库介绍wordcloud库是基于Python的词云⽣成类库,很好⽤,⽽且功能强⼤词云如下所⽰：2.wordcloud库基本使⽤实例：1import wordcloud23 c = wordcloud.WordCloud() # ⽣成词云对象4 c.generate("wordcloud by Python") # 加载词云⽂本5 c.to_file("wordcloud.png") # 输出词云⽂件WordCloud⽅法的参数如下：width：指定词云对象⽣成的图⽚的宽度(默认为200px)height：指定词云对象⽣成的图⽚的⾼度(默认为400px)min_font_size：指定词云中字体最⼩字号，默认为4max_font_size：指定词云中字体最⼤字号font_step：指定词云中字体之间的间隔，默认为1font_path：指定字体⽂件路径max_words：指定词云中能显⽰的最多单词数，默认为200stop_words：指定在词云中不显⽰的单词列表background_color：指定词云图⽚的背景颜⾊，默认为⿊⾊指定词云形状：1import jieba2import wordcloud3from scipy.misc import imread45 mask = imread("yun.png") # 读取图⽚数据到mask中67 f = open("⽂档.txt", "r", encoding="utf-8")8 data = f.read()9 f.close()1011 ls = jieba.lcut(data) # 分词12 txt = "".join(ls) # 将列表中的单词连接成⼀个字符串1314 w = wordcloud.WordCloud(mask=mask) # 指定词云形状15 w.generate(txt)16 w.to_file("output.png")3.⽣成词云通⽤代码1import jieba2import wordcloud3from scipy.misc import imread456def make_cloud(input_file, output_file, **kwargs):7"""8制作词云的通⽤代码9 :param input_file: 输⼊⽂本的路径或名字10 :param output_file: 输出图⽚的路径或名字11 :param kwargs: WordCloud的参数(width、height、background_color、font_path、max_words)12 :return:13"""14 width = kwargs.get("width")15 height = kwargs.get("height")16 background_color = kwargs.get("background_color")17 font_path = kwargs.get("font_path")18 max_words = kwargs.get("max_words")1920 f = open(input_file, "r", encoding="utf-8")21 data = f.read()22 f.close()2324 ls = jieba.lcut(data) # 分词25 txt = "".join(ls) # 将列表中的单词连接成⼀个字符串2627 w = wordcloud.WordCloud(width=width, height=height, background_color=background_color, font_path=font_path,28 max_words=max_words)29 w.generate(txt)30 w.to_file(output_file)313233def make_cloud_png(input_file, output_file, png_file, **kwargs):34"""35⽤特殊图形制作词云的通⽤代码36 :param input_file: 输⼊⽂本的路径或名字37 :param output_file: 输出图⽚的路径或名字38 :param png_file: 设置词云的图⽚形状的⽂件路径或名字39 :param kwargs: WordCloud的参数(width、height、background_color、font_path、max_words)40 :return:41"""42 width = kwargs.get("width")43 height = kwargs.get("height")44 background_color = kwargs.get("background_color")45 font_path = kwargs.get("font_path")46 max_words = kwargs.get("max_words")47 mask = imread(png_file)4849 f = open(input_file, "r", encoding="utf-8")50 data = f.read()51 f.close()5253 ls = jieba.lcut(data) # 分词54 txt = "".join(ls) # 将列表中的单词连接成⼀个字符串5556 w = wordcloud.WordCloud(width=width, height=height, background_color=background_color, font_path=font_path,57 max_words=max_words, mask=mask)58 w.generate(txt)59 w.to_file(output_file)。