下载文档原格式
中文分词相关技术简介目前对汉语分词方法的研究主要有三个方面：基于规则的分词方法、基于统计的分词方法和基于理解的分词方法。
基于规则的分词方法基于规则的分词方法，这种方法又叫做机械分词方法,它是按照一定的策略将待分析的汉字串与一个"充分大的"机器词典中的词条进行匹配,若在词典中找到某个字符串,则匹配成功(识别出一个词)。
常用的方法：最小匹配算法(Minimum Matching)，正向(逆向)最大匹配法(Maximum Matching)，逐字匹配算法,神经网络法、联想一回溯法，基于N-最短路径分词算法,以及可以相互组合，例如,可以将正向最大匹配方法和逆向最大匹配方法结合起来构成双向匹配法等。
目前机械式分词占主流地位的是正向最大匹配法和逆向最大匹配法。
◆最小匹配算法在所有的分词算法中，最早研究的是最小匹配算法(Minimum Matching)，该算法从待比较字符串左边开始比较，先取前两个字符组成的字段与词典中的词进行比较，如果词典中有该词，则分出此词，继续从第三个字符开始取两个字符组成的字段进行比较，如果没有匹配到，则取前3个字符串组成的字段进行比较，依次类推，直到取的字符串的长度等于预先设定的阈值，如果还没有匹配成功，则从待处理字串的第二个字符开始比较，如此循环。
例如，"如果还没有匹配成功"，取出左边两个字组成的字段与词典进行比较，分出"如果"；再从"还"开始，取"还没"，字典中没有此词，继续取"还没有"，依次取到字段"还没有匹配"(假设阈值为5)，然后从"没"开始，取"没有"，如此循环直到字符串末尾为止。
这种方法的优点是速度快，但是准确率却不是很高，比如待处理字符串为"中华人民共和国"，此匹配算法分出的结果为：中华、人民、共和国，因此该方法基本上已经不被采用。
最大正向匹配分词算法简介分词是自然语言处理中的重要任务之一，它将连续的文本切分成有意义的词语或词组。
在中文分词中，最大正向匹配分词算法是一种常见的分词方法。
该算法基于词典，通过从左到右依次匹配最长的词进行分词。
优点•算法简单、效率高，适用于大规模文本的分词任务。
•对于常见词汇的分词效果较好。
缺点•对于歧义词汇的分词效果较差。
由于该算法只依次匹配最长的词，因此可能会将歧义词汇按错误的方式进行分词。
•无法处理未登录词。
如果分词的文本中存在词典中未包含的词汇，该算法将无法正确地进行分词。
算法步骤最大正向匹配分词算法的步骤如下：1.定义一个词典，包含常见的词汇。
2.从待分词的文本的左侧开始，选择词典中最长的词作为候选词。
3.判断候选词是否存在于词典中。
4.如果候选词存在于词典中，将该词作为分词结果的一部分，然后从待分词文本的右侧继续进行分词。
5.如果候选词不存在于词典中，将候选词的最后一个字去除，然后将剩余的部分作为新的候选词。
6.重复步骤3和步骤4，直到待分词的文本为空。
算法示例假设我们有一个词典：[“最大”, “正向”, “匹配”, “分词”, “算法”]。
我们要对文本”最大正向匹配分词算法”进行分词。
1.从文本的左侧开始，选择最长的词”最大正向”作为候选词。
2.判断候选词”最大正向”存在于词典中。
3.将候选词”最大正向”作为分词结果的一部分。
4.从待分词的文本的右侧继续进行分词，此时待分词的文本为”匹配分词算法”。
5.从文本的左侧开始，选择最长的词”匹配”作为候选词。
6.判断候选词”匹配”存在于词典中。
7.将候选词”匹配”作为分词结果的一部分。
8.从待分词的文本的右侧继续进行分词，此时待分词的文本为”分词算法”。
9.从文本的左侧开始，选择最长的词”分词”作为候选词。
10.判断候选词”分词”存在于词典中。
11.将候选词”分词”作为分词结果的一部分。
12.从待分词的文本的右侧继续进行分词，此时待分词的文本为”算法”。
中⽂分词：正向匹配最⼤算法（FMM）中⽂分词：正向匹配最⼤算法正向最⼤匹配法，对于输⼊的⼀段⽂本从左⾄右、以贪⼼的⽅式切出当前位置上长度最⼤的词。
正向最⼤匹配法是基于词典的分词⽅，其分词原理是:单词的颗粒度越⼤，所能表⽰的含义越确切。
该算法主要分两个步骤:1、⼀般从⼀个字符串的开始位置，选择⼀个最⼤长度的词长的⽚段，如果序列不⾜最⼤词长，则选择全部序列。
2、⾸先看该⽚段是否在词典中，如果是，则算为⼀个分出来的，如果不是，则从右边开始，减少⼀个字符，然后看短⼀点的这个⽚段是否在词典中，依次循环，逐到只剩下⼀个字。
3、序列变为第2步骤截取分词后，剩下的部分序列代码实现#使⽤正向最⼤匹配算法实现中⽂分词words_dic = []def init():'''读取词典⽂件载⼊词典:return:'''with open(r"C:\Users\lenovo\PycharmProjects\fenci\venv\dic\dic.txt","r",encoding="utf-8") as dic_input:for word in dic_input:words_dic.append(word.strip())#列表#实现正向匹配算法中的切词⽅法def cut_words(raw_sentence,word_dict):#统计词典中最长的词max_length = max(len(word) for word in words_dic)sentence = raw_sentence.strip()#统计序列长度word_length = len(sentence)#存储切分好的词语cut_word_list = []while word_length > 0:max_cut_length = min(max_length,word_length)#判断最长词语与句⼦的长度subsentence = sentence[0:max_cut_length] #⼦句与就是最⼤的长度while max_cut_length > 0:if subsentence in word_dict:#如果句⼦是长的，那么从头便取最⼤词的长度，如果在，⾸词便框住cut_word_list.append(subsentence) #如果不在词典岂不是完蛋了breakelif max_cut_length == 1:cut_word_list.append(subsentence)breakelse:max_cut_length = max_cut_length-1 #⼤概率是不在的，因此切得长度减1subsentence = subsentence[0:max_cut_length]sentence = sentence[max_cut_length:]words_length = word_length - max_cut_lengthif words_length == 0:breakwords = "/".join(cut_word_list)return wordsdef main():'''与⽤户交互接⼝:return:'''init()while True:print("请输⼊要分词序列：")input_str = input()if not input_str:breakresult = cut_words(input_str,words_dic)print("分词结果")print(result)if __name__=="__main__":main()。
最大正向匹配算法
最大正向匹配算法（Maximum Matching Algorithm）是一种基于字典的分词算法，也是中文分词中最常见的一种算法。
最大正向匹配算法的思想是从左到右扫描一个待分词的句子，在字典中查找尽可能长的匹配词，将该词切分出来并从句子中去除，循环遍历直至句子被切分完毕。
1. 读入待分词的句子；
2. 从左到右扫描句子，设定一个最大匹配长度，用来确定每个词的长度；
3. 从字典中查找与待切分句子左侧最大长度匹配的词，如果能找到则切分出该词，将其从句子中去除；
4. 循环执行步骤3，直至句子被切分完毕。
举个例子，假设字典中有：“我”，“爱”，“中”，“国”四个词，待分词句子为“我爱中国”。
设定最大匹配长度为2，则从左到右扫描句子：
1. 首先匹配“我爱”，从字典中找不到匹配的词，因此将最大匹配长度减1，即为1；
2. 匹配“我”，从字典中找到了“我”这个词，因此将该词切分出来，并从句子中去除；
3. 匹配“爱中”，从字典中找不到匹配的词，因此将最大匹配长度减1，即为0；
4. 匹配“爱”，从字典中找到了“爱”这个词，因此将该词切分出来，并从句子中去除；
5. 匹配“中国”，从字典中找到了“中”和“国”这两个词，由于“中”和“国”都能匹配成功，因此选择最大匹配长度为2，将“中”和“国”都切分出来，并从句子中去除。
最终得到的分词结果为：“我、爱、中、国”。
最大正向匹配算法的主要优点是简单易实现、效率高，对于大部分常用语言和常见句子都能实现较好的分词效果。
但它也存在一些缺陷，例如无法处理新词、不能充分利用上下文信息等等。
因此在中文分词领域，还有很多其他的算法以及基于深度学习的方法被广泛应用。
结巴分词原理
结巴分词（jieba）是一款基于Python的中文分词工具，具有高效、准确、可定制化等特点，在自然语言处理领域中广泛应用。
那么，结巴分词的原理是什么呢？
首先，结巴分词采用了基于前缀词典实现的分词算法。
所谓前缀词典，就是将词语按照一定规则分成字的组合，然后根据这些组合建立一个前缀树（Trie树），每个节点代表一个词语的前缀。
当需要对一段文本进行分词时，结巴分词会遍历这个前缀树，将匹配到的词语作为分词结果输出。
其次，结巴分词还采用了基于隐马尔可夫模型（HMM）的分词算法。
隐马尔可夫模型是一种基于概率的统计模型，可以用于描述一个系统在一系列不可见的状态之间的转移，而这些状态会影响到可见的观测结果。
在结巴分词中，隐马尔可夫模型被用于统计每个词语在文本中出现的概率，从而提高分词的准确性。
最后，结巴分词还采用了基于最大匹配的分词算法。
最大匹配法是将文本按照一定的规则分成若干个候选词语，然后通过计算每个候选词语的评分来选择最合适的分词结果。
在结巴分词中，最大匹配法被用于对各个分词算法的结果进行评估和排序。
综上所述，结巴分词采用了前缀词典、隐马尔可夫模型和最大匹配法等多种分词算法，通过将它们有效的结合起来，使得结巴分词具有了高效、准确、可定制化等特点。
同时，结巴分词还可以通过添加自定义词典、调整分词算法参数等方式进行定制，以适应不同领域和
任务的需求。
中文分词案例中文分词是自然语言处理中的一个重要任务，其目的是将连续的中文文本切分成单个的词语。
中文分词在很多应用中都起到了关键作用，例如机器翻译、信息检索、文本分类等。
本文将以中文分词案例为题，介绍一些常用的中文分词方法和工具。
一、基于规则的中文分词方法1. 正向最大匹配法（Maximum Matching, MM）：该方法从左到右扫描文本，从词典中找出最长的词进行匹配，然后将该词从文本中删除。
重复这个过程，直到文本被切分完毕。
2. 逆向最大匹配法（Reverse Maximum Matching, RMM）：与正向最大匹配法相反，该方法从右到左扫描文本，从词典中找出最长的词进行匹配，然后将该词从文本中删除。
重复这个过程，直到文本被切分完毕。
3. 双向最大匹配法（Bidirectional Maximum Matching, BMM）：该方法同时使用正向最大匹配和逆向最大匹配两种方法，然后选择切分结果最少的作为最终结果。
二、基于统计的中文分词方法1. 隐马尔可夫模型（Hidden Markov Model, HMM）：该方法将中文分词问题转化为一个序列标注问题，通过训练一个隐马尔可夫模型来预测每个字的标签，进而切分文本。
2. 条件随机场（Conditional Random Fields, CRF）：与隐马尔可夫模型类似，该方法也是通过训练一个条件随机场模型来预测每个字的标签，进而切分文本。
三、基于深度学习的中文分词方法1. 卷积神经网络（Convolutional Neural Network, CNN）：该方法通过使用卷积层和池化层来提取文本特征，然后使用全连接层进行分类，从而实现中文分词。
2. 循环神经网络（Recurrent Neural Network, RNN）：该方法通过使用循环层来捕捉文本的时序信息，从而实现中文分词。
四、中文分词工具1. 结巴分词：结巴分词是一个基于Python的中文分词工具，它采用了一种综合了基于规则和基于统计的分词方法，具有较高的准确性和速度。
1最大匹配法（Forward Maximum Matching method, FMM法）：选取包含6-8个汉字的符号串作为最大符号串，把最大符号串与词典中的单词条目相匹配，如果不能匹配，就削掉一个汉字继续匹配，直到在词典中找到相应的单词为止。
匹配的方向是从右向左。
逆向最大匹配法（Backward Maximum Matching method, BMM法）：匹配方向与MM法相反，是从左向右。
实验表明：对于汉语来说，逆向最大匹配法比最大匹配法更有效。
给定串：我是中国人从左往右最长匹配优先：读入‘我’，一个字当然是一个词再读入‘是’，查表找‘我是’，不在表中，则‘我’是一个独立的词，‘是’还要下一步判断读入‘中’‘是中’肯定不在表内，那‘是’也是一个独立的词，‘中’还要下一步判断读入‘果’，‘中国’在表内再读入‘人’，’中国人‘也在表内，此时全部读完，’中国人‘是一个次结果就是：我是中国人从右往左也类似最近折腾毕业论文，搞得人没心情写blog了。
于是觉得不如把毕业论文里的东西贴出来当blog算了。
这里主要介绍了我自己的中文分词算法，我觉得它比现在开源代码比较多的中文匹配法要好多了。
这里的内容没有任何背景知识啥的，毕竟论文里的背景知道我也是从网上粘贴的，呵呵！因此这篇文章的内容可能适合做搜索引擎的人。
如果要了解中文分词算法在搜索引擎中的重要性，或者最大匹配法的思想与过程，请去网上搜吧，资料还是蛮多的。
1.1.1 最大匹配法分词的缺陷尽管最大匹配法分词是常用的解决的方案，但是无疑它存在很多明显的缺陷，这些缺陷也限制了最大匹配法在大型搜索系统中的使用频率。
最大匹配法的问题有以下几点：一、长度限制由于最大匹配法必须首先设定一个匹配词长的初始值，这个长度限制是最大匹配法在效率与词长之间的一种妥协。
我们来看一下以下两种情况：（1）词长过短，长词就会被切错。
例如当词长被设成5时，也就意味着它只能分出长度为5以下词，例如当这个词为“中华人民共和国”长度为7的词时，我们只能取出其中的5个字去词库里匹配，例如“中华人民共”，显然词库里是不可能有这样的词存在的。
浅谈中文文本分词方法翟荔婷 河北大学数学与计算机学院 【摘 要】汉语分词是中文信息处理技术中基础并且很重要的一个问题。
分词是将连续的字串或序列按照一定的规范重新组合成词序列的过程。
本文对目前常见的几种分词方法进行了深入的探讨。
【关键词】分词 中文文本 一、引言汉语分词是中文信息处理技术中基础并且很重要的一个问题。
分词是将连续的字串或序列按照一定的规范重新组合成词序列的过程。
众所周知，在英文中，单词之间是以空格作为自然分界符的，因此词的理解比较直观。
而中文的最小单位是字，字与字之间、词与词之间并没有明显的切分标志，但是在中文信息处理的诸多重要领域如篇章理解、机器理解、文本检索与自动标引等都需要在词的基础上进行处理。
词是汉语中最小的、能独立活动的、有意义的语言成分，只有当由单个汉字组成的句转化成词之后，才能进概念抽取，主体分析，以至于自然语言理解。
中文分词技术的目的就是让计算机也能正确地把中文词语词之间的分界线找出来。
因此，汉语分词技术已成为中文信息处理技术中的基础课题。
现有的分词方法主要有：基于字符串匹配的分词方法、基于统计的分词方法和基于理解的分词方法。
二、基于字符串匹配的分词方法这种方法又叫做机械分词方法，主要思想是：事先建立一个词典，对未切分的汉字串，按照已经确定的策略，与词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功，即识别出一个词，否则继续下一步的匹配，直到所有汉字串都被成功地切分。
按照不同长度优先匹配的情况，可以分为最大（最长）匹配和最小（最短）匹配；按照扫描方向的不同，字符串匹配分词方法可以分为正向匹配、逆向匹配和双向扫描法；其它的还有逐词遍历法、最佳匹配法、二次扫描法和最短路径匹配法等等。
１．最大匹配和最小匹配。
最大匹配的思想是：取待切分字符串中在词典中成功匹配的各个词中，选取最长的词切分出来。
最小匹配的思想同最大匹配相反，取最短的词进行切分。
对于现代汉语，最小匹配是不适用的，因为书面汉语中的每一个字几乎都可以成为一个词，如果使用最小匹配法的话，每一轮匹配切分出来字段差不多全是单个的宇，这显然是不行的。
中文分词入门之最大匹配法发表于2009年01月12号由52nlp中文分词在中文信息处理中是最最基础的，无论机器翻译亦或信息检索还是其他相关应用，如果涉及中文，都离不开中文分词，因此中文分词具有极高的地位。
中文分词入门最简单应该是最大匹配法了，当年师兄布置给我的第一个学习任务就是实现最大匹配法的分词算法（正向、逆向）。
记得当时对自己参考学习最有帮助的是北大詹卫东老师“中文信息处理基础”的课件和源程序，不过他实现的是mfc程序，词表存储在数据库里。
自己实现时用纯c++实现，利用hash_map 存储词表。
这里我介绍一下相关的知识和一个简单的程序示例，部分参考自詹老师的讲义。
正向最大匹配法算法如下所示：（注：以上最大匹配算法图来自于詹老师讲义）逆向匹配法思想与正向一样，只是从右向左切分，这里举一个例子：输入例句：S1=”计算语言学课程有意思” ；定义：最大词长MaxLen = 5；S2= ” “；分隔符= “/”；假设存在词表：…，计算语言学，课程，意思，…；最大逆向匹配分词算法过程如下：（1）S2=”"；S1不为空，从S1右边取出候选子串W=”课程有意思”；（2）查词表，W不在词表中，将W最左边一个字去掉，得到W=”程有意思”；（3）查词表，W不在词表中，将W最左边一个字去掉，得到W=”有意思”；（4）查词表，W不在词表中，将W最左边一个字去掉，得到W=”意思”（5）查词表，“意思”在词表中，将W加入到S2中，S2=” 意思/”，并将W从S1中去掉，此时S1=”计算语言学课程有”；（6）S1不为空，于是从S1左边取出候选子串W=”言学课程有”；（7）查词表，W不在词表中，将W最左边一个字去掉，得到W=”学课程有”；（8）查词表，W不在词表中，将W最左边一个字去掉，得到W=”课程有”；（9）查词表，W不在词表中，将W最左边一个字去掉，得到W=”程有”；（10）查词表，W不在词表中，将W最左边一个字去掉，得到W=”有”，这W是单字，将W 加入到S2中，S2=“ /有/意思”，并将W从S1中去掉，此时S1=”计算语言学课程”；（11）S1不为空，于是从S1左边取出候选子串W=”语言学课程”；（12）查词表，W不在词表中，将W最左边一个字去掉，得到W=”言学课程”；（13）查词表，W不在词表中，将W最左边一个字去掉，得到W=”学课程”；（14）查词表，W不在词表中，将W最左边一个字去掉，得到W=”课程”；（15）查词表，“意思”在词表中，将W加入到S2中，S2=“课程/ 有/ 意思/”，并将W从S1中去掉，此时S1=”计算语言学”；（16）S1不为空，于是从S1左边取出候选子串W=”计算语言学”；（17）查词表，“计算语言学”在词表中，将W加入到S2中，S2=“计算语言学/ 课程/ 有/ 意思/”，并将W从S1中去掉，此时S1=”"；（18）S1为空，输出S2作为分词结果，分词过程结束。
相应程序示例：准备文件：建立一个词表文件wordlexicon，格式如下计算语言学课程意思输入文件：test,格式如下计算语言学课程有意思编译后执行如下：SegWord.exe test输出分词结果文件：SegmentResult.txt源代码如下：// Dictionary.h#include <iostream>#include <string>#include <fstream>#include <sstream>#include <hash_map>using namespace std;using namespace stdext;class CDictionary{public:CDictionary(); //将词典文件读入并构造为一个哈希词典~CDictionary();int FindWord(string w); //在哈希词典中查找词private:string strtmp; //读取词典的每一行string word; //保存每个词hash_map<string, int> wordhash; // 用于读取词典后的哈希hash_map<string, int >::iterator worditer; //typedef pair<string, int> sipair;};//将词典文件读入并构造为一个哈希词典CDictionary::CDictionary(){ifstream infile(“wordlexicon”); // 打开词典if (!infile.is_open()) // 打开词典失败则退出程序{cerr << "Unable to open input file: " << "wordlexicon"<< " -- bailing out!" << endl;exit(-1);}while (getline(infile, strtmp, 'n')) // 读入词典的每一行并将其添加入哈希中{istringstream istr(strtmp);istr >> word; //读入每行第一个词wordhash.insert(sipair(word, 1)); //插入到哈希中}}CDictionary::~CDictionary(){}//在哈希词典中查找词，若找到，则返回，否则返回int CDictionary::FindWord(string w){if (wordhash.find(w) != wordhash.end()){return 1;}else{return 0;}}// 主程序main.cpp#include “Dictionary.h”# define MaxWordLength 10 // 最大词长为个字节（即个汉字）# define Separator “/ ” // 词界标记CDictionary WordDic; //初始化一个词典//对字符串用最大匹配法（正向或逆向）处理string SegmentSentence(string s1){string s2 = “”; //用s2存放分词结果while(!s1.empty()){int len =(int) s1.length(); // 取输入串长度if (len > MaxWordLength) // 如果输入串长度大于最大词长{len = MaxWordLength; // 只在最大词长范围内进行处理}//string w = s1.substr(0, len); // （正向用）将输入串左边等于最大词长长度串取出作为候选词string w = s1.substr(s1.length() – len, len); //逆向用int n = WordDic.FindWord(w); // 在词典中查找相应的词while(len > 2 && n == 0) // 如果不是词{len -= 2; // 从候选词右边减掉一个汉字，将剩下的部分作为候选词//w = w.substr(0, len); //正向用w = s1.substr(s1.length() – len, len); //逆向用n = WordDic.FindWord(w);}//s2 += w + Separator; // (正向用）将匹配得到的词连同词界标记加到输出串末尾w = w + Separator; // (逆向用)s2 = w + s2 ; // (逆向用)//s1 = s1.substr(w.length(), s1.length()); //(正向用)从s1-w处开始s1 = s1.substr(0, s1.length() – len); // (逆向用)}return s2;}//对句子进行最大匹配法处理，包含对特殊字符的处理string SegmentSentenceMM (string s1){string s2 = “”; //用s2存放分词结果int i;int dd;while(!s1.empty() ){unsigned char ch = (unsigned char)s1[0];if (ch < 128) // 处理西文字符{i = 1;dd = (int)s1.length();while (i < dd && ((unsigned char)s1[i] < 128) && (s1[i] != 10) && (s1[i] != 13)) // s1[i]不能是换行符或回车符{i++;}if ((ch != 32) && (ch != 10) && (ch != 13)) // 如果不是西文空格或换行或回车符{s2 += s1.substr(0,i) + Separator;}else{//if (ch == 10 || ch == 13) // 如果是换行或回车符，将它拷贝给s2输出if (ch == 10 || ch == 13 || ch == 32) //谢谢读者mces89的指正{s2 += s1.substr(0, i);}}s1 = s1.substr(i,dd);continue;}else{if (ch < 176) // 中文标点等非汉字字符{i = 0;dd = (int)s1.length();while(i < dd && ((unsigned char)s1[i] < 176) && ((unsigned char)s1[i] >= 161)&& (!((unsigned char)s1[i] == 161 && ((unsigned char)s1[i+1] >= 162 && (unsigned char)s1[i+1] <= 168)))&& (!((unsigned char)s1[i] == 161 && ((unsigned char)s1[i+1] >= 171 && (unsignedchar)s1[i+1] <= 191)))&& (!((unsigned char)s1[i] == 163 && ((unsigned char)s1[i+1] == 172 || (unsigned char)s1[i+1] == 161)|| (unsigned char)s1[i+1] == 168 || (unsigned char)s1[i+1] == 169 || (unsigned char)s1[i+1]== 186|| (unsigned char)s1[i+1] == 187 || (unsigned char)s1[i+1] == 191))){i = i + 2; // 假定没有半个汉字}if (i == 0){i = i + 2;}if (!(ch == 161 && (unsigned char)s1[1] == 161)) // 不处理中文空格{s2+=s1.substr(0, i) + Separator; // 其他的非汉字双字节字符可能连续输出}s1 = s1.substr(i, dd);continue;}}// 以下处理汉字串i = 2;dd = (int)s1.length();while(i < dd && (unsigned char)s1[i] >= 176){i += 2;}s2 += SegmentSentence(s1.substr(0, i));s1 = s1.substr(i,dd);}return s2;}int main(int argc, char *argv[]){string strtmp; //用于保存从语料库中读入的每一行string line; //用于输出每一行的结果ifstream infile(argv[1]); // 打开输入文件if (!infile.is_open()) // 打开输入文件失败则退出程序{cerr << "Unable to open input file: " << argv[1]<< " -- bailing out!" << endl;exit(-1);}ofstream outfile1("SegmentResult.txt"); //确定输出文件if (!outfile1.is_open()){cerr << "Unable to open file：SegmentResult.txt"<< "--bailing out!" << endl;exit(-1);}while (getline(infile, strtmp, 'n')) //读入语料库中的每一行并用最大匹配法处理{line = strtmp;line = SegmentSentenceMM(line); // 调用分词函数进行分词处理outfile1 << line << endl; // 将分词结果写入目标文件}return 0;}。
