藏文自动分词技术研究综述

科技·探索·争呜　Ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ　Ｖｉｓｉｏｎ　科技视界　项目钠　

藏文自动分词技术研究综述　

于诗画，赵小兵２　

（１．中央民族大学信息工程学院，中国北京１０００８１；　

２．国家语言资源监测与研究中心少数民族语言分中心，中国北京１０００８１）　

【摘要】藏文分词是藏文信息处理中最为基础却又十分重要的工作，而藏文的自动分词是提高藏文信息处理工作效率的重要技术。本文　

主要从藏文自动分词的意义、国内研究现状、分词方法以及目前所面临的主要问题等方面来简单阐述藏文自动分词技术的相关内容。　

【关键词】分词；藏文分词；分词方法　

１藏文自动分词的主要意义　

分词其实就是按照一定的标准或规范将一系列连续的字序列重　新划分成词序列的过程。在英文中，单词之间是以空格作为自然分界　

符的，因此在词的理解上较为直观，它直接跨越了分词这一处理过程。　

而藏文的词与词之间是不具备任何形式的分界符的．这便给藏文的信　息处理增加了一定的难度。而一段藏文在经过分词后。如果让计算机　

来处理这样一段由词组成的藏文句子．它首先需要对句子的词法进行　分析．然后才能够进一步去理解整个句子的具体含义。因此，藏文词的　

正确切分在藏文信息处理＿Ｔ作中显得尤为重要　

在保障词的正确切分过程中．如果仅仅通过人ｌ丁的方式进行分词　处理．显然是一个庞大而复杂的过程．并且会存在许多的弊端。而在飞　

速发展的信息技术社会背景下．如果用计算机按照一定的规则和程序　来代替人工进行藏文文本的自动分词．将具有很大的研究意义。目前，　

藏文信息处理技术的应用已经在文字处理的基础上逐渐面向语言信　

息处理．但是作为语言的基本组成单元．分词处理仍然是藏文信息处　理中一项不可或缺的基础工作　因为分词结果的质量将直接影响到藏　

文检索主题排序、藏文机器翻译、藏文语音识别等藏文信息处理技术　的应用和发展。进而．藏文自动分词技术的研究与发展也即将对藏族　

人民的生活、学习和工作等具有积极的作用和重要的意义。　

２国内藏文自动分词的研究现状　

迄今为止．随着藏文信息处理技术的不断研究与深入．藏文自动　

分词技术也取得了很多令人瞩目的成果　比如．目前在国内公开发表　的关于藏文分词方面的研究和系统有很多：１９９９年。中国藏学研究中　

心的扎西次仁所发表的“一个人机互助的藏文分词和词登录系统的设　

计”可以看作是藏语分词研究开始的标志…：２００１年．陈玉忠设计实现　

了《一个基于格助词和接续特征的藏文分词系统》　。此外，祁坤钰提出　

了切分与格框架、标注一体化的藏语三级切分体系的藏文分词方法口Ｉ：　才智杰实现了一种藏文分词方法．并首次提出了基于规则的方法“还　

原法”来处理藏语分词中紧缩词识别问题等＿引　

而由于标注语料资源的限制．采用机器学习方法在最近三年才逐　渐受到重视。其中，刘汇丹、李亚超各自采用基于条件随机场的音节标　

注方法．把分词看成判断音节在词中位置的过程．并取得了很好的效　

果。该方法基于统计机器学习模型．是藏文分词研究的最新研究成果１４１。　

３藏文自动分词的基本步骤　

藏语是黏着性语言，藏语句子的组织过程就是在词与词、短语与　短语之间添加格助词并与句末动词有效地结合的过程　因此．藏文分　

词的关键是如何结合藏语字、词、句各类形式特征来确定格助词及其　接续特征规则的识别算法　

藏语句子的各个功能性成分主要是词和格助词及其接续特征词　

的结合体，同时还有一些则是短语或子句与格助词组成的连续结合体，　统一称之为块　由短语或子句组成的句节内词的切分必须借助词典和　

接续特征规则　句节内无法切分的“堆块”以及由属格格助词引起的　

“截断”问题在分析阶段需综合各类知识才能解决。据此，有专家提出　

利用字切分特征和字性库先“认字”　再用标点符号和关联词“断句”．　

用格助词“分块”，再用词典“认词”．充分利用各类接续特征“分词”的多　级切分策略　

４藏文自动分词面临的主要问题　目前的藏文分词处理通常都是首先由计算机对藏文文本进行自　

动分词．然后再对分词结果附以人工校对。但无论是计算机自动分词　

还是人工校对．前提是都需要符合一定的分词标准或规范以保证分词　

结果的正确性．从而也为藏文信息处理的后续工作提供统一的输入。　但即使如此．也并不能完全保证分词结果的正确性，因为藏文自动分　

词还面临着两个最大的困难：一是歧义切分问题，二是未登录词识别　

问题。　４．１歧义切分问题　在分词过程中．文句中某个片段可能存在两个或两个以上切分形　

式的字段．称为分词歧义字段　。针对分词中的歧义现象，人们从不同　

的角度提出了不同的分类方式。从歧义字段的主要构成形式来分，藏　

文分词中歧义分为两种：一种是交集型歧义字段．另一种是组合型歧　

义字段　据统计．藏文中交集型歧义占歧义问题的９０％以上１６１，因此，　如何解决好交集型歧义字段的切分问题，对于藏文歧义字段的切分具　

有重要的意义　而对于藏文分词中交集型歧义问题的研究．一般采用两种解决方　

法　一是采用双向扫描匹配方法，即对同一字段分别进行正向最大匹　

配和逆向最大匹配，如果扫描结果不同，则认为是交集型歧义；也有人　

采用最大概率方法来消解交集型歧义．主要利用词频信息来找出最佳　的切分结果　但是由于高频单音节对切分结果的影响，有时也往往无　

法得出期望的切分结果。因此．无论是哪一种消歧方法，还都有待于在　

实验中不断改进　４．２未登录词问题　大规模的藏文本处理中．会遇到很多机器可读词典中未收录不能　

识别的词汇．“包括中外人名、地名、机构组织名、事件名、货币名、缩略　

名、派生词及各种专业术语等，这些词总称为未登录词”。未登录词包　

括两大类：一类是新涌现的普通词汇或专业术语；另一类是专有名词，　

例如：人名、地名、国名、组织机构等名。未登录词在藏语真实文本中普　

遍存在。　有实验统计．用含７万词条的词典，对２万余字的藏文网页新闻　

文本语料进行自动切分后发现．其中有２０％的词不在词典中；对ｌ万　

字的藏文科技文本进行自动切分．其中有４０％的词不在词典中；对６　万字藏文文学、新闻、民俗等多种文本进行自动切分，发现绝大多数错　

误是由未登录词造成　未登录词是影响藏文分词正确率的主要因素，　

对分词精度的影响超过了歧义切分．．因此，要从根本上提高藏文分词　

效率．解决未登录词问题尤为重要。　

５结语　

藏文分词是藏文文本处理中最基础也最为首要的工作，其分词的　正确性将直接影响到藏文信息处理的有效性与应用价值；而藏文自动　

分词技术则是藏语自然语言处理中的一项关键技术，因为该项技术不　

仅直接运用于藏文文字识别、藏文语音处理、藏语机器翻译、藏语教学　

技术研究等方面．而且也是未来藏语的智能化研究以及藏语文化、信　

息传播与交换的直接动力与基础支撑：同时这也将对藏族地区的社会　生活与社会发展带来深远的影响。当然，藏文自动分词技术还并为成　

熟．还有很多亟待解决的问题．如程序中关于ｕｎｉｃｏｄｅ编码处理的问　

题、藏文文字的在线输入问题、人ｌ丁标注库的建立和完善等，这就需要　

相关研究人员投入进一步的研究工作。●　

【参考文献】　（下转第１１８页）　

※基金项目：此项目由国家自然科学基金重点项目支持“跨语言社会舆情分析基础理论与关键技术研究”（６１３３１０１３）。　

４６　１科技视界ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎ。　。ｇｙ　Ｖｉｓｉ。ｎ

　科技·探索·争鸣　Ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ　Ｖｉｓｉｏｎ　科技视界　机械与电子　

３激光切割机运行示意　

首先我们将要切割的图像．在相关软件下．如ＣＡＤ．ｍａｔｌａｂ下生成　

矢量图．然后用激光切割机操作软件打开该相应矢量图．然后如图４　

将矢量图导入主控机中．然后主控机控制激光发生器发生激光．通过　

反光镜片多次反射，将激光导至工作台上，在主控箱的控制之下．切割　头沿着预定的方向对工作台上放置的材料进行切割．工作台在伺服电　

机作用下上下左右移动．最后得到所需的产品。最后切割机复位，回到　

零点位置　

图４激光切割机运行示意图　

４激光切割机优势　

激光切割与其他的热切割方法相比较．总的来说突出的特点是切　

割速度快、质量高。　１）切割质量好由于激光光斑小、能量密度高、切割速度快，因此　

激光切割能够获得较好的切割质量　

２）切割效率高由于激光的传输特性．激光切割机上一般配有多　

台数控工作台，整个切割过程可以全部实现数控。操作时．只需改变数　

控程序．就可适用不同形状零件的切割，既可进行二维切割．又可实现　三维切割。　

３）切割速度决切割５ｒａｍ厚的聚丙烯树脂板．切割速度可达１２００ｃｍ／　

ｍｉｎ。并且材料在激光切割时不需要装夹固定。既可节省工装夹具．又　

节省了上、下料的辅助时间。　

４）激光的高亮度：固体激光器的亮度更可高达１０１　１Ｗ／ｃｍ２Ｓｒ。　

５）激光切割切缝窄，可以节约原材料；切缝垂直度好，表面光洁；　无需后续再加工　序及清洁处理即可用于零件成形和焊接：切边无毛　

刺，无机械应力．热影响区小．基本无变形：激光切割的深宽比大．对金　属材料可达２０：１左右，对非金属材料可达１００：１以上　

６）激光切割速度快，噪声低，几乎无污染，耗能低．并且切割过程　

中无“刀具”磨损问题．可以长期使用．几乎适台于所有类型材料都可　

以切割雕刻　

５激光切割机技术的发展方向　

经过几十年代发展激光切割机技术日趋成熟．未来激光切割机发　

展趋势如下！　

第一，激光切割将向数字化、智能能化方向发展。利用智能化技术　

的发展．研制出高度智能化的多功能激光加工系统［４１。　

第二．激光切割向多功能的激光加工中心发展．将激光切割、激光　

焊接以及热处理等各道＿Ｔ序后的质量反馈集成在一起．充分发挥激光　

加工的整体优势　

第三，激光切割将向更高效率、精度，以及多功能和高适应性方向　

发展，激光切割机器人的应用范围将会越来越大涉及更多的领域。　随着未来“工业４．０”．“中国制造２０２５”规划深人实施．制造业将　

会发生翻天覆地的变化．将会对高新制造越来越倚重，激光加工正是　

属于这一类，由于激光加工技术具有高效率、高精度等绝对优势，再加　

上配合未来智能制造技术的应用．激光切割机技术将在国民工业体系　中中发挥越来越重要的作用。●　

【参考文献】　

［１］甘加梁＇剥、红安．中低功率激光切割机的开发与运用［Ｊ］．中国激光，２０１ｌ，ｌ４（６）：　

４８—４９．　［２］齐忠明，王涛．激光切割工艺在机械加工中的应用【Ｊ１．农业科技与装备，２０１４，１４　

（６）：６３－６４．　－　［３］刘向阳激光切割的基本原理及新进展［Ｊ］．苏南科技开发，２００４（１１）：４２－－４３．　［４］　Ｌ晓东，王松，赵凯华．激光切割技术国内外研究现状［Ｊ】．热加工工艺，２０１２，９　

ｆ５１：２１５．　

（上接第４６页）［１］何向真，李亚超，马宁，于洪志．基于音节标注的藏文自动分　

词研究ｆＪ】．计算机应用研究，２０１５，０７：１９８９—１９９１．　［２］索郎桑姆威语语料库构建与加工技术研究［Ｄ】．西藏大学，２０１３．　［３］刘汇丹藏文分词及文本资源挖掘研究【Ｄ】．中国科学院大学，２０１２．　［４］汤小娜．词义消歧在统计机器翻译中的应用研究［Ｄ］．厦门大学，２００７．　［责任编辑：杨玉洁］　

［５］李伟．中文分词歧义消解技术的研究［Ｄ］＿青岛科技大学，２０１４　

［６］艾金勇．“藏文自动分词技术研究”报告［Ｒ】．２０１３，１２．