信息处理用藏文分词单位研究

基于深度学习的藏文分词关键技术研究[ ]摘要：藏语信息化处理对于藏语的传承与发展具有重要意义。

目前我国对于藏语信息化研究已经具有较高水平。

其中，藏文分词是藏文信息处理的基础任务，受到藏文研究人员的广泛关注。

现阶段，在藏文分词任务中，主要的研究方法从传统的方法（字符串匹配和统计分词）转向深度学习。

本文结合传统方法和深度学习的优势，提出了基于条件随机场（CRF）和自注意机制（Self-Attention）的藏文分词算法Self-Attention CRF。

通过藏文分词数据集，并进行实验，本文的算法在精准率提升了1.9%、召回率提升了1.2%、F1分数指标提升了3.2%。

关键词：藏文信息化；藏文分词；深度学习；条件随机场；自注意力机制1.引言藏族文字（藏文）作为历史悠久的文字，用独特的书写符号记录和传承珍贵的藏族文化。

现阶段，随着数字化、信息化时代的到来，藏文信息化使得藏文研究换发出新的生命力。

藏文分词是藏文信息处理的基础和前提[1]。

而藏文与汉语在语法上存在较大差异，因此，需要针对藏文的特殊语法结构设计分词算法。

传统的藏文分词方法有字符串匹配方法和统计分词方法，取得了较为理想的分词效率和分词结果。

随着深度学习和藏语语料的不断发展，基于深度学习的[2,3,4]藏文分词方法获得了较大关注。

但是，现有分词方法存在以下局限：（1）传统藏文分词方法精度上低于深度学习方法；（2）深度学习的分词方法, 以循环神经网络（Recurrent neural network，RNN）[5]和长短期记忆网络（Long short-term memory, LSTM）[6]为例，训练效率较低，下一个分词结果需要等待前一个结果输出。

并且，该模型无法更大范围获得上下文信息。

因此，本文基于现有藏文分词方法，结合传统方法的和深度学习方法的优势，克服以上局限，主要贡献如下：（1）构建藏文分词数据集；（2）引入自注意力机制self-attention [7]，并行提取藏文文本信息；（3）提出基于条件随机场CRF[8]和自注意机制self-attention[7]的藏文分词算法，进一步提升藏文的分词模型的精度和效率。

藏文文本分类技术研究综述苏慧婧，群诺（西藏大学信息科学技术学院，西藏拉萨850012）摘要:该文介绍了藏文文本分类技术的研究与进展。

首先对现阶段常用的文本表示以及文本特征选择方法进行了分析和比较，接着回顾了藏文在机器学习方面的分类算法特点，深入讨论了不同算法应用在藏文文本分类技术上的研究情况，最后指出了当前藏文文本分类所面临的问题和挑战，并对未来的研究提出了建议。

关键词：藏文文本分类；文本表示；特征选择；机器学习中图分类号：TP391文献标识码：A文章编号：1009-3044(2021)04-0190-03开放科学（资源服务）标识码（OSID）：Summary of Research on Tibetan Text Classification TechnologySU Hui-jing,QUN Nuo(School of Information Science and Technology,Tibet University,Lhasa850000,China)Abstract:This article introduces the research and development of Tibetan text classification technology.First,it analyzes and com⁃pares the commonly used text representation and text feature selection methods at this stage,then reviews the characteristics of Ti⁃betan classification algorithms in machine learning,and discusses the application of different algorithms in Tibetan text classifica⁃tion technology.Finally,it points out the current problems and challenges of Tibetan text classification,and puts forward sugges⁃tions for future research.Key words:Tibetan text classification;text representation;feature selection;machine learning自然语言是人们日常使用的语言，是人类学习生活的重要工具。

藏语语言模型的研究现状及展望
2. 词法分析
词法分析是自然语言处理的基础工作，其目的是将连续的文字序列划分成有意义的词
汇单元。

针对藏语词法分析的研究，主要包括分词、词性标注和命名实体识别等任务。

分
词是最基础的任务，目前已有一些基于规则和统计的方法进行研究，并取得了一定的效果。

由于藏语的特殊性和复杂性，对于分词任务的研究还存在一定的挑战。

4. 机器翻译
机器翻译是利用计算机将一种语言的文本转化为另一种语言的任务。

针对藏语机器翻
译的研究，主要包括基于规则的方法和基于统计的方法。

基于规则的方法主要是利用语法
规则和词典进行翻译，但是对于复杂结构和低频词的处理存在一定的困难。

而基于统计的
方法则是通过建立双语平行语料库，采用统计模型进行翻译，如统计短语的翻译概率等。

最近，随着神经机器翻译（NMT）的兴起，基于深度学习的机器翻译方法也逐渐受到关注。

1. 语料资源的扩充
目前，虽然对藏语的语料资源进行了一定的整理和汇总，但是仍然存在规模较小和领
域较为有限的问题。

未来需要进一步扩充和丰富藏语的语料资源，包括不同领域、不同类
型和不同语境下的数据。

3. 神经机器翻译的应用
随着神经机器翻译的兴起，其在机器翻译任务上的性能已经超过了传统的方法。

未来，可以将神经机器翻译的方法应用到藏语的机器翻译任务上，以提高翻译质量和效果。

优先出版 计 算 机 应 用 研 究 第32卷--------------------------------基金项目：基金国家自然科学基金(61032008，61262052，61262054)；西北民族大学中央高校基本科研业务费专项资金资助项目(31920140064)；甘肃省青年科技基金(1208RJYA053)；作者简介：何向真(1977-)，男，宁夏固原人，讲师，主要研究方向为少数民族语言文字信息处理(5967148@)；李亚超(1986-)，男，河南汝州人，助教，主要研究方向为自然语言处理、词法分析；马宁(1981-)，男，宁夏吴忠人，博士，副教授，主要研究方向为自然语言处理；于洪志(1947-)，女，山东龙口人，教授，博导，主要研究方向为语音学、少数民族语言文字信息处理；．基于音节标注的藏文自动分词研究何向真，李亚超，马 宁，于洪志(西北民族大学 中国民族语言文字信息技术重点实验室，兰州730030)摘 要：分词是藏文信息处理的基础性关键问题，是把连续的藏文音节序列组合成词序列的过程。

针对藏文分词中的特殊问题，把藏文分词问题看成判断音节在词中的位置过程，分别实现了基于最大熵、条件随机场、最大间隔Markov 网络模型等模型下的分词系统，并在同等条件下进行了实验对比。

实验结果表明，在当前四字位的标注集下，基于条件随机场的藏文分词系统取得了最好的分词结果，同时其它序列标注模型也取得了较好的效果，说明基于音节标注的分词方法可以较为有效的处理藏文分词问题。

关键词：关藏文；分词；序列标注；最大熵；条件随机场；最大间隔Markov 网络模型 中图分类号：TP391.1Study on Tibetan automatic word segmentation as syllable taggingHE Xiang-zhen, LI Ya-chao, MA Ning, YU Hong-zhi( Key Lab of Chinese National Linguistic Information Technology, Northwest University for Nationalities, Lanzhou 730030 ) Abstract: Tibetan word segmentation (TWS) is the process of combination the syllables sequence into words sequence, and which is the basic problem for Tibetan natural language processing. To solve the special problems in TWS, the paper reformulated the segmentation as a syllable tagging problem, and comparative experiments are conducted at the same condition in different sequence label models. Experimental results show that the TWS system with conditional random fields achieves the best performance in the condition of four-tag, other models achieve good results at the same time, all the above show that, the segmentation as a syllable tagging problem is a better approach to deal with TWS .Key Words: Tibetan; word segmentation; sequence label; maximum entropy; conditional random field; max-margin markov networks0 引言藏文是一种拼音文字，有30个元音字母和4个辅音字母。

藏文信息处理的原理与应用电子版
1. 藏文字符编码：将藏文字符映射为计算机能够处理的二进制编码，通常采用Unicode编码或其他自定义编码方案。

2.藏文文本分词：将藏文文本进行分词，将文本按照词语单位进行切分，方便后续处理。

3.藏文词性标注：对分词后的词语进行标注，判断其词性和语法功能。

4.藏文语言模型：建立基于藏文语料库的语言模型，用于进行自动语
言识别、句子生成等自然语言处理任务。

5.藏文文本分类与情感分析：利用机器学习技术对藏文文本进行分类
和情感分析，可以应用于舆情监测、情感分析等领域。

1.藏文机器翻译：将中文或其他语言的文本翻译成藏文，或者将藏文
翻译成其他语言。

2.藏文信息检索：实现对藏文文本的检索和索引，方便用户查找相关
信息。

3.藏文语音识别：将藏文声音转化为文字，实现对藏文语音的识别和
转录。

5.藏文文本挖掘与知识发现：通过对大规模藏文文本数据的分析和挖掘，发现其中的规律和知识，用于文本分析、情报分析等领域。

总之，藏文信息处理的原理和应用的电子化，可以帮助加速处理藏文
信息的效率和精确度，推动藏文信息化的发展。

信息检索系统中藏文自动提示的研究与实现武强;边巴旺堆【期刊名称】《电脑知识与技术》【年(卷),期】2014(000)019【摘要】Information retrieval has become a part of people work in today’s information society. As one ancient language, Tibet-an has blended in with today’s information age. There are more and more web pages, e-mails etc. in the form of Tibetan. The paper mainly discusses the structure, encoding, term segmentation of Tibetan and implementation mechanism and method of Ti-betan term suggestion, and analyses deeply the Tibetan word segmentation and Tibetan sort, finally implements the function of Tibetan term suggestion based on the value of a Tibetan wordin documents. From testing, the function can distinguish Tibetan word and get the Tibetan term suggestion based on value properly.%在当今信息社会，信息检索已经成为人们日常工作的一部分。

藏文作为一种古老的文字，也融入了当今的信息时代，越来越多的网页、电子邮件等电子文档以藏文形式出现。