藏文文本分类技术研究综述
- 格式：pdf
- 大小：1.37 MB
- 文档页数：4
ComputerKnowledgeandTechnology电脑知识与技术第17卷第4期(2021年2月)
本栏目责任编辑：唐一东人工智能及识别技术藏文文本分类技术研究综述
苏慧婧，群诺
（西藏大学信息科学技术学院，西藏拉萨850012）
摘要:该文介绍了藏文文本分类技术的研究与进展。首先对现阶段常用的文本表示以及文本特征选择方法进行了分析和
比较，接着回顾了藏文在机器学习方面的分类算法特点，深入讨论了不同算法应用在藏文文本分类技术上的研究情况，最
后指出了当前藏文文本分类所面临的问题和挑战，并对未来的研究提出了建议。
关键词：藏文文本分类；文本表示；特征选择；机器学习
中图分类号：TP391文献标识码：A
文章编号：1009-3044(2021)04-0190-03开放科学（资源服务）标识码（OSID）：
SummaryofResearchonTibetanTextClassificationTechnology
SUHui-jing,QUNNuo
(SchoolofInformationScienceandTechnology,TibetUniversity,Lhasa850000,China)
Abstract:ThisarticleintroducestheresearchanddevelopmentofTibetantextclassificationtechnology.First,itanalyzesandcom⁃
paresthecommonlyusedtextrepresentationandtextfeatureselectionmethodsatthisstage,thenreviewsthecharacteristicsofTi⁃
betanclassificationalgorithmsinmachinelearning,anddiscussestheapplicationofdifferentalgorithmsinTibetantextclassifica⁃
tiontechnology.Finally,itpointsoutthecurrentproblemsandchallengesofTibetantextclassification,andputsforwardsugges⁃
tionsforfutureresearch.
Keywords:Tibetantextclassification;textrepresentation;featureselection;machinelearning
自然语言是人们日常使用的语言，是人类学习生活的重要
工具。为此，自然语言处理是人工智能的一个重要应用领域，
也是新一代计算机必须研究的课题。随着我国藏族聚居区信
息化事业的快速发展，藏族网民人数快速增长，以藏语为载体
的内容也在增多。对藏文文本分类技术的研究，能够拓宽藏文
信息处理的应用领域，推动藏文语言文学在网络时代的发展。
文本特征的表示方法和分类器模型的设计是有关文本分类技
术的关键步骤，本文简要提出了文本分类系统的各个功能，依
据现阶段藏文文本分类技术的研究进展，详细分析了文本表示
以及特征选择的不同方法和多种分类器模型的算法特点和应
用前景。目前，我国对藏文古籍文献的经典信息需求量很大，
因此，针对藏文文本，深入研究高效精准的文本分类技术，具有
十分重要的现实价值和历史意义。
1藏文文本分类研究现状和发展趋势
在信息化时代背景下，藏文文本分类技术作为藏文信息处
理的一个重要组成部分，在情感分类、检测垃圾邮件、用户意图
识别、客服工单自动分类等方面应用广泛。贾会强[1]等人提出
了基于规则的藏文文本分类方法；才让加[2,3]等人对藏文语料进
行分词标注并利用词性特征建立分类语料库；孟祥和[4]提出了基于改进的聚类算法和KNN分类算法实现藏文网站话题发现
与跟踪；袁斌[5]提出选用不同情感特征表示，基于SVM+TF-IDF
进行藏文微博情感分类能达到比较不错的效果；周登[6]采用基
于N-Gram模型的藏文文本分类技术；安见才让等人[7]实现了互
联网藏文信息舆情分析的系统设计；胥桂仙等人[8]设计了基于
栏目的藏文网页文本自动分类系统。贾宏云等人[9,10,11]分别
选用藏文词以及n-gram的藏文音节作为文本特征，采用信息
增益算法、前向逐步回归算法筛选最优特征子集进行文本表
示，基于Logistic回归模型、SVM模型以及AdaBoost模型实现藏
文文本分类并取得了不错的进展。王莉莉等人[12]采用长短时
记忆加条件随机场模型的方法对藏文分类文本进行分词，运用TF-IDF公式计算特征权重得到向量空间模型以进行文本表
示，通过互信息方法提取和选择特征，基于多种深度神经网络
模型得到了较好的分类结果，但是该文选用的数据集在类别数
量以及文本规模上都相对较少，这将使得分类模型性能不够稳
定，泛化能力较低。
在目前藏文文本分类研究中，已有少量基于规则和使用传
统机器学习方法的分类研究，将神经网络模型应用于藏文文本
分类的研究仍处于最浅显层面，又因为平台上缺乏开源的藏文
语料，而每个研究人员所使用的语料也大不相同，因此使得实
收稿日期：2020-09-30
基金项目：西藏自治区教育厅“计算机及藏文信息技术国家级团队和重点实验室建设”（藏教财指〔2018〕81号）；国家重点研发计划
项目（2017YFB1402200）
作者简介：苏慧婧（1989—），女，四川眉山人，在读硕士研究生，主要研究方向为自然语言处理；通讯作者：群诺（1972—），男（藏族），
西藏拉萨人，硕士，副教授，主要研究方向为自然语言处理。E-mail：*************.cnhttp：//www.dnzs.net.cnTel：+86-551-6569096365690964ISSN1009-3044ComputerKnowledgeandTechnology电脑知识与技术Vol.17,No.4February2021
190ComputerKnowledgeandTechnology电脑知识与技术第17卷第4期(2021年2月)人工智能及识别技术本栏目责任编辑：唐一东验研究数据缺乏可比性，其分类准确率难以评估与分析。通过
借鉴中英文中较为成熟的文本分类方法，如何在资源不足的条
件下训练模型，如何将人类的先验知识融入神经网络中是藏文
文本分类面临的挑战和亟待解决的难题。
2藏文文本分类相关技术
藏文文本分类由四个模块组成：藏文语料获取、文本表示
以及特征选择、模型训练、模型性能评价。
2.1藏文语料获取
在对文本进行分类之前，首先要获取藏文语料，建立藏文
数据集。我们可以从网上爬取藏文语料或者下载别人整理好
的数据集，对其进行预处理，通过预处理过程，减少特征维数、
去除噪声特征，以此提高机器学习算法的精准度和分类效果。
过程包括分词、剔除符号和停用词，按类别进行人工分类，再按
一定比例划分训练集和测试集。
2.2分词
在英语的分词中，词与词之间具有很自然的空格作为标
记，而对于藏文分词，藏文与汉语相同，文档的词语之间没有明
显的分隔标志。藏文分词领域的主要困难在于词义消歧、命名
实体识别。藏文自动分词技术主要有以下4类：①通过最小匹配或最大匹配、正向匹配或逆向匹配方法切
分字符串的机械分词方法；②根据字符串的语义、句法信息进行词性标注的基于规则
的分词方法；③通过匹配方法然后将统计语言模型引入分词过程的基
于统计的分词方法；④基于统计与规则相结合的方法，目前使用最为广泛的是
第四种方法。
2.3剔除符号和停用词
在文本预处理过程中，会剔除掉对分类结果没有实际意义
的词语和符号，比如藏文文本中存在的一些特殊符号、标点符
号以及数字等。通过构造停用词表剔除掉这些对文本分类无
意义的词项，利用已建好的藏文语料库，使用公式n/N来计算权
重，（n表示文档中出现词w的文档数，N表示总的文档数），把
其中权重高过某一阈值的词列入停用词表，阈值将由具体实验
确定。
2.4藏文文本分类特征工程
对于计算机而言，它不能够识别普通的文本中的字符串所
要表达的信息，因此必须对文本中的字符串进行处理，这样的
过程称为文本表示。藏文文本一般以音节为特征单位，按照一
定的描述模型对文本进行表示，使机器能够对文本进行处理和
运算。
2.4.1文本表示
在藏文文本分类过程中，主要采用向量空间模型进行文本
表示。向量空间模型以空间上的相似度表达语义的相似度，表
示如下：V(d)=((t1,a1),(t2,a2),...,(tn,an))，其中，ti为文档d中的
特征项，ai为ti的特征值，一般取为词频的函数。有了这样的
表示以后，就可以用分类器对样本分类。
2.4.2文本特征选择
藏文语料文本经过处理，从文本中产生的特征数量可能非常庞大，特征空间的维数会高达几万维甚至几十万维。如果用
这些特征向量来进行分类训练，不但会占用很大的存储资源，
造成时间和空间的浪费，而且还会极大地影响分类算法的运行
速度和降低分类准确度。为此可构造一个评价函数，通过实验
设定一个阈值α，当评估分数低于阈值α就予以删除，高于阈值α的若干特征项重新组成一个新的低维特征空间。利用特征评
价函数来计算每个特征的重要程度。目前，在藏文文本分类的
研究过程中，常被运用的特征选择评估函数有逆文档频率（TF-IDF）、文档频率（DF）、互信息（MI）、信息增益（IG）、c2统计
(CHI)、期望交叉熵（ECE）等。
大量的实验结果表明，过高的特征维数会导致时间空间复
杂度急剧增加，造成更大的计算代价；特征项维数过低则可能
造成文档重要信息的丢失，对文本的分类效果造成影响。所以
如何高效地选择和提取特征，进行文本特征表示需要综合多种
算法，反复实验。
2.5分类器的选择与训练
现阶段，有关中英文的文本分类模型种类很多，实际应用
也相当成熟，在藏文文本分类研究领域，最近几年藏文文本分
类技术研究的成果见表1所示。
表1藏文文本分类技术研究成果
研究团队
王勇
李艾林
贾会强
贾宏云语料类别总数
7
7
5
7特征选择算法
互信息
卡方校验
CRF++
TF-IDF
信息增益
期望交叉熵
信息增益
欧氏距离
频度排序
前向逐步回归
前向逐步回归分类模型
朴素贝叶斯
K近邻
支持向量机
朴素贝叶斯（1）
支持向量机（2）
集成分类器（1+2）
K近邻
Rocchio算法
逻辑回归（1）
K近邻（2）
高斯贝叶斯（3）
支持向量机（4）
集成AdaBoost(1+2+3+4)平均精确率
78%
80%
77%
66%
68%
69%
79%
77%
95%
89%
95%
99%
93%
86%
93%平均召回率
76%
79%
76%
63%
63%
71%
83%
81%
89%
86%
95%
90%
93%
86%
93%F1值
77%
79%
76%
65%
66%
70%
86%
85%
92%
88%
94%
94%
93%
86%
93%备注
分词
2-gram
音节
3-gram
音节
词
表1实验中针对实际语料，选用特定特征选择算法进行特
征降维和提取有效特征，基于浅层机器学习模型进行文本分
类，可以看出将多种算法集成的分类模型可以有效提升分类效
果。但这些算法大都需要人工参与定制规则，并且分类模型泛
化能力较低。朴素贝叶斯算法简单，分类效果稳定；所需估算
191
