藏文自动分词系统中虚词识别算法研究

藏文自动分词系统的设计才智杰;才让卓玛【期刊名称】《计算机工程与科学》【年(卷),期】2011(33)5【摘要】语料库作为基本的语言数据库和知识库,是各种自然语言处理方法实现的基础.随着统计方法在自然语言处理中的广泛应用,语料库建设已成为重要的研究课题.自动分词是句法分析的一项不可或缺的基础性工作,其性能直接影响句法分析.本文通过对85万字节藏语语料的统计分析和藏语词的分布特点、语法功能研究,介绍基于词典库的藏文自动分词系统的模型,给出了切分用词典库的结构、格分决算法和还原算法.系统的研制为藏文输入法研究、藏文电子词典建设、藏文字词频统计、搜索引擎的设计和实现、机器翻译系统的开发、网络信息安全、藏文语料库建设以及藏语语义分析研究奠定了基础.%As the fundamental linguistic knowledge base, human-annotated corpora are the basis of many statistical natural language processing tasks. Along with the wide use of statistical methodsin natural language processing, corpus construction becomes an important research area. Word segmentation is necessary prerequisite of syntax parsing; its performance determines the parsing accuracy in a large degree. By the statistical analysis on a Tibetan corpus with 850,000 bytes, we first investigate the distribution and the syntactic function of Tibetan words, introduce a dictionary-based Tibetan word segmentation model, and then present the dictionary structure, case-auxiliary blocking and restoring algorithms which are necessary to Tibetan word segmentation. Thedevelopment of the Tibetan word segmentation system also facilitates the research of the Tibetan word input methods, the Tibetan electronic dictionary construction, the Tibetan word frequency statistics, the design and realization of the search engine, the development of the machine translation system, the security of the network information, the construction of the Tibetan corpus, and the Tibetan semantic analysis.【总页数】4页(P151-154)【作者】才智杰;才让卓玛【作者单位】青海师范大学藏文信息处理省部共建教育部重点实验室,青海西宁,810008;青海师范大学藏文信息处理省部共建教育部重点实验室,青海西宁,810008【正文语种】中文【中图分类】TP391【相关文献】1.班智达藏文自动分词系统的设计与实现 [J], 才智杰2.藏文自动分词系统中虚词识别算法研究 [J], 拉巴顿珠;欧珠;赵栋材3.基于词频学习和动态词频更新的藏文自动分词系统设计 [J], 项炜;金澎4.藏文自动分词系统中紧缩词的识别 [J], 才智杰5.藏文自动分词系统的设计与实现 [J], 陈玉忠;李保利;俞士汶因版权原因，仅展示原文概要，查看原文内容请购买。

义。
２ ） “ ” 栩 ５ ” 是拉格助词
，
在虚词识别过程 中出现 以下规则 可
跳过。
≈
ｓ ３ 譬
（
）等・ 例如： 酶鬟 霉 ｓ
（ 能濠聃动词） 礴 等。 例如 ：
３ ） “ ”葺 Ｑ “ ”建离食诵 ， 在盎调｛ ｝ ｌ ｊ ５ Ｉ ｌ 进程串出现以下规则也霹瑞过 ・ ・
藏 文 不 自 由虚 词 的 自动 识 别 研 究
卓玛吉 安见 才让
摘 要 ：本 文将通过传统藏文文法的语法规则 ，主要研 究藏文文本 中大量藏文不 自由虚 词的识别算 法，同时建立 了藏文 不 自由虚词 的 消岐规 则库 。使计算机快速地识别并消除藏文句子 中不 自由虚词的歧 义问题 。提 高藏 文 自动分词的准确 率。使 句子的 生产 、句法分析 、八 格 识 别 和机 器 翻译 等研 究 的基 础 更 扎 实 。 关 键 词 ： 藏 文 不 自由虚 词 ； 自动 识 别 ；歧 艾 ；规 则 库
钢
等 四个虚词 外 ，其余 的 ５ ８ 个
不 自由虚词在分词过程中都以单字词的形式 出现。 建立藏文虚词库 Ｘ Ｃ ；在 Ｘ Ｃ 库 中分别建立 ｂ ｚ ｙ ｘ ｃ 和ｂ ｚ ｙ ｘ ｃ ２ 两 个表。在
表ｂ ｚ ｙ ｘ ｃ 是不 自由虚词 中 “ 单 字词 ”类 虚词表 （ 如：
虚词表。
想：
ｃ Ｉ 擎
等
倒如 ： 争弹 ｌ 峄 ｓ 鞠
伪如： 争∞每
ｎ
钠
倒如 ： ㈣
’
１ ）本课题 的研究根据传 统藏文文 法 ，结合最 大匹配 藏文分 词法 和 藏文树型分词法 ，在藏文 自动 分词过程 中与 自动 分词 同时 进行虚 词识

1藏文自动分词的主要意义分词其实就是按照一定的标准或规范将一系列连续的字序列重新划分成词序列的过程。

在英文中,单词之间是以空格作为自然分界符的,因此在词的理解上较为直观,它直接跨越了分词这一处理过程。

而藏文的词与词之间是不具备任何形式的分界符的,这便给藏文的信息处理增加了一定的难度。

而一段藏文在经过分词后,如果让计算机来处理这样一段由词组成的藏文句子,它首先需要对句子的词法进行分析,然后才能够进一步去理解整个句子的具体含义。

因此,藏文词的正确切分在藏文信息处理工作中显得尤为重要。

在保障词的正确切分过程中,如果仅仅通过人工的方式进行分词处理,显然是一个庞大而复杂的过程,并且会存在许多的弊端。

而在飞速发展的信息技术社会背景下,如果用计算机按照一定的规则和程序来代替人工进行藏文文本的自动分词,将具有很大的研究意义。

目前,藏文信息处理技术的应用已经在文字处理的基础上逐渐面向语言信息处理,但是作为语言的基本组成单元,分词处理仍然是藏文信息处理中一项不可或缺的基础工作。

因为分词结果的质量将直接影响到藏文检索主题排序、藏文机器翻译、藏文语音识别等藏文信息处理技术的应用和发展。

进而,藏文自动分词技术的研究与发展也即将对藏族人民的生活、学习和工作等具有积极的作用和重要的意义。

2国内藏文自动分词的研究现状迄今为止,随着藏文信息处理技术的不断研究与深入,藏文自动分词技术也取得了很多令人瞩目的成果。

比如,目前在国内公开发表的关于藏文分词方面的研究和系统有很多:1999年,中国藏学研究中心的扎西次仁所发表的“一个人机互助的藏文分词和词登录系统的设计”可以看作是藏语分词研究开始的标志[1];2001年,陈玉忠设计实现了《一个基于格助词和接续特征的藏文分词系统》[2]。

此外,祁坤钰提出了切分与格框架、标注一体化的藏语三级切分体系的藏文分词方法[3];才智杰实现了一种藏文分词方法,并首次提出了基于规则的方法“还原法”来处理藏语分词中紧缩词识别问题等[3]。

藏语动词形态的自动识别系统研究作者：俄果措安见才让来源：《电子技术与软件工程》2016年第06期摘要藏语自动分词和藏语动词形态自动识别过程中的一个重要部分，使藏语分词过程中字串的匹配对象。

电子词库中每一个词条的准确性直接影响着藏语自动分词结果和藏语动词形态自动识别结果。

因此，电子词典中主要收录了所选藏语语料库中的18本藏语（翻译版）教材的5000个词条。

【关键词】自动分词动词形态自动识别电子词典藏语动词的研究历来是藏语语法研究的核心。

藏语书面语约有1500 个单音节动词，其中大多数动词具有词形数目不等的时式形态变化。

在藏语的发展过程中，由于语言内部结构的语音变化及语言的外部影响，藏语动词的词形出现了不同的简化模式。

1 藏语动词形态自动识别模块藏语动词形态的自动识别是藏语句法分析和藏语八格的识别等过程中的一个重要环节。

藏语动词形态自动识别的目的是识别出藏语文本中的大量的藏语动词形态，并消除识别过程中动词形态的变化问题。

藏语动词形态自动识别模块采用了以藏语传统语法为依据，格桑居冕（1982）在《藏语文法教程》（简称教程）中对藏语书面动词进行了详细讲并收集其中所讲的藏语动词形态和动词形态的接续规则来实现。

最终建立了藏语动词形态的规则库，按规则库中相应的规则来识别句子中的动词形态的变化。

具体如图1所示。

2 藏语动词形态的自动识别算法如图2所示。

在藏语动词形态识别过程中动词形态处变化处理算法描述如下：S=“”在S中消除具有一个以上音节的词。

S=“”在S中消除虚词。

S=“”逐一取每一个词在词典中data中查找，如果查找到，就将结果存储在SS中，最后显示SS 中的内容，如下：3 藏语动词形态识别的运行结果如图3所示。

4 结束语通过探索藏文传统文法理论，建立藏语动词形态的接续规则，按照规则及相关的算法和模块实现藏语动词形态自动识别系统。

参考文献[1]格桑居冕，格桑央金.藏文文法教程[M].四川民族出版社，2004.11（391-513）.[2]金鹏.藏语动词屈折形态向粘着形态的转变[J].中国藏学，1988（01）（131-139）.[3]金鹏.《西藏现代口语动词的时态和体及其表达方法》.西藏研究1984（03）-1985（02）.作者简介俄果措（1987-），女，青海省人。

１ 藏 文 自动分词的主要意义
目前 的藏文分词处 理通 常都是首先 由计算机 对藏文文本进行 自
动分词 ．然后再对分词结果 附以人工校对。但无论是计算机 自动分词
分词其实就是按照一 定的标 准或规范将一 系列 连续的字序列重 还是人工校对 ．前提是都需要符合一定的分词标准或规范 以保证分词 新划分成词序 列的过程 。在英文中，单词之间是 以空格作为 自然分界 结果 的正确性 ．从而也 为藏文信息处理的后续 工作提供统一 的输入 。 符的，因此在词的理解上较为直观 ，它直接跨越 了分词这一处理过程 。 但 即使 如此 ．也并 不能完全保证分词结果 的正 确性 ，因为藏文 自动分
的应用和发展 。进而 ．藏文 自动分词技术 的研究与发展也即将对藏族 采用最大概率方法来 消解交集型歧义 ．主要 利用词频信息来找 出最佳
人民的生 活 、学 习和工作等具有积极 的作用和重要的意义。
的切分结果 但是由于高频单音节对切分结 果的影 响，有 时也往往无
２ 国内藏文 自动分词的研 究现状
而藏文的词与词之间是不具备任何形式的分界符的 ．这便 给藏文 的信 词还面临着两个 最大的困难 ：一是歧义切分 问题 ，二是未登 录词识 别
息处理增加了一定的难 度。而一段藏文在经过分词后 。如果让计算机 问题 。
来处理这样一段 由词组 成的藏 文句子 ．它首先需要对句 子的词法进行 ４．１ 歧义切分 问题
分析 ．然后才能够进一步去理解整个句子的具体含义。因此 ，藏文词的
在藏文信息处理＿ Ｔ作 中显得尤为重要
式的字段 ．称为分词歧义字段 。针对分词 中的歧义现象 ，人们从不同
在保障词的正确切分过程 中．如果仅仅通过人ｌ丁的方式进 行分词 的角度提 出了不 同的分类方式 。从歧义字段的主要 构成形 式来分 ，藏 处理 ．显然是一个庞大而复杂 的过程 ．并且会存在许 多的弊端 。而在飞 文分词 中歧义分为两种：一种是交集型歧义字段 ．另一种是组合型歧

藏文自动分词技术研究综述作者：于诗画赵小兵来源：《科技视界》2016年第06期【摘要】藏文分词是藏文信息处理中最为基础却又十分重要的工作，而藏文的自动分词是提高藏文信息处理工作效率的重要技术。

本文主要从藏文自动分词的意义、国内研究现状、分词方法以及目前所面临的主要问题等方面来简单阐述藏文自动分词技术的相关内容。

【关键词】分词；藏文分词；分词方法1 藏文自动分词的主要意义分词其实就是按照一定的标准或规范将一系列连续的字序列重新划分成词序列的过程。

在英文中，单词之间是以空格作为自然分界符的，因此在词的理解上较为直观，它直接跨越了分词这一处理过程。

而藏文的词与词之间是不具备任何形式的分界符的，这便给藏文的信息处理增加了一定的难度。

而一段藏文在经过分词后，如果让计算机来处理这样一段由词组成的藏文句子，它首先需要对句子的词法进行分析，然后才能够进一步去理解整个句子的具体含义。

因此，藏文词的正确切分在藏文信息处理工作中显得尤为重要。

在保障词的正确切分过程中，如果仅仅通过人工的方式进行分词处理，显然是一个庞大而复杂的过程，并且会存在许多的弊端。

而在飞速发展的信息技术社会背景下，如果用计算机按照一定的规则和程序来代替人工进行藏文文本的自动分词，将具有很大的研究意义。

目前，藏文信息处理技术的应用已经在文字处理的基础上逐渐面向语言信息处理，但是作为语言的基本组成单元，分词处理仍然是藏文信息处理中一项不可或缺的基础工作。

因为分词结果的质量将直接影响到藏文检索主题排序、藏文机器翻译、藏文语音识别等藏文信息处理技术的应用和发展。

进而，藏文自动分词技术的研究与发展也即将对藏族人民的生活、学习和工作等具有积极的作用和重要的意义。

2 国内藏文自动分词的研究现状迄今为止，随着藏文信息处理技术的不断研究与深入，藏文自动分词技术也取得了很多令人瞩目的成果。

比如，目前在国内公开发表的关于藏文分词方面的研究和系统有很多：1999年，中国藏学研究中心的扎西次仁所发表的“一个人机互助的藏文分词和词登录系统的设计”可以看作是藏语分词研究开始的标志[1]； 2001年，陈玉忠设计实现了《一个基于格助词和接续特征的藏文分词系统》[2]。

Ｉ Ｎ ０ ９－ ０ ４ ＳＳ １ ０ ３ ４
Ｅ ｍａ ｆ ＠ｅ ｃ ． ｔ ｎ － ｉ ｋ ｊ ｃ ｅ ｅ． ｈ ｙ ｎ ｅ
ｈｔ ： ｗｗ ｄ ｚ ．ｅ ．ｎ ｔ ／ ｗ．ｎ ｓｎ ｔ ｐ／ ｅ Ｔ １ ８ — ５１ ５ ９ ９ ３ ５ ９ ９ ４ ｅ： ６ ５ － ６ ０ ６ ６ ０ ６ ＋
Ｋ ｅ ｏ ｄｓ ｎ ｏ ａｉ ｎ ｐ ｏｃ ｓｉｇ；ｔ ｔｎ ｆ ｎｃｉ ｎ ｏｒ ｓ ａ ｇ ｎ ｙ ｗ ｒ ：ｉ ｆ ｒ ｔｏ ｒ ｅｓｎ ｍ ｉ ａ ｕ ｔｏ ｗ ｄ ；ｔｇ ｉ ｇ ｂｅ
１概 述
在 藏 语 中词 都 代 表 着 一 定 的意 义 。与 汉 语词 的分 类 一 样 ， 语 的 词也 可 以包 括 实 词 和 虚 词 。实 词是 可 以表 示 任 何 词 汇 的 意 义 ， 藏
Ａｂｓ ｒ ：Ｔｉ ｔｎ ｉ ｆ ｍ ａｉ ｏｃ ｓｉ ａ ｒ ｈｅ ｏｒｇｎａ ｏ ｄ ｐｒ ｃ ｓｉ ｏ ａｕｒｌｌｎ ａ ｅ ｐｒ ｃ ｓｉ ，ｎｏ ａ ｙ ｒｄｕ ｌ ｏ ｈｅ ｔｃｔ ｂｅａ ｎｏｒ ｔｏｎ ｐｒ ｅｓｎｇ ｈ ｓｆｏｍ ｔ ｉ ｉ ｌｗ ｒ ｏ ｅｓｎｇ ｔ ｎ ｔ ａ ａ ｇｕ ｇ ｏ ｅ ｓ ｎｇ ｗ ｄａ ｓ ｇ ａ ａｌ ｔ ｔ ｙ ｓ ｔ ｃ ｃ ａ ａｙ ｉ，ｓｎｔｎｃ ｎａｙｓｓ ｕ ｏ ａｉａｌ ｂｓｒｃ ，ａ ｔ ｍ ａｉ ｌｓｉ ｃ ｔｏ ｎｄ ｍ ａ ｈｉ ｒ ｎｓ ｔｏ ｙｎ ａ ｔ ｎ ｌｓｓ ｅ ｅ ｅ ａ ｌ ｉ，ａ ｔ ｍ ｔｃ ｌ ａ ｔａ ｔ ｕ ｏ ｔｃ ｃａｓｆ ａｉ ｎ ａ ｃ ｎｅ ｔａ ｌｉ ｎ．Ｂｕ ｈｅｅ ａ ｅ ｂ ｓｄ ｎ ｔ ｅ ｌ ｉ ｙ ｉ ａ ｔｔ ｓ ｒ ａ ｅ ｏ ｈｅ ｌｖｅ
而 虚 词 则 是 用 来 表 示 语 法 意 义 ， 表 示 实 词 与 虚词 之 间 的组 合 关 系 。藏 文 句子 中 ， 成 语 句 时 虚 词 的作 用 和实 词 一 样 重 要 。在 传 统 即 构

（ 西藏 大学藏 文信 息技术研究 中心 西藏拉 萨 ８０ ０ ） ５０ ０
摘要 ： 藏文分词是藏文 自然语言处理的基础 。根据藏文虚词在藏文文本 中的特殊作 用以及虚词的兼
类性 、 结合性 、 着 变体 性和 还 原特 性 ， 黏 设计 实现 了一 个基 于藏语 虚 词切吩 的正 向最 大 匹配的藏 文 分词 系
向最大匹配算法。设虚词兼类词典中音节最多的词条的音节数为 Ｓ 一， Ｃ 则每次从文本 中截取的参与比较 的藏文字 符 串 ｗ 的音节数 Ｓ ＜Ｓ ｍ。 Ｗ 在 兼类 词典 中查找相 同项 ， 果找 到说 明是兼类 虚词 ， Ｃ＿ Ｃ 将 如 进行 切 分 ， 则去掉 ｗ 最后 一个音 节 继续 查找 ， 否 如此 反 复循环 ， 到 Ｗ 中只剩 下 一个 音 节 为止 ， 后继 续取 Ｓ 直 此 Ｃ
第 ２ 卷 第 ２期 ７
２１ ０ ２年 １ Ｏ月
西藏大 学学报ｃ 自然科 学版 ）
Ｊ ＲＮＡＬ ＯＦＴ Ｂ Ｔ ＮＩ ＲＳＴＹ ＯＵ Ｉ Ｅ Ｕ ＶＥ Ｉ
、０．７ Ｎｏ２ ｒ１ ． ２ ０ｃ ． ０ ２ ｔ２ ｌ
基 于虚词切分 的藏文分词 系统 的设 计 与实现
赵 栋材
收 稿 日期 ：０ ２ ０— １ ２ １ — ６ ２
基金项 目：０ １年度 国家 自然科学基金 资助 项 目 “ ２１ 藏语语 音合 成关键技术研 究” 项 目号 ：１ ６ ０ ０ ；０ ０年度 国家 自然 （ ６ １ ５ １ ）２ １
科 学基金资助项 目 “ 基于虚词 的藏语基本句 型的形 式化研 究” 项 目号 ：１ ６ ０ ５ ；０ （ ６ ０３１ ）２１ １年度 国家 自然科学基金资助项 目 “ 藏语依存树 库的构建” 项 目号 ：１ ６ ０ ３ ；０９年度教 育部长江学者与创新团队发展计划 资助项 目 “ （ ６ １ ３ ４ ）２ ０ 藏文信息技术创新

ＧＡ Ｏ Ｄｉ ｎｇ ｇｕ ｏ ，Ｔａ ｓ ｈ ｉ ｇ ｙ ａ ｌ ，ＺＨ ＡＯ Ｄｏｎ ｇ ｃ ａ ｉ
（ １ ． Ｔｉ ｂ ｅ ｔ ａ ｎ Ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ Ｔｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ Ｅｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ Ｒｅ ｓ ｅ ａ ｒ ｃ ｈ Ｃ ｅ ｎ ｔ ｅ ｒ ； Ｔｉ ｂ ｅ ｔ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ， Ｌ ｈ ａ ｓ ａ ，Ｔｉ ｂ ｅ ｔ ８ ５ ０ ０ ０ ０，Ｃｈ ｉ ｎ ａ；
ｔ ｉ ｆ ｉ ｃ ａｔ ｉ ｏ ｎ ｏ ｆ Ｔｉ ｂｅ ｔ ａ ｎ ｆ ｕ ｎｃ ｔ ｉ ｏｎ ｗｏ ｒ ｄ． Ｔｈｅ ｅ ｘｐ ｅ ｒ ｉ ｍｅ ｎｔ ｏｎ ２ ５ ２ ５ ｓ ｅ ｎ ｔ ｅ ｎｃ ｅ ｓ ａ ｃ ｈｉ ｅ ｖ ｅ ｓ ａ ｎ ａ ｃ ｃ ｕｒ ａ ｃ ｙ ｏ ｆ ９７． ０７ ６ ８ ｍｅ ｔ ｈｏ ｄ． ｆ ｏ ｒ ｔ ｈｉ ｓ
计 算 机 识 别 藏 语 虚 词 的 方 法 研 究
高 定 国 ， 扎 西 加 ， 赵 栋 材
（ １ ．西 藏 大学 藏 文 信 息 技 术 研 究 中心 ， 西藏 拉萨 ８ ５ ０ ０ ０ ０ ；
２ ．西 藏 大学 工 学 院 计 算 机 科 学 系 ， 西 藏 拉萨 ８ ５ ０ ０ ０ ０ ） 摘 要： 藏 文 虚 词 的 研 究是 藏 文信 息 处理 技 术 中词 、 句及 语 义研 究 的 基 础 ， 而计 算机 自动 识 别 藏 文 虚 词 又 是 藏 语 虚
词识 别的正确率高达 ９ ７ ． ０ ７ ６ ８ 。 关 键 词 ：识 别 ； 藏语 ； 虚 词
中 图分 类 号 ： Ｔ Ｐ ３ ９ １
文献标识码 ｔ ｏ ｍａ ｔ ｉ ｃ Ｉ ｎ ｄ ｅ ｎ ｔ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｏ ｆ Ｔｉ ｂ ｅ ｔ ａ ｎ Ｆｕ ｎ ｃ ｔ ｉ ｏ ｎ Ｗｏ ｒ ｄ

【 摘 要】 藏文分词是藏文信 息处理领域的一项 不可缺 少的基础性工作 ， 也是智能化藏文信息处理的关键所在 。在藏文分词的研究过程 中 藏文分词的准确性． 直接制约 着藏文输入 法研 究、 文电子词典建设 、 藏 藏文词频 统计 、 索引擎的设计和实现、 搜 机器翻译 系统的开发、 藏文语料 库建设 以及藏语语 义分析研 究等 高层藏文信 息处理技术的进一步发展 。 文借鉴汉语的分词理论和 方法， 出符合藏文特性 的分词 方法， 本 提 以及 歧义 字段切分和未登录词识别等相关 问题 ． 并举例说 明。
【 关键词 】 藏文分词 ； 义字段切分 ； 歧 未登录词识 别
１ 藏文 自动分词 的意义
中最基本 、 最重要的环节 。 不经过藏文分词上述工作很难进行 ， 藏文分 词是所有藏文信息处理 的基础工作 。
分 词就是将连续 的字序列 按照一定的规范重新组 合成词序列的 ３２ 歧义字段切分 ． 过程 英文是单词之间以空格 分开 ， 的界 限是 比较清楚 的， 词 因此 ， 在 藏文分词歧义最常见的有 ： 词 的理 解上 比较直观 ． 比如 ： ａ ｓ ｄ ｎ （ Ｉ ｍ ａ ｔ ｅ ｔ 英文 ） ｕ ． 一句中的单词 间以 （） １交集型歧义 如果 Ａ Ｂ和 Ｂ ｃ都是词典 中的词 ， 么如果待切 那 空格分开 ． 英文 已经跨越 了分词这一步 。而藏文是词与词之 间没有 明 分 字串 中包含 “ Ｂ ” Ａ Ｃ 这个子 串 ， 就必然会造成两 种可能 的切分 ：Ａ ／ “ Ｂ 显 的分 隔符 ， ：ｇ ｉ ｌ ｉ ｙ 如 ｎ ｏ ｍｚ ｇ ｉ ｎ ｓ ｂ ｈ ｎ一句中的单词间没有分隔符。 藏 ｃ ” “ Ｂ ／ 。这种类型的歧义就是交集型歧义 。比如 “ ｙｇ ｎ ／ 和 Ｃ” ｒ ｇ ｒ 文以字ｆ 音节字沩 单位涟 字成句才能描述一个 完整的意思 。 而对由词 ｔ ｈ” ｓ ｔｅ 就可能造成交集型歧３ （ ｙ ｒ ｓ ｃｅ ｒ ／ ｔ ／ ｅ 。 ｈ ￣ ｒ ｄ ｈ ｈ／ ｇ ｇ ｎ ｓ ｅ ／ ｇ ｔ／ 或 ｙ ｒ ｈｈ ） 组成的藏文句子． 计算机必须通过藏文分词技术才得以理解 。因此 ， 如 ｆ） ２ 组合型歧义 如果 Ａ Ｂ和 Ａ Ｂ都是词典 中的词 ， 、 那么如果待 何 运用计算机进行文本分词成了许 多人 的研究热点 切分 字串中包含 “ Ｂ 这个子串 ． Ａ ” 就必然会造成两种可能的切分 ：Ａ ／ “ Ｂ 用藏 文记载 的经典文献 、古籍著述 和译作 就如一个浩瀚 的海洋 ， ” ＭＢ” 和“ ／ 这种类型的歧义就是组合型歧义 。比 “ ｇ ａ ｎ ｉ 就可 如 ｎ ｇ ｙ ” ｎ ｄ 要用人 工对如 此繁多 的文本进行分词 ． 就是 通过读 取所 有文章后 一般 能造成组合 型歧义 （ｇ ｎ ／ ｉ § ｎ／ ｇ ｙ ／ ｎ ｇ ｎ ｄ 诘 ｇ ｎ ｉ ） ｒ ｙ ／ｉ ｒ ｎ ｄ 再对它们进行分词标注 ．显然这种人工分类 的做法存 在着许 多弊端 ： ３３ 未登录词识别 ． 是耗费大量 的人力和物力 。 二是存在分词结果不一致 性的问题 。 即 未登录词指 的是词典 中没有收录的词 。 一个计算机分词系统要处 使分词人员都是具有很高学识的专业人士 ． 于不 同的人来 分词 ． 对 其 理真实世 界中的藏语语料 ． 碰到未登录词几乎是不可避免 的。 比如 ： 分词结果 仍不相同 甚至 同一人在不同时间内做 分词也可能会有不同 ａ． 中外 的人名 ， 地名 Ｃａｍｅｒ ｋ ” “ｒ ｎ ” “ｋ ｉｉ ｏ ｇ克林 ｉ ｈ ． ｇ ｂ ｇ ， ｈ ｎｄｎ （ ｎ ｌ 的结果 因此 ． 用计算机代替人工进行藏文文本 的 自 动分词 ， 尽可能地 顿） ； ”） 满足人们所期望 的各 类藏文文本分词应用 需求具有很大研究 意义和 ｂ 中外组织机构单位名称和商 品品牌 名 （ｃ ｎ ｔ ｎ ｙ ｍ ． “ｉ ｌ ｇ ｃ ｉ ｒ ｎｉｒｓ ｇ 重要的实现意义 ｌ”， ｎ ｉｍ ｔｓｃ ｙ ｙ ｌｇ “ｇ ｌｓｉ ｐ ｉｓ ｙ ｄ ｋ ｎ ”“ ｌｂ ｇｏ ｏ “ ｙ ｒｇ ｎ ｇ ｉｎ ｉｇｏ ”． ｒｙ ｒｄ ｓｙ ｐ ｏ ｈ ｇ ，ｓｏ ｓ 藏文 自动分词是 目 前藏文信息处理领域中公认 的难题 ， 因为藏文 ｐａ” ； ｕｕ ） 自 动分词 是 自然语言 理解 、 机器 翻译 、 息检索 、 信 语言 文字研 究 、 藏文 ｃ． 专业领域的大量术语（ｄ ｙｎｔｉｄ ｙ ，ａｇｙｇＡＳ Ｉ” ； “ ｂｉ ｒ ｒ ｇ ”“ｎ ｉ ＣＩ） ｈ ｒ 文本 自 动标注 、 信息提取 、 文本校对 、 文本生成 、 文本分类 、 自动摘要 以 ｄ新词语 。 ． 缩略语 （ Ｏ ” “ ９” ； ‘ Ｋ ．Ｑ ） ‘ 及藏文文字识别 等领 域中最重要 、 最基 本的环节 ． 具有广泛 的应用前 ３ 藏文分词的方法 － ４ 景和很重要的现实意义 可以说直接影响到使用藏文 的每一个人的方 目前在汉英文方面分词方法较多 ． 由于藏文的语法结构与汉英语 方面面 。 法结构不 同． 已有 的分词方法不能直接使 用到藏文分词 中 ． 需要修改 藏文分词 的研究要 从语音 、 语义 、 语法 、 语用 、 语境 五个方 面进行 原有的这些汉英 分类算法或研制一种符合藏文特性 的分词算法 。 本文 彻底、 细致 、 细 、 精 规则 化的研究 ， 要以词 为基 本单位 ， 步 向词一 短 逐 重点介绍用最大匹配分词法和最大概率分词法进行藏 文分词过程 。 语一句字一句群一 篇章等多层 面藏文信息处理技术发展 。 ３４１ 最大匹配分词法 ．． 另外 ． 藏文分词技术 对推动社会的发展 ． 方便人们的学 习与生活 ． 最大 匹配法 分词的过程很简单 ． 先准备一个分词 表 ． 首 顺序扫描 促进人们 的工作效率和生活质量 的提高也有重要的意义 待分词 的句子 ， 将句中候选 词按照词长从大到小 的顺序依次跟词表 中 的词进行 匹配 ， 匹配成功即作为一个词输 出。如果一个句 中的多字候 ２ 藏 文 自动 分 词 技 术 的研 究 现 状 选词跟词表 中所有的词匹配不上 ．只能把单字词 当作分词结果输 出 随着藏文信息处理研究 的深入 ． 藏文文本 自动分词 问题 已经引起 最 大匹配法分词 由句 中的候选词从 待切分 的分子 串左 边开始扫描 的 高度重视 。 成为藏文信息处理的一个前沿课题 。 经过十几年的研究 。 藏 顺 向最大 匹配法和从右 向左扫描来 选取候选词 的逆 向最大匹配法两 文文本 自动分词技术也取得 了令人瞩 目的成果 目前国内的有关学者 种 。如 ｓ＝ ｄｅｒｎｄ ｇｓ ｂｍ ”老师 和学生 ） １ “ ｇ ｇ ｎ ｌ （ ｏ 在分词词表中最大 词长 已经提 出了藏文分词的算法及规范方案 ： 扎西次仁曾设计过一个采用 ＭａＬｎ ２ 对 Ｓ 进行分词处理： ｘ ｅ＝ ． １ 最 大匹配算法的人机互助藏文分词和登录新词的演示系统 ：罗秉芬 、 ａＳ＝ ；１不为空 ， ．２ …’ｓ 从左边取 出候选字串 ｗ＝ ｄｅｒｎ ： “ ｇ ｇ ” 江狄曾提出过一个藏文计算机 自动分词的基本规则 ：陈玉忠 于 ２ ０ ０１ ｂ 词表 ，ｄｅｒ ” ． 查 “ｇ ｇ 在此表 中 ， ｗ 加入到 ｓ ｎ 将 ２中，２ “ ｇ ｒ ／。 ｓ＝ｄｅ ｇ ” ｎ 年设计实现 了一个基于格助词和接续特征 的藏文分词系统等 并 将 ｗ 从 ｓ 中去掉 ． ｌ 此时 Ｓ ： ｄ ｇ ｌ ” １ “ｎ ｏ ｍ ｓｂ 十几 年来 ． 藏文信息处理在 各个 方面得到 了长 足的发展 ． 取得 了 ｃ １ ． 不为空 ． Ｓ 于是从 ｓ 左边取出候选字串＝ ｄ ｇ ｌ ” １ “ ｎ ｏ ｓｂ 不少成绩 ， 产生 了积极的社会效益 。但具有全面性 、 系统性 、 科学性 的 ｄ 查词 表 ． 不在此表 中 ， ｗ 最右边一个 字去掉 ，得 到 Ｗ： ． ｗ 将 藏文分词规范仍然未 曾提出。因此 ， 藏文分词的首要任务是研究并提 “ ｎ ” ｄ ｇ 出符合藏文特性 的最佳分词方 案 ． 以提高分词系统 的切分精度 和通用 ｅ ． 词 表．ｄ ｇ 在此表 中， ｗ 加入 到 ｓ “ｎ ” 将 ２中 ，２ “ｇ ｒ ｄ ｇ ” Ｓ ＝ ｄｅｒ ｄ ｎ ／ ｇ 。 性． 尽可能地满足人们所期望的各类分词应用需求 并将 ｗ 从 ｓ 中去掉 ． １ 此时 Ｓ ＝ ｓ ｂｍ” １ “ｌ ｏ

特征识 别和 改进 的算法 。词 边界特征 识 别是 以特征词库 中的词作为词切分标志 ，
依靠联 想规 则将一个音节 串语块 分割成 更 小的语块 ，对每个特 征词 建立不 同的 规 则来 处理 特征词 的左 右边 界。改进 的 算法是依据 分词词表 将藏文语 块识 别成
词 ，方 法 中 正 向和 逆 向 合 一 进 行 ，然 后
型和 组 合 型 歧 义 的 识 别 方 法及 未 登 录 词
后 的藏语短 语作 为匹配 的对 象。根据 匹
配 单 位 的 需 求 可 分 为 最 大 匹 配 法 和 最 小
确率 已经达到 了９ ５ ％以上。 （ 三） 藏文分词测评
１ ． 开 放性 易扩 充性、可维 护性和 可移 植性等特 点。要求 在开放环 境下切
本原则和诸多辅助原则 。
三、藏 文自动分词研究 （ ～ ） 藏文分词方法 １ ＿ 格分析法 ： 这是藏语语 法理论体 系中固有 的语 法规律 ，藏语有 比较完 善
的 形 式 逻 辑 格 语 法 理 论 体 系 。 格 关 系理
２ ． 分割模块 ：以预 处理 后 的藏 文语
块 为对象识 藏文词。此模 块分 词边界
匹配 ，根据 消歧 需求可 分为正 向匹配和
逆 向匹 配 等 。
识别方 法。进而提 出 了藏 文 自动分词 的 基础理 论知识及 分词技术 方法。
一
统计 方法 ： 主要 应用在获 取先验 知识方面 ，例如 ，藏文大丁字符信 息表、
分精度和处理速度稳定在实用的程度。
２ ． 通 用性 ： 藏 文 自动 分词是高层 藏
两者 之长 ，为藏 文分词单 位确立两 条基
及语 音合 成 、文本检 索、文本 分类、 自 然语 言接 ｎ、 自动文摘等 ，无处不 渗透

藏文历史文献识别过程中藏文自由虚词的自动识别及消歧算法的研究卓玛吉【期刊名称】《电脑与电信》【年(卷),期】2018(000)012【摘要】虚词作为藏文文献中重要成分,对文献识别过程也造成了很大的难度.本文通过传统藏文文法和语法规则,主要研究并提出了三种藏文历史文献中大量藏文自由虚词的识别算法,同时建立了具有284条规则的藏文自由虚词消歧规则库.使文献数字化过程中快速地识别并消除藏文句子中不自由虚词的歧义问题,提高藏文文献自动识别的准确率.%Functional words, as an important component of Tibetan literature, has caused great difficulties in the process of document recognition. Based on the traditional Tibetan grammar and grammar rules, this paper mainly studies and puts forward three kinds of recognition algorithms for a large number of Tibetan free function words in Tibetan historical documents, and establishes a rule base of 284 rules for Tibetan free function words disambiguation. In the process of digitalization, the ambiguity of unfree function words in Tibetan sentences can be quickly identified and eliminated, and the accuracy of automatic identification of Tibetan documents can be improved.【总页数】3页(P20-22)【作者】卓玛吉【作者单位】青海民族大学计算机学院,青海西宁 810007【正文语种】中文【中图分类】TP391.1【相关文献】1.藏文（含梵文）字丁自动识别方法研究 [J], 完么才让2.藏文自动分词系统中虚词识别算法研究 [J], 拉巴顿珠;欧珠;赵栋材3.藏文字结构自动识别与形式化描述研究 [J], 扎西拉旦;安见才让4.基于Python的藏文不自由虚词校对算法研究与实现 [J], 索南尖措;陈家威5.基于正则表达式的藏文虚词"ཞཞཞ"类识别算法研究 [J], 更藏卓玛; 安见才让因版权原因，仅展示原文概要，查看原文内容请购买。

计算机识别藏语虚词的方法研究高定国;扎西加;赵栋材【摘要】藏文虚词的研究是藏文信息处理技术中词、句及语义研究的基础,而计算机自动识别藏文虚词又是藏语虚词研究的前提.该文在论述藏语虚词在藏语文本中的作用和使用方法的基础上,分析了计算机识别藏语虚词的难度,提出了一个计算机识别藏语虚词的方法,并用2 525句典型藏文句子进行了验证,对结果进行分析发现藏文虚词识别的正确率高达97.076 8％.【期刊名称】《中文信息学报》【年(卷),期】2014(028)001【总页数】5页(P113-117)【关键词】识别;藏语;虚词【作者】高定国;扎西加;赵栋材【作者单位】西藏大学藏文信息技术研究中心,西藏拉萨850000;西藏大学工学院计算机科学系,西藏拉萨850000;西藏大学藏文信息技术研究中心,西藏拉萨850000【正文语种】中文【中图分类】TP3911 引言近年来，随着藏文信息处理技术的发展，藏语的信息处理已经在字处理方面取得了很好的成绩，现进入到了语句研究的阶段，语句处理的前提是对藏语词的处理。

藏语中的实词由于其意义的实在以及在藏语的语义句法结构中的重要地位，受到了藏文信息处理学者们的普遍重视，也取得了一定的成绩，但面向信息处理的虚词研究还有待于加强。

虚词自身虽然用法灵活，但虚词与虚词、虚词与实词的搭配常常构成比较稳定的语义块标记[1]。

因此，从藏语的虚词入手，根据虚词的搭配及其在形成藏语语义块结构中的标记作用来分析藏语语句的句法结构，并据此进行藏语语句的语义块自动切分等研究，对藏文句子研究有很重要的作用。

藏语虚词在藏语文档中出现的频度很高，虚词搭配规则形式化分析的可行性则由藏语虚词自身的特点决定：虚词是封闭集合，其中的各个词汇是可以一一枚举的[2]；虚词尽管用法灵活，但它们是语言中性质比较稳定，不易产生变化的部分；虚词与其他词汇构成的搭配是确定的，也是可以枚举的[3]。

虚词搭配的可枚举性、稳定性和确定性等特点，使得虚词搭配关系的形式化规则特别有利于被擅长搜索和匹配的计算机所直接利用，从而对计算机句法分析提供简单、高效和健壮的句法规则。

面向自然语言处理的藏语虚词la格研究
索南才让
【期刊名称】《西藏大学学报（自然科学版）》
【年(卷),期】2013(028)002
【摘要】藏语虚词研究是藏语自然语言处理中一项不可缺少的基础性工作,有着极其广泛的实际应用价值.它是藏文信息处理的核心和藏语自然语言理解的基础,在藏文校对、信息检索、双语对译、自动分类等技术中有着广泛的应用前景.文章在前人研究的基础上,结合信息处理,从不自由虚词的分类体系、形式化描述等角度对藏语虚词la格的语法功能做了一些探讨,重点论述了藏语虚词la格的语法功能,提出藏语虚词规范的初步设想和处理方法.
【总页数】5页(P48-52)
【作者】索南才让
【作者单位】青海师范大学计算机学院青海西宁810008
【正文语种】中文
【中图分类】TP391.1
【相关文献】
1.基于文献计量的藏语自然语言处理研究分析 [J], 肖维霖
2.面向信息处理的藏语虚词知识库构建研究 [J], 才让三智;多拉
3.面向藏语自然语言处理的藏语语言资源建设 [J], 赵栋材
4.信息处理中藏语虚词"na"和"la"的标注研究 [J], 才让三智; 多拉
5.藏语虚词“dangsgra”和“ladon”表达“tsheskabs”的差异解析 [J], 普片多
因版权原因，仅展示原文概要，查看原文内容请购买。

藏文自动分词系统中虚词识别算法研究拉巴顿珠;欧珠;赵栋材【期刊名称】《计算机应用与软件》【年(卷),期】2017(034)009【摘要】在分析现有藏文自动分词方法的基础上,针对藏文分词系统中虚词识别的难点进行深入研究.根据传统藏文文法,描述了藏文虚词在文本中不同的表现形式,用规则和统计相结合的方法,建立了较为全面的虚词知识库和规则库,并给出切分用虚词分块算法,该方法在不同领域的3 200个较典型的藏文句子进行了测试,结果表明,该方法的虚词识别率高达98％以上.%By analyzing a literature review of present Tibetan Auto-Segmentation solutions,we study on the difficult points of Tibetan function words recognition.According to the traditional Tibetan grammar,we described the forms of Tibetan function words in different texts.A holistic function word dictionary and rules set had been created by a rulesstatistics-combined method,and the function words segmentation algorithm had been implemented.We tested the algorithm on a sample corpus which contains 3 200 typical Tibetan sentences from different fields.The results show that the correct recognition rate of our system reaches up to 98％.【总页数】4页(P299-301,333)【作者】拉巴顿珠;欧珠;赵栋材【作者单位】西藏大学藏文信息技术研究中心西藏拉萨850000;西藏民族大学陕西咸阳712082;西藏大学藏文信息技术研究中心西藏拉萨850000【正文语种】中文【中图分类】TP391【相关文献】1.藏文自动分词系统中紧缩词的识别 [J], 才智杰2.藏文分词系统中紧缩格识别和藏字复原的算法研究 [J], 巴桑杰布;羊毛卓玛;欧珠3.藏文历史文献识别过程中藏文自由虚词的自动识别及消歧算法的研究 [J], 卓玛吉4.基于Python的藏文不自由虚词校对算法研究与实现 [J], 索南尖措;陈家威5.基于正则表达式的藏文虚词"ཞཞཞ"类识别算法研究 [J], 更藏卓玛; 安见才让因版权原因，仅展示原文概要，查看原文内容请购买。

基于字典的藏文分词系统实现研究作者：格桑多吉乔少杰何泽东来源：《电子技术与软件工程》2015年第15期摘要随着对语言文字信息处理研究工作的不断加深，藏文信息处理技术也逐渐从字信息处理走向了语言信息处理。

跟日语、汉语、韩语等语种的信息处理相同，藏文自动分词（ Tibetan Automatic Word Segmentation）是藏文信息处理中的一项必不可少的基础性工作，在此基础上才能划分短语、抽取概念以及分析主题，以至自然语言理解，最终实现智能化。

对于不同应用环境，藏文自动分词需要采用最合适的算法，本文通过对藏语语料的统计分析和藏语词的分布特点、语法功能的研究，提出了设计开发基于词典库的藏文自动分词系统，力求为藏文输入法研究、藏文电子词典建设、藏文字词频统计、搜索引擎的设计和实现、机器翻译系统的开发、网络信息安全、藏文语料库建设以及藏语语义分析研究奠定基础。

【关键词】藏文信息处理技术藏文自动分词分词系统1 藏文分词研究现状随着中国西藏地区的科技和文化逐步发展，涉及到藏文信息的应用正在得到越来越多的关注和使用，基于藏文信息处理技术的应用因此应时而生。

其中出现了包括藏文输入法，藏文电子词典，藏文搜索引擎，藏文机器翻译系统等大量的基于藏文信息的应用。

但是，由于这些应用都需要藏文分词作为先决条件，这使得藏文分词的工作量急剧上升，而人工分词会耗费大量的人力物力，而且已经远远不能满足这些应用的需求和增长。

在这样的时代背景下，藏文自动分词的研究价值就体现出来了。

藏文自动分词可以为藏文输入法提供联想率最高的单词，可以为藏文电子词典提供藏语语料，可以为藏文搜索引擎提供关键词，为藏文机器翻译提供断句等等。

可见，藏文自动分词是藏文自然语言理解的一项基础性工程，也是一项必不可缺的工作。

藏语自然语言理解在机器翻译、信息检索、智能输入、校对、自动摘要、自动分类和词典编纂等领域有着广泛的应用价值。

藏文自然语言处理可以借鉴亲属语言汉语分词研究的已有成果和成功经验。

Identification of Numerals in Tibetan Word
Segmentation
作者： 完么扎西[1];尼玛扎西[2]
作者机构： [1]青海师范大学民族师范学院,青海西宁810008;[2]西藏大学图书馆和现代教育技术中心,西藏拉萨850000
出版物刊名： 西藏大学学报
页码： 96-104页
年卷期： 2015年 第5期
主题词： 藏语自动分词;藏语数词;藏语数词结构
摘要：藏语自动分词技术是藏语自然语言处理的基础。

文章通过分析藏语真实文本中的数词分类、数词词形以及数词结构等,提出了一种基于规则的识别方法。

文章中的藏语数词识别思想为：在自动分词过程中,通过判断待切分的词（w）i和已切分的词（wi-1）来重新组合。

经对小学一至六年级的数学藏文版教材及1500个含各类数词的句子语料进行测试后,数词的识别准确率达97.7%。