现代藏语助动词结尾句子边界识别方法

浅析藏汉双语结构助词“的”的共性与个性作者：扎西才让来源：《人间》2016年第04期摘要：语言的特点，不仅表现在语音和词汇上，同时也表现在语法上。

不同语言的语法既有共性，也有个性。

结构助词“的”在汉语语法中有非常明确的特点，在藏语语法中也有自身特有的表现形式。

本文通过运用对比的方法对结构助词“的”在汉语、藏语中的表现形式进行分析，并在此基础上总结了相应的规律。

关键词：结构助词“的”；对比；异同中图分类号：H4 文献标识码：A 文章编号：1671-864X（2016）02-0170-01藏语和汉语从语言学的角度来说，都有自己明显的民族特点，尤其是在语法上。

藏汉双语中结构助词“的”使用的频率都很高，但这两种语言在使用过程中，结构助词“的”根据不同民族语言的语法结构和构词结构的不同，所體现出的各族语言中的个性也是有所不同的。

而笔者此篇文章的析论点也就在此。

一、汉语语法中结构助词“的”的语法特征词类中划分而来的虚词是个封闭类，每类词的数目有限，但使用频率却很高，特别是助词“的”使用频率非常高。

同类的虚词既有共性，又有个性。

下面我就从结构助词划分的过程、助词的语法特征、结构助词的语法特征，来一步步分析汉语语法中结构助词“的”所体现出的语法共性和个性。

（一）结构助词“的”划分的过程。

结构助词划分而来的过程可图示为：词类虚词助词结构助词“的”。

词类是词的语法性质的分类，划分词类的目的在于说明语句的结构和各类词的用法。

按照汉语语法的老传统，依据词是否有实义、能否独立充当句子成分词可先粗略的划分成实词和虚词。

而虚词的特点：1、依附于实词或语句，表示语法意义；2、不能单独成句和作句法成分；3、不能重叠。

总之，这些特点都与虚词无词汇意义有关，虚词一般可划分为介词、连词、助词、语气词四类。

而助词又可划分为结构助词（的、地、得）、动态助词（着、了、过）、比况助词（似的、一样、一般）、其他助词（给、连、们、所）。

（二）助词的语法特征。

最大熵和规则相结合的藏文句子边界识别方法李响;才藏太;姜文斌;吕雅娟;刘群【期刊名称】《中文信息学报》【年(卷),期】2011(025)004【摘要】句子边界识别是藏文信息处理领域中一项重要的基础性工作,该文提出了一种基于最大熵和规则相结合的方法识别藏语句子边界.首先,利用藏语边界词表识别歧义的句子边界,最后采用最大熵模型识别规则无法识别的歧义句子边界.该方法有效利用藏语句子边界规则减少了最大熵模型因训练语料稀疏或低劣而导致对句子边界的误判.实验表明,该文提出的方法具有较好的性能,F1值可达97.78%.%Sentence boundary identification is a fundamental work in the field of Tibetan information processing. This paper proposes a maximum entropy and rules approach to identifying Tibetan sentence boundaries. First, the Tibetan boundary vocabulary based detector identifies the ambiguous sentence boundaries. Second, the maximum entropy model based detector identifies the ambiguous sentence boundaries which the former detector can't identify. By making use of Tibetan sentence boundary rules, this approach further reduces the number of the incorrect sentence boundary identified by maximum entropy model owing to the sparse and inferior training corpus. The experiments show that this approach has a good performance in terms of 97. 78% F1-measure.【总页数】6页(P39-44)【作者】李响;才藏太;姜文斌;吕雅娟;刘群【作者单位】中国科学院计算技术研究所,中国科学院智能信息处理重点实验室,北京100190;青海师范大学计算机学院,青海西宁810008;中国科学院计算技术研究所,中国科学院智能信息处理重点实验室,北京100190;中国科学院计算技术研究所,中国科学院智能信息处理重点实验室,北京100190;中国科学院计算技术研究所,中国科学院智能信息处理重点实验室,北京100190【正文语种】中文【中图分类】TP391【相关文献】1.以规则为主的英语句子边界识别方法的C#实现 [J], 严灿勋;熊建国2.基于最大熵分类器的藏文句子边界自动识别方法研究 [J], 才藏太3.统计与规则相结合的维吾尔语句子边界识别 [J], 艾山·吾买尔;吐尔根·依步拉音4.CRF与规则相结合的藏文人名识别方法 [J], 加羊吉;李亚超;于洪志5.一种规则与统计相结合的应用题句子语义角色识别方法 [J], 吴林静;劳传媛;范桂林;黄景修;刘清堂因版权原因，仅展示原文概要，查看原文内容请购买。

基于混合策略的藏文句子边界识别却措卓玛;华却才让;才让当知;夏吾吉【摘要】藏文句子边界识别作为藏文信息处理研究领域中的一项重要工作,在词法分析、句法分析、语义分析和机器翻译等领域都具有广泛的应用.在分析藏语句子的概念、分类和边界特征的基础上,提出一种基于混合策略的藏文句子边界识别方法.经实验模型在测试数据集上的F值达99.25％.【期刊名称】《内蒙古师范大学学报（自然科学汉文版）》【年(卷),期】2019(048)005【总页数】6页(P400-405)【关键词】藏文句子;边界特征;规则;支持向量机【作者】却措卓玛;华却才让;才让当知;夏吾吉【作者单位】青海师范大学计算机学院 ,青海西宁 810016;藏文信息处理教育部重点实验室 ,青海西宁 810008;青海省藏文信息处理与机器翻译重点实验室 ,青海西宁 810008;青海省藏文信息处理与机器翻译重点实验室 ,青海西宁 810008【正文语种】中文【中图分类】TP391.1藏语是一种古老的语言,具有自成体系的语言、语法、文字和标点符号.藏文标点符号体系中的楔形符存在较多歧义和功能不确定的问题,藏文中的楔形符具汉语句子中的顿号、逗号、感叹号和句号等功能,这种问题导致无法准确的识别藏文句子边界.然而藏文句子边界识别的结果会直接影响到词法分析、句法分析、机器翻译和语义分析等性能.因此,解决这个问题显得日益重要.藏文信息处理领域中也有部分专家和学者研究了藏文句子边界识别的问题,现有的藏文句子边界识别主要采用规则和统计的方法.李响等[1]采用规则和最大熵相结合的方法,在规模为48000句的测试集上识别了藏文句子边界,F值达到97.78%.赵维纳等[2]提出了基于法律文本的藏文句子边界识别方法,利用规则的方法对法律文本的句式特点进行了初步的分析和探讨.马伟诊等[3]提出了藏文句子边界的识别方法,根据边界符前后的词性来识别藏文句子,准确率达到96.37%.但以上文献未涉及藏文紧缩楔形符的自动识别问题,即藏文句子书写时句子边界词以“后加字”、“辅音字母”和“辅音字母”等结尾后不加空格的情况.藏文紧缩楔形符的自动识别对研究藏文句子边界具有很大帮助,同时非常必要.因此,本文提出了基于混合策略的藏文句子边界识别方法,探讨藏文紧缩楔形符的自动识别问题.经测试,其F值达到99.25%.1 藏文句子及句子边界特征1.1 藏文句子定义及分类藏文句子是表达相对完整意义的语言单位,由词和词组成,后加谓语成分,表明所述内容完整及具有语气鲜明的特点[6],藏文句子分为单句()和复句().1.1.1 藏文单句藏文单句是表达完整意义并且结构简单的句子,句中基本没有联词.藏文单句可以按语义和语气进行分类.藏文单句边界符为楔形符号,一般以边界词结尾,在疑问句中边界词后出现疑问词.按语气分为陈述句()、疑问句()、祈使句()和感叹句()四类简单句型;按语义分为有主句()、无主句()、存在句()、事物及特点相结合的句子()、本述句()和神态句()六类句型[6].1.1.2 藏文复句藏文复句是由两个或两个以上的意义上相关、结构上不构成句子成分的分句组成.其中分句是指结构上类似单句而没有完整句调的语法单位.复合句中的各分句之间一般有停顿,英汉语书面语中用标点符号表示,但由于藏文标点符号的特殊性,在书面语中用关联词来表示[3].藏文复句的句式按关联词在分句中所处的位置和整体结构层次关系,可以分为启下式、承上式和承上启下式三类,每类句式都有其自身的结构特征[6].其中启下式复句的关联词在前一分句的句尾或谓语动词之后出现,将直接连接后一个分句,构成连贯、停顿较小的复合句,如(公园里开满了鲜艳的花朵,其中最为亮丽的是玫瑰花和荷花.)承上式复合句的前一个分句是完整的单句,关联词在后一个分句的句首,构成不连贯、停顿较大的复句,如“”(人总是要死的,但死的意义不同.)承上启下复句中前一个分句的句末或后一个分句句首,会有出现相应的关联词,关联词的搭配要得当,如“”(现在许多地方的党委没有抓思想问题,或者抓得很少.)1.2 藏文句子的边界特征1.2.1 边界符特征藏文句子边界符特征需要考虑三个方面,第一,考虑标点符号(边界符),汉语的句子边界可以通过逗号、顿号和句号等的位置来准确识别,而对应的藏文标点符号只有楔形符号,因此导致无法准确识别藏文句子边界.楔形符包括单垂符()“”、双楔形符号“”()和四楔形符号“”().第二,考虑紧缩楔形符(以后加字为结尾的句子),藏文句子除了边界符还涉及到紧缩楔形符的问题,如“”(我想没有其他办法,不写作业老师肯定不会认同),本文共统计了361个紧缩楔形符(以为结尾的字),部分内容见表1.第三,考虑边界符号的特殊性,如结束符的添接法与离合词()相同,按同音原则,在后加字[]后面用[],[]后面用[],以此类推,如“”中的“”符合结束符的添接法,表示句子已经结束,但不按同音原则的结束符就不确定句子已结束,如“”中的“”跟前面的音节搭配为一个名词,表示句子还没结束.1.2.2 边界词特征藏文句子的语序结构跟英语和汉语的语序结构不同,属于SOV型语序结构,即{主语+宾语+谓语}的语序结构,动词始终位于句子的结尾部分,其句法功能是谓语的核心,也是整个句子的核心.一般藏文句子谓语部分的核心动词后会附加包含一些其他成分,这些成分可统称为动词的谓语,谓语的语序格式为{(谓语动词(+状语补语)(+助动词([情态和趋向])(+体貌-示正标记)(语气词))}[7].本文从不同类型的藏文文献中统计出了500多个藏文边界词,根据训练语料建立一个需要切分的300多个边界词和不需要切分的100多个歧义边界词,部分边界词和歧义边界词的内容见表1.藏文中充当关联成分的词有格助词、联词、副词、虚词结合的词语,共有四种形式[7].利用这些成分建立关联词表,共统计了92个关联词,部分关联词见表1.表1 特征词表Tab.1 Feature vocabulary紧缩楔形符边界词边界词歧义边界词关联词再后加字“”的词藏文句子的切分不同于汉语句子的切分,存在很大的歧义.因此本文首先利用规则的方法对藏文句子边界进行识别,然后对无法识别的歧义句子边界利用支持向量机做识别和切分处理.2 藏文句子切分图1 藏文句子边界识别系统框架Fig.1 Framework of Tibetan sentence boundary detection system2.1 藏文句子边界识别系统框架藏文句子边界识别分两层模式,第一层利用规则方法对测试语料做句子边界识别,若存在规则方法无法识别的歧义句子边界,则采用第二层支持向量机的方法进行处理.支持向量机模型的训练部分,首先在已标注好的训练语料中依据本文设计的特征模板抽取并生成句子边界特征向量,其次分别利用高斯(Rbf)、线性(Linear)、多项式(Poly)和S型(Sigmoid)等四种支持向量机核函数做训练模型,以解决歧义句子边界的切分问题,系统总体框架如图1所示.2.2 规则本文用规则进行藏文句子边界识别考虑的内容:藏文标点符号(边界符)、结束符和紧缩楔形符的句子边界识别.2.2.1 藏文边界识别及终结词的识别藏文句子边界符的多样性给藏文句子边界识别带来很大困难,并影响到机器翻译等研究工作.本文通过边界词表和关联表的规则,基本上能有效识别句子边界.其方法是:读入训练文本进行音节切分,其中藏文的编码范围是0F00-0FFF,藏文数字符号的编码范围是0F20-0F3D,藏文标点符号等可以在该范围内的字符两边添加分隔符进行切分,基本的音节切分(不含严格意义上的音节切分,如“紧缩词的处理”)后对文本进行读取,若楔形符之前的字为边界词或终结词,且楔形符之后的字或词不是关联词,则换行处理.2.2.2 紧缩楔形符边界词的自动识别依据藏文文法,藏文句子书写时句子边界词以“后加字”、“辅音字母”和“辅音字母”等结尾,在该句子末尾不会写楔形符号,以这些字符的部件(纵向最长的竖杠)表示藏文楔形符号,称之为紧缩楔形边界符号,这类边界词之后一般用空格进行分句,但是文献语料中总是会出现没有空格的情况,如中“”之后丢失了空格,导致无法识别该藏语句子的边界,增加了藏语句子切分的难度,本文利用紧缩楔形边界词表和长度异常音节间的字符串模式匹配算法,判断是否存在句子边界词,若存在紧缩楔形边界词,则作为句子边界进行句子切分处理.另外,模式匹配时已找到的紧缩楔形边界词后存在字符“”和“”的问题,如“”中的“”,因其中存在再后加字“”,通过匹配再后加字词表,将“”不会判断为紧缩楔形边界词,也不会把句子切分成“ ① ② ”的错误形式.紧缩楔形边界词和再后加字词表的部分内容见表1.2.3 支持向量机2.3.1 SVM模型支持向量机(Support Vector Machine,SVM)模型是有关监督学习的模型,是一种线性不可分变换到线性可分的问题过程,可以分析数据、识别模式、用于分类和回归分析的问题,给定一组训练样本,标记归为两类,将两类样本在特征空间进行线性分类,并在此特征空间中寻找最优样本进行线性分类(最优分类超平面)[8],其分类决策函数为f(x)=sgn(g(x))=sgn(w x+b),其中w是权重向量,x是特征向量,b是参数.核函数是SVM的核心的问题之一,常用的核函数有[11]线性核函数(Linear):k(xi,xj)=xiTxj,多项式核函数(Poly:k(xi,xj)={(xiTx)+1}δ,高斯核函数S型核函数(Sigmoid):k(xi,xi)=tanh {b(xiTxj)+c}.图2 SVM最优分类超平面Fig.2 Optimal classification hyperplane of SVM上述4个核函数中高斯核函数(Rbf)的性能最优,其次为线性核函数(Linear)和多项式核函数(Poly),S型核函数(Sigmoid)相对性能差.藏文句子边界识别中,本文将是否切分句子视作SVM的分类问题,如图2所示.从图2可知,通过支持向量机(SVM)的两类样本被超平面H线进行分隔,使得H1线和H2的距离最大.在藏文句子边界识别过程中,把藏文句子需要切分和不切分作为两类样本:需要切分(图2中“”)和不需要切分(图2中“ ”).2.3.2 特征模板的设计藏文训练语料中以边界符和紧缩楔形符为当前音节(S0)进行抽取句子并固定其位置,并从当前音节(S0)左右各抽取5个音节,进行人工标记,标记时需要切分的句子为1,不需要切分的句子为0,中性标为2.例如存在歧义边界词为“”的句子“”,抽取结果为“”,进行人工标记为0,不需要切分.如“”抽取结果为“”,进行人工标记为1,需要切分,其生成特征模板库及特征向量见表2和表3.表2 特征模板Tab.2 Feature templates音节特征实例特征值2S-1S02S0S+1223S+1S+200S-2S-1S001S-1S0S+1015S-2S-1S0S+1S+201S-4S-3S-2S-1S0016S-4S-3S-2S-1S0S+101S-3Ss-2S-1S0S+1s+20111S-5S-4S-3S-2S-1S0S+1S+2S+3S+4S+5013 实验3.1 歧义边界词的实验结果本文从各类藏文网站中获取的新闻、经书、小说和法律等藏文语料,通过整理和标注完成了规模达8000句的训练语料,其中包含300多个边界词和100多个歧义边界词.依据句子切分特征向量模板对训练语料进行生成特征库和特征向量化后,分别采用支持向量机(SVM)中常用的4个核函数进行实验,结果见表4.表3 句子边界特征向量化表Tab.3 Quantization of sentence boundary feature 音节句子块向量标注S-5S-4S-3S-2S-1S0S+1S+2S+3S+4S+5(2,2,0,0,0,0,0,0,0,0,0)0(2,2,0,1,1,1,1,1,1,1,1)1表4 歧义边界词的实验结果Tab.4 Experimental results of ambiguous boundary words核函数循环次数实验次数准确率第一次第二次第三次平均准确率高斯核(Rbf)100399.9599.9899.9799.96线性核(Linear)1000399.9599.9699.9899.96多项式(Poly)200398.9298.6697.5298.36S型(Sigmoid)1000389.2487.1487.7588.04 表4的结果表明,核函数中高斯核函数(Rbf)的性能最优,其次是线性核函数(Linear)和多项式核函数(Poly),S型核函数(Sigmoid)相对的性能差.3.2 评价指标为了评价本文提出的基于混合策略的藏文句子边界识别方法的性能,从准确率、召回率和F值三方面对藏文句子边界识别的系统性能进行评价,计算公式为[1]召回率F值3.3 实验结果实验从8000句切分标注语料中随机抽取285个句子作为测试语料,其余7715句作为训练语料,经统计测试语料中包含27个歧义边界词和100多个关联词.分别对相同的测试语料用规则方法、规则和支持向量机相结合的方法进行实验,验证不同方法对藏文句子边界识别的影响,实验结果见表5.表5 不同方法对藏文句子边界识别的影响Tab.5 The influence of different methods for boundary identification of Tibetan sentence方法训练语料的句子数测试语料的句子数系统切分的句子数系统正确切分的句子数准确率/%召回率/%F值%规则 800028525423793.3183.1687.94规则+SVM800028528228099.3098.9599.25实验结果表明,规则和支持向量机方法相结合识别性能较强.规则的方法解决了藏文边界符和紧缩楔形符的问题,并提高了藏文句子边界识别的性能,减少支持向量机对藏文句子边界歧义的误判,因此两种方法相结合提高了藏文句子边界识别的准确率.4 结语藏文句子边界符的多样性和紧缩楔形符的特性,给藏文句子边界识别带来很大困难,从而影响词法分析、句法分析、语义分析和机器翻译等藏文自然语言处理工作.针对该问题,本文提出了基于混合策略的藏文句子边界识别方法,主要结果为:(1)规则方法对藏文句子边界进行识别,利用特征词表解决了终结词和紧缩楔形符的藏文句子边界识别问题;(2)规则方法无法识别的藏文歧义句子边界,用支持向量机训练好的模型进行处理.从实验结果可以看出,本文提出的方法能有效识别藏文句子边界,F值达到99.25%.后期工作中,将扩充语料规模和补充开放语料进行测试,尝试用神经网络的方法自动识别藏文句子边界识别的问题,对不同的方法进行研究.参考文献:【相关文献】[1] 李响,才藏太,姜文斌,等.最大熵和规则相结合的藏文句子边界识别方法 [J].中文信息报,2011,25(4):39-45.[2] 赵维纳,刘汇丹,于新,等.基于法律文本的藏语句子边界识别 [C]//第五届全国青年计算语言学研讨会论文集,武汉:第五届全国青年计算语言学研讨会(YWCL 2010),2010:480-486.[3] 马伟珍,完么扎西,尼玛扎西.藏语句子边界识别方法 [J].西藏大学学报:自然科学版,2012(2):70-76.[4] 仁青吉,安见才让.藏文句子边界自动识别方法的研究 [J].信息与电脑:理论版,2014(8):62-63.[5] 格桑居,格桑央金.实用藏文文法教程 [M].成都:四川民族出版社,2004.[6] 吉太加.现代藏语文法通论 [M].兰州:甘肃民族出版社,2000.[7] 格桑居冕.藏语复句的句式 [J].中国藏学,1996(1):132-141.[8] 张学工.模式识别 [M].3版.北京:清华大学出版社,2010.[9] 赵维纳,于新,刘汇丹,等.现代藏语助动词结尾句子边界识别方法 [J].中文信息学报,2013,27(1):115-120.[10] 才藏太.基于最大熵分类器的藏文句子边界自动识别方法研究 [J].计算机工程与科学,2012,34(6):187-190.[11] 胡书津.简明藏文文法 [M].昆明:云南民族出版社,1998.[12] 夏吾吉,华却才让,色差甲,等.融合藏族人名音节特征的性别自动识别 [J].西北民族大学学报:自然科学版,2017(3):1-5.[13] 华却才让,姜文斌,赵海兴,等.基于感知机模型藏文命名实体识别 [J].计算机工程与应用,2014,50(15):172-176.[14] 李航.统计学习方法 [M].北京:清华大学出版社,2012:95-133.。

Journal of Chinese Language and Computing 15 (4): (185-192)现代藏语致使动词句中宾语小句的边界识别*江荻上海师范大学语言研究所，上海200234，中国中国社会科学院民族学与人类学研究所，北京 100081，中国email: jiangdi@_________________________________________________________________________ 摘要藏语致使动词句的基本构式是S+w（AG）+｛S（PS）+w（POS）+VP｝+u（CAU）+V（CAV）。

其中，全句动词是典型致使动词（V（CAV））vjug，并且带致使助词（u（CAU）），全句主语（S）总是带施格标记（w（AG）），致使宾语小句主语（S（PS））则一般带领有格标记（w（POS））。

致使动词句宾语小句的左边界可利用致使助词或致使动词判定，而其右边界的判定则比较复杂。

进入致使动词句构式的其他动词通常能获得致使意义，称为非典型致使动词句，但这类句式的句法标记纷繁复杂，很难用来直接判定宾语小句的边界。

关键词藏语，致使动词句，宾语小句，施格标记，致使助词，边界识别_____________________________________________________________1 藏语致使动词句的基本结构藏语致使动词句由主语、致使动词、宾语小句构成。

从句法结构上看，较典型的句法形式是：S+｛PS｝+V（CAV）。

其中，S总是带施格标记（-AG）；PS（宾语小句）的主语带领有格标记（-POS）或施格标记（-AG），小句动词不带谓词性语尾；V 是致使动词，它与宾语小句之间往往插入一个致使助词（-CAU）①。

（周季文，谢后芳 2003）藏语最典型的致使动词是vjug（未来时形式gzug，过去时形式bcug，命令式形式chug），义为“让、使、允许”。