基于支持向量机方法的中文组织机构名的识别

第２５卷第２期　２００８年２月　计算机应用研究　Ａｐｐｌｉｃａｔｉｏｎ　Ｒｅｓｅａｒｃｈ　ｏｆ　Ｃｏｍｐｕｔｅｒｓ　Ｖｏ１＿２５　Ｎｏ．２　Ｆｅｂ．２００８　

基于支持向量机方法的中文组织机构名的识别木　

陈霄，刘慧，陈玉泉　

（上海交通大学计算机科学系，上海２００２４０）　

摘要：在应用基本的支持向量机算法的基础上，提出了一种分步递增式学习的方法，利用主动学习的策略对　

训练样本进行选择，逐步增大提交给学习器训练样本的规模，以提高学习器的识别精度。实验表明，采用主动学　

习策略的支持向量机算法是有效的，在实验中，中文机构名识别的正确率和召回率分别达到了８１．７％和　

８６．８％。　

关键词：机构名识别；支持向量机；主动学习　．　

中图分类号：ＴＰ３０１．６　文献标志码：Ａ　文章编号：１００１．３６９５（２００８）０２．０３６２．０３　

Ｃｈｉｎｅｓｅ　ｏｒｇａｎｉｚａｔｉｏｎ　ｎａｍｅｓ　ｒｅｃｏｇｎｉｔｉｏｎ　ｂａｓｅｄ　ｏｎ　ＳＶＭ　

ＣＨＥＮ　Ｘｉａｏ，ＬＩＵ　Ｈｕｉ，ＣＨＥＮ　Ｙｕ・ｑｕａｎ　

（Ｄｅｐｔ．ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ，Ｓｈａｎｇｈａｉ　Ｊｉａｏｔｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ　２００２４０，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｔｈｉｓ　ｐａｐｅｒ　ｉｎｔｒｏｄｕｃｅｄ　ＳＶＭ・ｂａｓｅｄ　ｍｅｔｈｏｄ，ｗｈｉｃｈ　ｕｓｅｄ　ａｃｔｉｖｅ　ｌｅａｎｉｎｇ　ｓｔｒａｔｅｇｙ　ｔｏ　ｉｎｃｒｅｍｅｎｔａｌｌｙ　ｓｅｌｅｃｔ　ｎｅｗ　ｉｎｓｔａｎｃｅｓ　ｔｏ　ｂｅ　ｌａｂｅｌｅｄ　ａｎｄ　ｉｎｃｌｕｄｅｄ　ｉｎ　ｉｔｓ　ｔｒａｉｎｉｎｇ　ｓｅｔ　ｔｏ　ｆｏｒｍ　ａｎ　ｉｎｃｒｅｍｅｎｔａｌ　ｃｏｕｒｓｅ　ｏｆ　ｌｅａｒｎｉｎｇ．Ｔｈｅ　ｒｅｓｕｌｔ　ｏｆ　ｔｈｅ　ｔｅｓｔ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ｍｅｔｈｏｄ　ｉｓ　ｅｆｆｉｃｉｅｎｔ　ａｎｄ　ｔｈｅ　ｐｒｅｃｉｓｉｏｎ　ａｎｄ　ｒｅｃａｌｌ　ｏｆ　Ｃｈｉｎｅｓｅ　ｎａｍｅｓ　ｒｅｃｏｇｎｉｔｉｏｎ　ａｃｈｉｅｖｅｄ　ａｒｅ　８１．７％ａｎｄ　８６．８％ｒｅｓｐｅｃｔｉｖｅｌｙ．　Ｋｅｙ　ｗｏｒｄｓ：ｏｒｇａｎｉｚａｔｉｏｎ　ｎａｍｅｓ　ｒｅｃｏｇｎｉｔｉｏｎ；ＳＶＭ（ｓｕｐｐｏ￣ｖｅｃｔｏｒ　ｍａｃｈｉｎｅ）；ａｃｔｉｖｅ　ｌｅａｒｎｉｎｇ　

中文组织机构名的识别是中文信息处理中的一个重要任　

务，也是命名实体识别（ｎａｍｅｄ　ｅｎｔｉｔｙ　ｒｅｃｏｇｎｉｔｉｏｎ）研究的重点之　

一。命名实体包括人名、地名、机构名和时间短语等。组织机　

构名是其中非常重要的一部分。有统计数据显示，中文组织机　

构名在命名实体中的比例为２０．２％　】　。机构名泛指机关、团　

体或其他企事业单位，包括学校、公司、医院、研究所和政府机　

关等组织机构的名称。由于这类词涉及广泛、种类繁多、形态　

各异、随时间不断变化，并且中文机构名又不存在英文中那样　

明确的形态标记，其识别的难度较大。　

目前中文机构名的识别方法主要有基于规则和基于统计　

两大类。研究较多的是基于统计的方法，所采用的方法包括隐　

马尔科夫模型　Ｊ、最大熵模型　等，取得了一定的效果。采　

用统计方法的系统性能与所使用的标注语料的领域和规模密　

切相关。机构名的构成很不稳定，随着领域和时间的不同会有　

很大的变化。语料的标注耗时耗力，往往成为提高系统性能的　

关键性问题，也限制了系统在不同应用领域之间的移植，难以　

满足其真实应用的需求。　

在统计学习理论的基础上发展起来支持向量机（ｓｕｐｐｏ￣　

ｖｅｃｔｏｒ　ｍａｃｈｉｎｅ）是一种新的通用学习方法。与过去的一些统计　

学习方法相比，基于结构风险最小化原则的支持向量机已经表　

现出一些优越的性能。特别是在样本集有限的情况下，它往往　

能取得优于其他方法的结果。目前，支持向量机已经应用于自　

然语言处理的许多领域，如文本分类、浅层句法分析、专名识别　

等，都取得了不错的效果。本文即是支持向量机在中文机构名　

识别方面的一些尝试性研究：用支持向量机对切分正确的语料　

中的中文机构进行识别，并在样本选择和模型训练时，结合主　

动学习的策略，提高学习器精度并减少人工样本标注的成本。　１　支持向量机的基本原理　

１．１最优分类超平面　

ＳＶＭ是从线性可分情况下的最优分类面发展而来的。其　

基本思想是：对线性可分的样本集Ｓ＝｛（　，Ｙ　）　∈Ｘ，Ｙ。∈　

｛＋１，一１｝｝，ＸＣＲ　（其中：　为样本集；　为原始输入空间；ｙ　

为样本的类别标志），找到一个最优分类面，不但能将两类正　

确分开（训练错误率为０），而且最大化分类间隔。求最优分　

类超平面的问题可以形式化地表示为求解如下的最优化问题。　

ｒａｉｎ　１／２】Ｊ　Ｗ　

Ｓ．ｔ．Ｙ　（Ｗ・　）＋ｂ］≥１；ｉ＝１，２，…，ｎ　（１）　

用Ｌａｇｒａｎｇｅ乘子法可将其转换为对偶形式：　

ｍａｘ　一　／２　毳１　Ｙ　”（　‘　）　

ｓ．　．ｔ　∑ｙ　＝０；　ｉ＞０；ｉ＝１，２，…，ｎ　（２）　

一　ｙ　ＳｉＸ　

这是一个不等式约束下二次函数寻优的问题，存在惟一　

解，而解中只有一部分　（通常是少部分）不为零，相对应的　

样本为支持向量。所以解上述问题得到的最优分类函数为　

）＝ｓｇｎ［（　・　）＋ｂ］＝ｓｇｎ［∑吼Ｙｆ（　・　）＋ｂ］　（３）　

在线性不可分的情况下，可以增加一个松弛项　≥Ｏ，则相　

应的优化问题转换为　

ｒａｉｎ　１／２　ｌｌ　Ｗ　

Ｓ．ｔ．Ｙ　［（Ｗ・　）＋ｂ］≥１一　ｆ；　≥０；ｉ＝１，２，…，ｎ　（４）　

收稿日期：２００６—１１—２３；修回日期：２００７—０２—２８　基金项目：国家自然科学基金资助项目（６０４９６２３６）　作者简介：陈霄（１９８２一），男，硕士研究生，主要研究方向为计算语言学；刘慧（１９８０一），男，博士研究生，主要研究方向为计算，Ｌ　￣　＿４－－学；陈玉泉　

（１９６８一），男，副教授，硕导，主要研究方向为计算，Ｅ　６－　￣－学、信息检索（ｙｑｃｈｅｎ＠　【ｕ．ｅｄｕ．ａｎ）．

　维普资讯 http://www.cqvip.com 第２期　陈　霄，等：基于支持向量机方法的中文组织机构名的识别　・３６３・　

其中：ｃ＞１０是一个常数，它控制对错分样本惩罚的程度。最优　

分类超平面的对偶问题与线性可分情况下几乎完全相同，只是　

式（２）变为０≤　≤ｃ（ｉ＝１，２，…，ｎ）。　

１．２支持向量机和核函数　

对非线性问题，可以通过非线性变换将其转换为某个高维　

空间中的线性问题，然后在变换空间求最优分类面。这种变换　

就是在上面的对偶问题中训练样本之间的内积运算（　・　）　

变换为高维空间的内积运算。这种内积运算是可以用原空间　

中的函数实现的。根据泛函的有关理论，只要一种核函数Ｋ　

（　・　，）满足Ｍｅｒｃｅｒ条件，它就对应某一变换空间中的内积。　

因此，在最优分类面中采用适当的内积函数Ｋ（　・ｘｊ）就可以　

实现某一非线性变换后的线性分类，计算复杂度却没有增加。　

此时目标函数式（３）变为　

ｎ　，（　）＝ｓｇｎ［　Ｙ　（　・　）＋ｂ］　（５）　

即支持向量机的标准形式　。　

由于支持向量机基于结构风险最小化的原理，有效地控制　

了ＶＣ维，具有良好的泛化能力；通过把原问题转换为对偶问　

题，计算的复杂度不再取决于空间维数，而是取决于样本数，尤　

其是样本中的支持向量数，具有良好的高维处理能力。　

２主动学习策略　

２．１　统计学习中主动学习策略　

主动学习是一种迭代地从未标注样本中选择最富含有效　

信息的样本，然后交由人工标注的机器学习技术。由于学习器　

每次能够从大量的未标注文本中提取出一些最具有训练效用　

的样本，减少了那些对提高学习器精度帮助不大的冗余样本的　

标注，因而学习器只需更少的样本便能获得相同精度。主动学　

习的理论依据在于，通过系统地降低统计学习器的期望错误率　

可以做到对训练数据的优化选择。　

基于不确定性的样本选择（ｕｎｃｅｒｔａｉｎｔｙ－ｂａｓｅｄ　ｓａｍｐｌｉｎｇ）。。　

是一种主要的主动学习策略。它首先让学习器对未标注实例　

进行标注并给出学习器对该样本标注的置信度度量；然后依据　

置信度度量来进行样本的选择。其依据就是那些学习器最不　

确定的样本对提升学习器精度的帮助最大。这类主动学习算　

法的重点就是构造一种合理的度量机制来评估学习器输出的　

标注序列的置信度。通常情况下，对输出为概率值的学习器，　

往往用样本不同标注的概率分布的熵来作为置信度。　

２．２支持向量机方法的主动学习策略　

采用基于不确定性的样本选择的主动学习策略通常需要　

学习器输出的是样本标注的概率值，而支持向量机的输出不是　

概率。为了解决这个问题，需要构造一种新的置信度的度量　

值。笔者知道基本的二分类的支持向量机输出的是一个判定　

值，其绝对值就是样本到最优分类超平面的距离。因此，一种　

直观的想法是将该距离作为学习器标注的置信度。文献［７］　

基于该想法提出了一种将支持向量机输出映射为概率的方法：　

ｐ（Ｙ＝１　Ｉｆ（　））＝１／［１＋ｅｘｐ（Ａｆ（ｘ）＋曰）　其中：Ｙ是样本标注；厂（　）是支持向量机输出的判定值；Ａ、曰是　

需要确定的参数值。可以证明，在Ａ＜０的情况下，该概率值与　

厂（　）具有相同的单调性。事实上，由于并不需要知道确定的概　

率值而是它的度量，本文直接采用支持向量机的输出判定值的　绝对值作为置信度的度量。　

３基于主动学习支持向量机的中文机构名识别策略　

３．１　基于支持向量机的机构名识别策略　

中文组织机构名识别任务可由下面的模型表示：设一个由　

ｎ个词组成的汉语句子为Ｓ＝Ｗｌ，　，　，…，　。　表示句子　

的第ｉ个词；ｔ为词　的标记。通常采用ＩＯＢ标注法对每个　

词进行标注，即：Ｂ表示该词为机构名的起始词；Ｉ表示机构名　

的非起始词，０表示机构名之外的词。例如：“逢博／０以／０优　

异／０成绩／０考ＩＰｙ．／ｏ了／０上海／Ｂ同济／Ｉ大学／Ｉ。／Ｏ”。因　

此，机构名识别过程就变成了对句子的每一个词进行标注的问　

题。进一步地，可以表示成对一个词为样本单位的分类问题，　

而该分类问题可以由支持向量机来完成。实际上，可以将机构　

名部分即Ｉ、Ｂ标注归成一类，这样就变成了一个最基本二分类　

问题。　

对于样本的特征选取，本文选择一个词及其上下文（前后　

两个词）的词性，机构名的标注作为样本特征。另外，考虑到　

中文机构名的组成特征，本文还引入了机构名称呼词置信度的　

特征。机构称呼词是指出现在机构名尾部，表示机构名称呼的　

词（如公司、协会、委员会等）。机构称呼词是机构名组成的中　

心词，在对机构名的识别有重要作用。笔者计算其机构称呼词　

置信度Ｐ　（　）为　

Ｐｈ（ｔ‘１）＝Ｐ加（　）／∑Ｐ加（ｙ）　

Ｐ加（　）＝ｌｏｇ２（Ｃ（　）＋２）　

其中：ｙ是所有在机构称呼词表中的词；Ｃ（　）为该词作为机构　

名出现的次数。为了计算机构名称呼词的置信度，还必须维护　

一个包含词频信息的机构名称呼词表。由于开始时，并没有这　

样一个机构名称呼词表，本文采取了以下的办法：结合主动学　

习的训练过程，先从最开始的用于训练的标注语料中统计出现　

的机构名称呼词及其词频信息，构建一个初始的机构名称呼词　

表；然后，随着每次新选择的样本的加入，更新词表及词频　

信息。　

这样，最终的样本特征确定为Ｘ＝（Ｐ　，２　，Ｐ　（　Ｈ），　

Ｐ　—ｌ，ｌ　一１，Ｐ＾（　ｆ一１），Ｐｆ，Ｐ＾（　），Ｐｆ＋ｌ，Ｐ＾（　＋１），Ｐｆ＋２，Ｐ＾（　ｆ＋２））。