基于统计的中文地名识别
- 格式：pdf
- 大小：237.95 KB
- 文档页数：6
中 文 信 息 学 报
第
17卷第
2期
JOURNALOFCHINESEINFORMATIONPROCESSINGVol1
17No12
文章编号
:1003-0077(
2003)
02-0036-06
基于统计的中文地名识别Ξ
黄德根
,岳广玲
,杨元生
(大连理工大学计算机科学与工程系
,大连
116024)
摘要:本文针对有特征词的中文地名识别进行了研究。该系统使用从大规模地名词典和真实文本语料库
得到的统计信息以及针对地名特点总结出来的规则
,通过计算地名的构词可信度和接续可信度从而识别中
文地名。该模型对自动分词的切分作了有效的调整
,系统闭式召回率和精确率分别为
901
24%和
931
14%,开
式召回率和精确率分别达
861
86%和
911
48%。
关键词
:计算机应用
;中文信息处理
;中文地名识别
;构词可信度
;接续可信度
;自动分词
中图分类号
:TP3911
4 文献标识码
:A
IdentificationofChinesePlaceNamesBasedonStatistics
HUANGDe2
gen
YUEGuang2
ling
YANGYuan2
sheng
(
DepartmentofComputerScienceandEngineering,DalianUniversityofTechnology,DaLian
116024,China)
Abstract:Unknownwordrecognitionisoneofthechallengingtasksinnaturallanguageprocessingresearch.Thispa2
perproposesaplacenameidentificationmodelindictionary2
basedChinesewordsegmentation,inwhichweusedsta2
tisticalinformationdrawnfromatrainingcorpustocalculatelexicalreliabilityandcontextualreliability.Therulesof
Chineseplacenamesarealsousedinthemodel.WeappliedthisapproachtoaChinesemorphologicalanalysissystem,
andachieved90.24%recalland931
14%precisioninclosetest,whiletherecallandprecisionalsoreach861
86%
and911
48%inopentest.
Keywords:computerapplication;Chineseinformationprocessing;ChinesePlaceNameIdentification,LexicalRelia2
bility,ContextualReliability,Automaticwordsegmentation
一、引言
专有名词识别是汉语自动分词中的难题之一。目前
,国内有关中文姓名识别的研究较多
,
提出了基于统计[1～3]
和基于语料库[4]
的中文姓名识别方法
,达到了很好的识别效果。而中文
地名识别相对比较少。主要有
:文献
[5]采用统计模型
,利用属性矩阵和频级进行筛选
,达到了
较高的召回率,但精确率偏低。文献
[6]采用基于语料库的方法
,根据地名词典统计分析地名
用字的信息以及这些字在真实文本中使用程度信息进行地名识别
,对地名识别取得了一定的
效果。文献
[7]在文献
[6]的基础上
,提出了一种基于交换的地名识别方法
,得到地名上下文的
规律
,对规律再进行筛选
,这种方法有效地提高了系统的精确率(精确率提高了
7%)。
本文阐述的是含地名特征词的中文地名识别方法
,提出了地名构词可信度和地名接续可
63Ξ收稿日期
:2002-07-22
基金项目
:国家自然科学基金资助项目(
60143002)
作者简介
:黄德根(
1965—)
,男
,副教授
,主要研究领域为自然语言理解与机器翻译
.
© 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net信度概念。不仅运用了地名用词频度信息
,而且还利用从大量的真实文本中统计出来的地名
与其上下文之间的接续频度信息
,较好地解决了召回率和精确率之间的关系。
二、中文地名的特点
中文地名主要有如下特点[5,6]
:
11中文地名数量大
,没有明确规范的地名定义。并且随着经济和社会的发展
,会有新的
地名不断出现。
21中文地名用词比较自由、分散
,同时中文地名用词又有相对集中的覆盖能力。
31地名结尾经常有地名特征词出现
,如“自治区、路、水库”。但地名特征词出现的情况比
较复杂
:既可以作为普通用词出现
,又可以出现在地名其它位置。
41地名长度没有严格限制
,短的如“京”
,长的如“双江拉祜族佤族布朗族傣族自治县”。
51可作单字词的汉字在地名中经常出现
,如“西
|直
|门、马
|家
|塔。”
61地名中不同位置可含有多字词
,如“龙王
|洞
|山、兵书
|宝剑
|峡”等。
71地名有时同一些介词、动词、方位词之类的指示词出现
,但有些指示词也可以作为地名
组成部分。
81经常多个地名一起出现
,如“
|～吉林省～
|～四平市～
|～梨树县～
|～梨树镇～
|～霍家店
村～
|”。
其中
,1、
4增加了地名识别难度
,3、
7可能使候选地名产生交叉歧义
,2、
5、
6使部分地名边
界模糊
,8则有助于地名识别。
三、中文地名识别模型
31
1 基本定义
定义
1 设
SpNameSpecialWord为地名特征词表
,SpNameChar为地名前部词表。则中
文地名(
SP)定义为
:
SP=F
0F+
S
其中
F+
=
F
1…
F
n,F
i∈
SpNameChar(
i=1,…
,
n)
,
S∈
SpNameSpecialWord.F
0定义
为地名首字
,F+
为地名中部
,F
0F+
统称为地名前部词
,S为地名特征词(如
:省、市等),即地
名是由地名前部词和地名特征词组成的。
11根据是否可以作为地名的前部词
,地名特征词分为
:
(
1)只能作为地名特征词而不能作为地名前部词(“省”、“开发区”、“三角洲”)
(
2)既能作为地名特征词
,又能作为地名前部词(“江”、“湖”、“岗”)
根据组成地名的长度
,地名特征词又可以分为
:
(
1)组成的地名可以少于三个单字长度(“县”、“山”、“盟”)
(
2)组成的地名至少三个单字长度(“路”、“观”、“坡”)
21根据在地名中出现的位置
,地名前部词可以为
:
(
1)不能作为地名首字的词(“满族”、“现”、“敢”)
(
2)不能作为地名中部的词
,这样的一般也多为多字词(“黄粱梦”)
根据与特征词的关系
,地名前部词又可以为
:
(
1)不能单独和特征词连用作为地名(“可”、“并”、“个”)
(
2)只能和特征词连在一起用
,这样的一般为多字词(“平等”、“中央”、“胜利”)
73
© 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net定义
2 地名前词是指在真实文本中地名的前一个词。如“在
|～大连市～
|”
,“在”是地
名“大连市”的地名前词。其分类如下
:
11肯定前词
:地名识别过程中
,遇到该词不需要继续向前搜索
,如“针对”、“关于”等。
21可能前词
:地名识别过程中
,遇到该词还需其它的信息来判断究竟是不是地名前词
,这
是地名识别的难点。
从下列不同的角度
,可能前词可进一步分为
:
(
1)当可能前词后面的地名前部词字数大于等于
2时
,该可能前词才可能成为地名前词,
这种多为没有独立意义的单字词。如“起”
,在句子“西
|起
|～嘉峪关～
|”中
,“起”是前词
,而在
地名“
|～旺起镇～
|”中
,“起”是地名用字。
(
2)必须根据地名后面的单词才能判断该词是否为地名的前词
,如“原
|～中山区～
|区
长”
,根据“区长”
,可判断“原”字为地名的前词。
定义
3 地名后词是指在真实文本中地名的后一个词。
定义
4 常规切分是指不含地名识别的分词
;按地名切分是指含地名识别的分词。
定义
5 地名构词可信度是根据地名用字用词情况
,判断它作为地名的可信度
;地名接续
可信度是根据地名的构成及其上下文的接续关系来判断它作为地名的可信度。
定义
6 地名构词评价系数是指根据地名用词之间搭配情况
,对其构词可信度或增大或
减小的评价系数
;地名接续评价系数是指根据地名的构成以及其上下文对其接续可信度或增
大
,或减小的评价系数。
31
2 地名识别所用的资源
本文根据《中国地名录》[8]
(含地名约
4万条)
,建立了地名特征词表(
SpNameSpe2
cialWord)和地名前部词表(
SpNameChar)。其中
,地名前部词表记录为
3655条
,地名特征词
表记录为
127条。为评测地名识别效果
,从
98年《人民日报》上随机抽取了
200万字的语料
,
并对其进行人工标注后生成学习语料。其中
,对学习语料中出现的专有名词(中文人名、中文
地名、中文机构名及其它专有名词)分别进行了人工标记
,之后
,对学习语料中每一个单词出现
的频度进行统计
,建立了单词频度词典(
Unigram)和双词接续词典(
Bigram)。
31
3 算法模型
根据定义
1
,SP=
F
0F+
S其中
F+
=
F
1…
F
n,F
i∈
SpNameChar(
i=1
,…
,n)
,S∈
Sp2
NameSpecialWord,下面分别给出模型要用到的公式
:
11地名特征词的可信度
P
l(
S)
P
l(S)=P
l0(
S)
∑
P
l0(
y)
y∈
SpNameSpecialWord
P
l0(
S)=log(
D(
S)+2)
2(1)
D(
S)是字串
S作为地名特征词在中国地名库中出现的次数。
21地名首字可信度
P
h(
F
0)
P
h(
F
0)=P
h0(
F
0)
∑
P
h0(
y)
y∈
SpNameChar
P
h0(
F
0)=log(
C(
F
0)+2)
2(2)
C(
F
0)是字串
F
0作为地名首字在中国地名库中出现的次数。
31地名中部可信度
P
f(
F+
)
83
© 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
