基于《知网》的词汇语义相似度计算

９　；　中图分类号：ＴＰ３９１　２０１０年第３期　文献标识码：Ａ　文章编号：１００９一ｚ５５２（２ｏｌｏ）ｏ３—０Ｏ９０—０４　基于知网的词语语义相关度计算　赵应秋，罗　军，张君艳　（重庆大学计算机学院，重庆４０ＯＯ４４）　摘要：现有的词语语义相关度算法大多单纯依赖于语义相似度算法，没有充分利用词语间的　语义关系，导致其存在局限。在充分挖掘词语间的隐含语义关系基础上，将语义关系应用于语　义关联度的计算，最终将语义相似度以及语义关联度结合起来，提出了语义相关度算法。实验　结果表明，使用该计算方法得出的语义相关度更加合理，符合人的直观感觉。　关键词：知网；语义相关度；语义关系　Ｗｏｒｄ　ｓｅｍａｎｔｉｃ　ｒｅｌｅｖａｎｃｙ　ｃｏｍｐｕｔａｔｉｏｎ　ｂａｓｅｄ　ｏｎ　ＨｏｗＮｅｔ　ＺＨＡ０　Ｙｉｎｇ－ｑｉｕ，ＬＵ０　Ｊｕｎ，ＺＨＡＮＧ　Ｊｕｎ－ｙａｎ　（Ｓｄｌｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ，ｃｈｏｎｇｑｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，Ｑｌ０ｎｇｑｉｎｇ　４０Ｏ０４４，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｔｈｅ　ｃｕｒｒｅｎｔ　ａｌｇｏｒｉｔｈｍｓ　ｏｆ　ｓｅｍａｎｔｉｃ　ｒｅｌｅｖａｎｃｙ　ａｒｅ　ａｌｍｏｓｔ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　ａｌｇｏｒｉｔｈｍｓ　ｏｆ　ｓｅｍａｎｔｉｃ　ｓｉｍｉｌａｒｉｔｙ　ｓｉｍｐｌｙ．Ａｎｄ　ｔｈｅｙ　ｄｏｎ’ｔ　ｍａｋｅ　ｔｈｅ　ｍｏｓｔ　ｏｆ　ｔｈｅ　ｓｅｍａｎｔｉｃ　ｒｅｌａｔｉｏｎｓ　ｂｅｔｗｅｅｎ　ｗｏｒｄｓ．Ｓｏ　Ｉｔ　ｒｅｓｕｈｓ　ｉｎ　ｌｉｍｉｔａｔｉｏｎ　ｏｆ　ｔｈｅｓｅ　ａｌｇｏｒｉｔｈｍｓ．Ｔｈｉｓ　ｐａｐｅｒ　ｍｉｎｅｓ　ｔｈｅ　ｉｍｐｌｉｅｄ　ｓｅｍａｎｔｉｃ　ｒｅｌａｔｉｏｎｓ　ｂｅｔｗｅｅｎ　ｗｏｒｄｓ，ａｐｐｌｉｅｓ　ｔｈｅｓｅ　ｒｅｌａｔｉｏｎｓ　ｔｏ　ｔｈｅ　ｃｏｍｐｕｔａｔｉｏｎ　ｏｆ　ｓｅｍａｎｔｉｃ　ａｓｓｏｃｉａｔｉｖｉｔｙ，ａｎｄ　ｐｒｏｐｏｓｅｓ　ａ　ｎｅｗ　ａｌｇｏｒｉｔｈｍ　ｏｆ　ｓｅｍａｎｔｉｃ　ｒｅｌｅｖａｎｃｙ　ｏｎ　ｔｈｅ　ｂａｓｉｓ　ｏｆ　ｓｉｍｉｌａｒｉｔｙ　ａｎｄ　ａｓｓｏｃｉａｔｉｖｉｔｙ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ｍｓｕｈｓ　ａｒｅ　ｍｏｒｅ　ｓａｔｉｓｆａｃｔｏｒｙ　ａｎｄ　ｃｌｏｓｅｓｔ　ｔｏ　ｈｕｍａｎ　ｓｉｍｉｌａｒｉｔｙ　ｊｕｄｇｎｅｎｔｓ．　Ｋｅｙ　ｗｏｒｄｓ：ＨｏｗＮｅｔ；ｓｅｍａｎｔｉｃ　ｒｅｌｅｖａｎｃｙ；ｓｅｍａｎｔｉｃ　ｒｅｌａｔｉｏｎ　０　引言　词语相关度反映了两个词语互相关联的程度，　即词语之间的组合特点，它可以用这两个词语在同　一个语境中共现的可能性来衡量。词语相关度可以　应用于信息检索、句法消歧、文本分类、文本聚类等　领域。　目前，词语相关度有两类计算方法，一类是基于　统计的方法，另一类是基于语义词典的方法。统计　的方法是利用文档集中词语间共现性的统计数据，　即根据语料库中经常共同出现的词语往往相关度很　大来确定词语间的相关度。但是这种方法只是利用　文档或者文档片断中包含的内容信息，忽略了词语　之间的具体关系以及关联的语义依据＿】Ｊ。而基于语　义词典的方法是依据已有的词典，如ＷｏｒｄＮｅｔ、知网　等知识源提供的分类体系来计算词语在语义上的相　关程度。许云等人基于语义相似度计算以及知网的　语义信息，提出了语义相关度的计算方法，即利用知　一９０一　网义原纵向与横向关系及实例信息来计算不同词性　的词语之间的语义相关度。但是知网中只有部分义　原具有解释义原，并且标注的实例信息十分有限，因　此算法存在很大的局限性　Ｊ。　值得注意的是由于语义相关度包含了语义相似　度的概念，所以语义相似度算法对语义相关度算法　具有很高的参考价值。刘群和李素建在对知网中知　识描述语言的语法进行仔细的研究基础上，实现了　词语相似度计算的算法＿３　Ｊ。江敏等人又在刘群的基　础上，加入义原间的反义、对义关系来计算词语的相　似度ＨＪ。　本文充分利用知网中丰富的语义关系，在计算　语义相关度以及语义关联度的基础上，提出一种基　于知网的词语语义相关度计算方法，并且实现了该　收稿日期：２（１０９—１２一ｌｌ　作者简介：赵应秋（１９８４一），女，硕ｊ：研究生，主要研究方向为语义　

2017

年3

月

第38

卷第3

期计算机工程与设计

COMPUTER ENGINEERING AND DESIGNMar. 2017

Vol. 38 No. 3

基于抽象概念的知网词语相似度计算

朱新华

h2，郭小华\邓涵\马润聪1

(1.广西师范大学计算机科学与信息工程学院，广西桂林541004;

2.广西区域多源信息集成与智能处理协同创新中心，广西桂林541004)

摘要：

针对基于知网的词语相似度算法进行研究，提出一种基于抽象概念的词语相似度的快速计算方法。将《知网》义

项语义表达式中带有关系约束的第一独立义原定义成抽象概念，将义项语义表达式转换成一个多层次的抽象概念组；根据

义项定义中的抽象概念将义项挂到《知网》现有的义原树中，形成一棵包含义原、抽象概念与义项等概念的义项树；利用

义项树中的深度与路径，在现有优秀算法基础上，通过适当的义项定义的预处理与参数调节，直接计算义项间的语义相似

度，避免复杂的意义相似性计算。实验结果表明，该方法对于MC30

词对的相似度计算值与人工

判定值相比，取得了 0.84

的Pearson

相关系数，达到了目前优秀词语相似度算法的水平。

关键词

：词语相似度；知网；义项树；抽象概念；最短路径；深度

中图法分类号

：TP391 文献标识号：

A 文章编号

：1000-7024 (2017) 03-0664-07

doi

：

10. 16208/j. issnl000-7024. 2017. 03. 020

Word similarity calculation based on abstract concept in HowNet

ZHU Xin-hua1，2，GUO Xiao-hua1，DENG Han1，MA Run-cong1

(1. College of Computer Science and Information Technology, Guangxi Normal University, Guilin 541004, China；

- 1 - 基于语义词典和本体知识的概念相似度计算

此文档将阐述基于语义词典和本体知识的概念相似度计算（ConceptualSimilarityCalculationBasedonSemanticDictionaryandOntologyKnowledge），它是计算机领域中一种重要的实证研究领域，运用计算机技术和语言学知识来处理大规模数据，探索两个或更多的概念在语言上的差异和关联。从宏观上来看，概念相似度计算可以应用于计算机语言处理领域，如文本摘要，语义分析，机器翻译，自动问答，文档检索和搜索，信息检索等重要研究领域。

语义词典和本体知识是概念相似度计算的关键构建部分，它们是专业语言学知识的集合，包括英语词典，概念空间，形式语言，语义网络，概念图和静态本体等，这些信息包含了该语言中的不同概念的含义，协助实现概念之间的相似度计算。

概念相似度计算的基本思想是基于多种信息计算两个或多个概念之间的相似度。具体而言，概念相似度计算可以分为两个主要步骤：（1）语义词典建模；（2）本体知识建模。

首先，语义词典建模可以根据概念之间的正式定义，选择和组织一系列概念信息，构建语义词典，将概念信息表示成词语，概念，关联等。据此，可以根据语义信息建立概念相似度模型，计算不同概念之间的相似度，进而实现概念之间的联系。

其次，本体知识建模是概念相似度计算的重要组成部分，指的是本体知识建模语言（Ontology Knowledge Modeling Language）。本体知识是以概念、关系和概念之间的关系的形式建模的，它由多种方 - 2 - 式表示知识，定义概念和实例之间的关系，以及概念之间的关系。本体知识建模技术可以将概念模型数据转换为本体模型，并将本体知识应用于知识管理，确定概念之间的关联，考虑概念之间的相似度，从而实现概念之间的相似度计算。

最后，将语义词典和本体知识相结合，实现概念相似度计算。基于语义词典和本体知识的概念相似度计算模型可以表示概念之间的关系，并以计算概念之间的距离来实现概念之间的相似度计算。此外，概念相似度计算还可以应用于自然语言处理，智能搜索，机器翻译，信息检索，文本分析等研究领域，实现复杂概念之间的关系推断。

- 1 - 基于知网的词语语义相关度计算

近年来，自然语言处理技术受到越来越多的关注，其中，语义相关度计算是非常重要的研究方向之一。知网作为中文本体的重要组成部分，为语义相关度计算提供了极大的便利，因此，基于知网的语义相关度计算受到了越来越多的关注。

知网作为中国最大的中文本体，主要包括三个层次的概念，分别是概念、面积和关系，每个概念都有相关的属性和属性值，每个关系也有特定的描述信息，这些描述信息可以用来表示概念之间的相关性。因此，知网可以用来表示文本之间的语义关系。

基于知网的语义相关度计算主要分为两种方法：第一种是基于概念的方法，该方法的基本思想是，将文本中涉及的概念映射到知网中，然后计算概念之间的距离，从而判断文本之间的语义相关度。第二种是基于关系的方法，该方法的基本思想是，将文本中涉及的概念和关系映射到知网中，然后计算概念及其相关关系之间的距离，从而判断文本之间的语义相关度。

在实际应用中，基于知网的语义相关度计算算法可以用于语义检索、自动文本分类、自动文摘及机器翻译等方面的实际应用，因此，基于知网的语义相关度计算技术已经成为自然语言处理中重要的研究方向之一。

尽管基于知网的语义相关度计算可以提高文本之间的语义相关度，但由于知网的概念和关系并不完善，缺乏概念之间较为精细的描述，因此，基于知网的语义相关度计算也有一定的局限性，未来仍然 - 2 - 需要改进。

基于此，研究者可以借助机器学习技术，对知网进行完善和改进，从而让基于知网的语义相关度计算技术拥有更好的性能。同时，研究者也可以开发出新的计算模型，借助这些模型，可以更好地描述概念之间的语义关系，从而进一步提高基于知网的语义相关度计算的性能。

总之，基于知网的语义相关度计算是自然语言处理技术中重要的研究方向之一，经过不断的研究和完善，可以在实际应用中发挥重要作用。未来，研究者将继续努力，开发更好的计算模型，改进知网的模型，以提高基于知网的语义相关度计算的性能，使语义检索、自动文本分类和自动文摘及机器翻译技术得到更大的进步。