当前位置：文档之家 › 词语相似度计算方法

词语相似度计算方法

  • 格式：pdf
  • 大小：52.97 KB
  • 文档页数：3

2012.5

55技 术 应 用

词语相似度计算方法分析

崔韬世 麦范金

桂林理工大学 广西 541004

摘要：词语相似度计算是自然语言处理、智能检索、文档聚类、文档分类、自动应答、词义排歧和机器翻译等很多领域的基础研究课题。词语相似度计算在理论研究和实际应用中具有重要意义。本文对词语相似度进行总结，分别阐述了基于大规模语料库的词语相似度计算方法和基于本体的词语相似度计算方法，重点对后者进行详细分析。最后对两类方法进行简单

对比，指出各自优缺点。

关键词：词语相似度；语料库；本体

0 引言

词语相似度计算研究的是用什么样的方法来计算或比较两个词语的相似性。词语相似度计算在自然语言处理、智

能检索、文本聚类、文本分类、自动应答、词义排歧和机器翻译等领域都有广泛的应用，它是一个基础研究课题，正在为越来越多的研究人员所关注。笔者对词语相似度计算的应

用背景、研究成果进行了归纳和总结，包括每种策略的基本思想、依赖的工具和主要的方法等，以供自然语言处理、智能检索、文本聚类、文本分类、数据挖掘、信息提取、自动

应答、词义排歧和机器翻译等领域的研究人员参考和应用。词语相似度计算的应用主要有以下几点： (1) 在基于实例的机器翻译中，词语相似度主要用于衡

量文本中词语的可替换程度。 (2) 在信息检索中，相似度更多的是反映文本与用户查

询在意义上的符合程度。 (3) 在多文档文摘系统中，相似度可以反映出局部主题

信息的拟合程度。 (4) 在自动应答系统领域，相似度的计算主要体现在计

算用户问句和领域文本内容的相似度上。 (5) 在文本分类研究中，相似度可以反映文本与给定的

分类体系中某类别的相关程度。 (6) 相似度计算是文本聚类的基础，通过相似度计算，

把文档集合按照文档间的相似度大小分成更小的文本簇。 1 基于语料库的词语相似度计算方法

基于统计方法计算词语相似度通常是利用词语的相关性来计算词语的相似度。其理论假设凡是语义相近的词，它

们的上下文也应该相似。因此统计的方法对于两个词的相似度算建立在计算它们的相关词向量相似度基础上。首先要选择一组特征词，然后计算这一组特征词与每一个词的相关性(一般用这组词在实际的大规模语料中在该词的上下文中出

现的频率来度量)，于是，对于每一个词都可以得到一个相关性的特征词向量，然后计算这些向量之间的相似度，一般用

向量夹角余弦的计算结果作为这两个词的相似度。 Lee利用相关熵，Brown采用平均互信息来计算词语之

间的相似度。李涓子(1999)利用这种思想来实现语义的自动

排歧；鲁松(2001)研究了如何利用词语的相关性来计算词语的相似度。PBrownetc采用平均互信息来计算词语之间的相似度。基于统计的定量分析方法能够对词汇间的语义相似性

进行比较精确和有效的度量。基于大规模语料库进行的获取受制于所采用的语料库，难以避免数据稀疏问题，由于汉语的一词多义现象，统计的方法得到的结果中含有的噪声是相

当大的，常常会出现明显的错误。 2 基于本体库的词语相似度计算方法

2.1 常用本体库

关于Ontology的定义有许多，目前获得较多认同的是R.Studer的解释：“Ontology是对概念体系的明确的、形式

基金项目：广西教育厅科研项目《基于中文自然语言理解的智能检索技术》(0991254)：广西研究生教育创新计划资助项目《面向对象的汉语语义网络模型》(2008105960812M18)。 作者简介：崔韬世(1988-)，男，硕士研究生，研究方向：自然语言处理。麦范金(1963-)，男，教授，硕导，研究方向：人工智能、自然语言处理。

2012.5

56 技 术 应 用

化的、可共享的规范说明”。在最简单的情况下，本体只描述

概念的分类层次结构；在复杂的情况下，本体可以在概念分类层次的基础上，加入一组合适的关系、公理、规则来表示概念间的其它关系，约束概念的内涵解释。 WordNet是一个联机英语词汇检索系统，由Prince-ton

大学研制。它作为语言学本体库同时又是一部语义词典，在自然语言处理研究方面应用很广。它采用语义网络作为其词

汇本体的基本表示形式。在WordNet中，网络节点由字形(Wordform)标识，分为名词、动词、形容词、副词和功能词

等5种。节点之间的关系分为同义关系(Synonymy)、反义关

系(Antonymy)、继承关系(Hypony-my)、部分/整体关系(Meronymy)、形态关系(Morpholog-icalrelation)等。WordNet

提供了很好的概念层次结构。

知网是一个以汉语和英语词语所代表的概念为描述对象、以揭示概念与概念之间以及概念所具有属性之间的关系为基本内容的常识库和知识库。其中包含丰富的词汇语义知

识和本体知识，这些关系都隐含在知网的知识词典和义原的特征文件中。知网中有以下两个主要的概念： (1) 义项。它是对词汇语义的一种描述，每一个词可以

表达为几个义项。义项是用一种知识表示语言来描述的，这种知识表示语言所用的词汇叫做义原。 (2) 义原。它是用于描述一个概念的最小意义单位，从所有

词汇中提炼出的可以用来描述其他词汇的不可再分的基本元素。

与一般的语义词典(如同义词、词林或WordNet)不同，知网并不是简单地将所有的概念归结到一个树状的概念层次体

系中，而是试图用一系列的义原来对每一个概念进行描述。

知网的汉语知识库中每个词汇由一个四元组表示：

DEF部分是表示词与义原的关系，也是词汇描述中最重要

的部分，可以简单地认为词是由义原通过某种关系构成的。 2.2 相似度计算方法分析

根据本体知识来计算。主要是基于按照概念间结构层次关

系组织的语义词典方法，根据概念之间的关系来计算词语的相似度。这类方法通常依赖于比较完备的大型语义词典，一般词典都是将所有的词组织在一棵或几棵树状的层次结构中，在一

棵树型图中，任何两个节点之间有且只有一条路径，这条路径的长度就可以作为这两个概念的语义距离的一种度量。

传统基于本体的概念之间相似度计算模型主要有基于

距离的语义相似度计算模型、基内容的语义相似度计算模型 和基于属性的语义相似度计算模型3种。

刘群等人利用知网作为语义词典计算汉语词汇的相似

度；Rada等人和Lee等人通过计算在WordNet中词节点之

间上下位关系构成的最短路径来计算词语之间的相似度。许

多学者考虑到其他因素对语义距离的影响，如Resnik根据两

个词的公共祖先节点的最大信息量来衡量两个词的语义相

似度；Agirre等人在计算词语的语义相似度时，除了节点间

的路径长度外，还考虑到概念层次树的深度和区域密度的影

响。张瑞霞等人提出了一种基于知识图的汉语词汇相似度计

算方法，该方法以知识图为知识表示方法，在构造词图的基

础上对词汇概念中的义原进行分类，通过计算不同类型义的

相似度得到概念的相似度。 3 比较与总结

这两种方法各有特点。基于世界知识的方法简单有效，

无需用语料库进行训练，也比较直观，易于理解，但这种方

法得到的结果受人的主观意识影响较大，有时并不能准确反

映客观事实。另外，这种方法比较准确地反映了词语之间语

义方面的相似性和差异，而对于词语之间的句法和语用特点

考虑得比较少。基于语料库的方法比较客观，综合反映了词

语在句法、语义、语用等方面的相似性和差异。但是，这种

方法比较依赖于训练所用的语料库，计算量大，计算方法复

杂，另外，受资料稀疏和资料噪声的干扰较大。 参考文献

[1]秦春秀,赵捧未,刘怀亮.词语相似度计算研究[J].信息系

统.2007. [2]余超.基于知网的词汇语义计算研究及应用[D].辽宁:沈阳

航空工业学院.2007. [3]刘紫玉,黄磊.基于领域本体模型的概念语义相似度计算研

究[J].计算机技术与发展.2010.

[4]http://wordnet.princeton.edu/.

[5]http://www.keenage.com/. [6]孙海霞,钱庆,成颖.基于本体的语义相似度计算方法研究综

述[J].知识组织与知识管理.2010. [7]刘群,李素建.基于《知网》的词汇语义相似度计算[J].计算

语言学及中文信息处理.2002.

[8]Resnik O.Semantic Similarity in a Taxonomy:An Information- Based Measure and Its Application to Problems of Ambiguity and Natural Language[J].Journal of A rtificial Intelligence Research.1999. [下转72页]

2012.5

72 法 律 法 规 们虚拟社会的管理创新工作难度陡增，构建虚拟社会治安防控体系任重道远，对付网络恐怖主义还需我们拿出更大的耐力和精神,我们要不断地从多方面积极探索有效防御网络恐怖主义的新方略,积极主动地掌握反网络恐怖主义工作的主动权，有力的打击和压缩网络恐怖主义生存发展的空间，维护好网络治安环境和国家政治稳定。 参考文献

[1]孙晓伟.试论公安机关虚拟社会管理机制创新[J].公安研究.2011. [2]冯斌元.公共网络安全视野下的虚拟社会管理研究[J].公安

研究.2010.

[3]陈忠.论网络恐怖主义对国家安全的危害及其对策[J].江南

社会学院学报.2004.

[4]温家宝在新加坡出席第八次中日韩领导人会议的讲话.2005.

[5]朱永彪,杨恕.网络恐怖主义问题初探[J].中州学刊.2006.

[6]张骥,冯冬蕾.网络恐怖主义产生原因、特点及危害性分析[J].

聊城大学学报.2005.

The mechanism of innovation of Virtual social security Prevention and Control has become the important

Virtual society terrorism The prevention;control of social management

[上接56页]

njin

Word Similarity computing is basic research of natural language processing, intelligent information

word similarity;corpus;ontology

合集下载

基于语义构词的汉语词语语义相似度计算

基于语义构词的汉语词语语义相似度计算

基于语义构词的汉语词语语义相似度计算

语义相似度计算是自然语言处理领域的重要研究方向之一。为了

准确刻画词语之间的语义关系，研究学者提出了各种方法和模型。其

中，基于语义构词的方法是一种常见而有效的计算词语语义相似度的

方式。

语义构词是指通过词语的构词规则和组合方式来推断其意义，并

计算其与其他词语之间的相似度。在汉语中，语义构词主要包括义原、

同义词与反义词、上下位关系、关联关系等方面的因素。通过对这些

因素的分析和比较，可以得到词语之间的语义相似度。

首先，义原是词语的最小语义单位，它可以用来表示词语的基本

概念和语义特征。在计算语义相似度时，可以通过比较两个词语的义

原路径，来判断它们之间的语义距离。如果两个词语的义原路径越短，

说明它们的语义相似度越高。

其次，同义词和反义词是常见的词语关系类型。同义词在语义上

具有相似的意义，而反义词则表示相反的意义。在计算语义相似度时，

可以通过比较两个词语的同义词和反义词集合，来确定它们之间的语

义关系。如果两个词语的同义词集合越大，反义词集合越小，说明它

们的语义相似度越高。

此外，上下位关系也是汉语词语之间常见的语义关系。上下位关

系表示一个词语是另一个词语的具体概念或者泛化概念。在计算语义

相似度时，可以通过比较两个词语的上位词和下位词集合，来确定它

们之间的语义关系。如果两个词语的上位词集合越相似，下位词集合

越相似，说明它们的语义相似度越高。

最后，关联关系也是影响词语语义相似度的重要因素。关联关系

表示词语之间的联系和关联，例如因果关系、同类关系、反义关系等。

在计算语义相似度时，可以通过比较两个词语的关联关系，来判断它

们之间的语义关系。如果两个词语的关联关系越紧密，说明它们的语

义相似度越高。 综上所述，基于语义构词的汉语词语语义相似度计算是一种有效

的方法。通过分析词语的义原、同义词与反义词、上下位关系和关联

关系，可以准确计算词语之间的语义相似度。这种方法不仅可以用于

相似度计算公式

相似度计算公式

.

;. 相似度计算

在数据挖掘中经常需要用到比较两个东西的相似度。比如搜索引擎要避免非常相似的文档出现在结果的前几页，再比如很多网站上都有的“查找与你口味相似的用户”、“你可能喜欢什么什么”之类的功能。后者其实是很大的一块叫做“协同过滤”的研究领域，留待以后详谈。

首先我们定义两个集合S,T的Jaccard相似度: Sim(S,T) = |S,T的交集| / |S,T的并集|。直观上就容易感觉出这是一个很简单而且比较合理的度量，我不清楚有没有什么理论上的分析，在此省略。下面先主要说一下文档的相似度。

如果是判断两个文档是否完全相同，问题就变得很简单，只要简单地逐字符比较即可。但是在很多情况下并不是这样，比如网站文章的转载，主体内容部分是相同的，但是不同网页本身有自己的Logo、导航栏、版权声明等等，不能简单地直接逐字符比较。这里有一个叫做Shingling的方法，其实说起来很圡，就是把每相邻的k个字符作为一个元素，这样整篇文档就变成了一个集合。比如文档是"banana"，若k=2，转化以后得到集合为{"ba","an","na"}，于是又变成了前述集合相似度的问题。关于k值的设置，显然过小或过大都不合适，据说比较短的比如email之类可以设k=5，比如长的文章如论文之类可以设k=9。

当然，这是一个看上去就很粗糙的算法，这里的相似度比较只是字符意义上的，如果想进行语义上的比较就不能这么简单了（我觉得肯定有一摞摞的paper在研究这个）。不过同样可以想见的是，在实际中这个粗糙算法肯定表现得不坏，速度上更是远优于复杂的NLP方法。在实际工程中，必然糙快猛才是王道。

有一点值得注意的是，Shingling方法里的k值比较大时，可以对每个片段进行一次hash。比如k=9，我们可以把每个9字节的片段hash成一个32bit的整数。这样既节省了空间又简化了相等的判断。这样两步的方法和4-shingling占用空间相同，但是会有更好的效果。因为字符的分布不是均匀的，在4-shingling中实际上大量的4字母组合没有出现过，而如果是9-shingling再hash成4个字节就会均匀得多。

语义文本相似度计算方法

语义文本相似度计算方法

语义文本相似度计算方法

语义文本相似度计算方法是一种用于比较两个文本之间相似程度的方法。在自然语言处理领域中，语义文本相似度计算方法被广泛应用于文本分类、信息检索、机器翻译等任务中。本文将介绍几种常见的语义文本相似度计算方法。

1. 余弦相似度

余弦相似度是一种常见的语义文本相似度计算方法。它通过计算两个文本向量之间的夹角余弦值来衡量它们之间的相似程度。具体来说，假设有两个文本A和B，它们的向量表示分别为a和b，那么它们之间的余弦相似度可以表示为：

cosine_similarity(a, b) = (a·b) / (||a|| * ||b||)

其中，a·b表示向量a和向量b的点积，||a||和||b||分别表示向量a和向量b的模长。余弦相似度的取值范围在[-1, 1]之间，值越接近1表示两个文本越相似，值越接近-1表示两个文本越不相似。

2. 词向量相似度

词向量相似度是一种基于词向量模型的语义文本相似度计算方法。它通过将文本中的每个词映射到一个高维向量空间中，并计算两个文本中所有词向量之间的相似度来衡量它们之间的相似程度。具体来说，假设有两个文本A和B，它们的词向量表示分别为a和b，那么它们之间的词向量相似度可以表示为：

word_vector_similarity(a, b) = (1/n) * Σ(a[i]·b[i])

其中，n表示文本中词的总数，a[i]和b[i]分别表示文本A和B中第i个词的词向量。词向量相似度的取值范围在[0, 1]之间，值越接近1表示两个文本越相似，值越接近0表示两个文本越不相似。

3. 基于深度学习的相似度计算方法

近年来，随着深度学习技术的发展，基于深度学习的语义文本相似度计算方法也得到了广泛应用。这类方法通常使用神经网络模型来学习文本的表示，并通过比较两个文本的表示之间的距离来衡量它们之间的相似程度。常见的深度学习模型包括卷积神经网络、循环神经网络、注意力机制等。

语义相似度计算

语义相似度计算

语义相似度计算

语义相似度计算是自然语言处理领域的一个重要任务，它旨在衡量两个词语、短语或句子之间的语义相似程度。在实际应用中，语义相似度计算可以帮助机器理解语言，从而实现诸如信息检索、问答系统、机器翻译等任务。现在我们将介绍几种常用的语义相似度计算方法：

1. 基于词向量的方法：词向量是将词语映射到一个高维实数向量空间的表示方法。在这种方法中，可以使用预训练的词向量模型（如Word2Vec、GloVe、FastText等）将词语表示为向量，然后通过计算两个词向量之间的相似度（如余弦相似度、欧氏距离、曼哈顿距离等）来衡量它们之间的语义相似度。

2. 基于词汇语义资源的方法：除了词向量外，还可以利用词汇语义资源（如WordNet、PPDB等）来计算语义相似度。这些资源中包含了词语之间的语义关系（如同义词、上下义词、反义词等），可以通过这些关系计算词语的语义相似度。

3. 基于深度学习的方法：深度学习模型（如Siamese神经网络、BERT、ELMO等）在语义相似度计算任务中也取得了很好的效果。这些模型可以学习词语、短语或句子的语义表示，然后通过模型的输出来计算它们之间的语义相似度。

4. 基于语义图的方法：语义图是一种将词语表示为节点、语义关系表示为边的图结构。在语义相似度计算中，可以利用语义图中的节点和边来计算词语之间的语义相似度。这种方法可以很好地捕捉词语之间的语义关系，从而提高语义相似度计算的准确性。

总的来说，语义相似度计算是一个复杂而重要的任务，在实际应用中需要综合考虑不同的方法和技术。通过不断的研究和实践，我们可以提高语义相似度计算的准确性和效率，从而更好地帮助机器理解语言，实现更多的自然语言处理任务。希望以上介绍能够对语义相似度计算有所帮助。