基于《知网》词语相似度计算
- 格式:doc
- 大小:25.00 KB
- 文档页数:6
词语相似度计算[原创]当事物可以计算的时候就产生了智能----Alert一、词语相似度词义相似度计算在很多领域中都有广泛的应用,例如信息检索、信息抽取、文本分类、词义排歧、基于实例的机器翻译等等。
国内很多论文主要是基于同义词林和知网来计算的。
本文的词语相似度计算是基于《同义词词林》的。
二、同义词林介绍《同义词词林》是梅家驹等人于1983年编纂而成,这本词典中不仅包括了一个词语的同义词, 也包含了一定数量的同类词, 即广义的相关。
《同义词词林》的编写年代久远,之后没有更新。
哈工大花费了大量的人力物力完成了一部具有汉语大词表的哈工大信息检索研究室《同义词词林扩展版》,《同义词词林扩展版》收录词语近7万条。
原版的《同义词词林》目录如下:哈工大《同义词词林扩展版》保留《同义词词林》原有的三层分类体系,并在此基础上对词语继续细分类,增加两层,得到最终的五层分类体系,这样词典中的词语之间就体现了良好的层次关系,如下图表示的词语树形结构:例如:“东南西北”的编码为Cb02A01=C是第1层、b是第二层、02是第三层、A是第四层、01是第五层,=号有特殊的意义。
词语的编码规则如下:表中的编码位是按照从左到右的顺序排列。
第八位的标记有3种,分别是“=”、“#”、“@”, “=”代表“相等”、“同义”。
末尾的“#”代表“不等”、“同类”,属于相关词语。
末尾的“@”代表“自我封闭”、“独立”,它在词典中既没有同义词,也没有相关词。
三、词语相似度定义1 语义相似度。
给定两个词汇w1和w2,它们之间的相似度通过 Sim(w1,w2):S*S->[0,1],表示集合S中的两个词汇w1和w2的相似程度。
简单的说相似度函数是个值域在[0,1]间的函数。
本文的计算公式参考了《基于同义词词林的词语相似度计算方法》一文,相似度函数计算公式如下:若两个义项的相似度用Sim表示,n表示所在分枝层分支数,k表示两个分支间的距离。
1.若两个义项不在同一查树上:Sim(A,B) = f如:人 Aa01A01=和 实物 Ba01A01=2.若两个义项在同一查树上:1)若在第2层分支Sim(A,B) = a*cos(n*pi/180)*[(n-k+1)/n]如:人 Aa01A01= 和 少儿 Ab04B01=由于A开头的编码个数为1309个,所以n=1309;在第2层,人的编码是a,少儿的编码是b所以k=12)若在第3层分支Sim(A,B) = b*cos(n*pi/180)*[(n-k+1)/n]如:人 Aa01A01= 和 老弟 Aa03A03=Aa开头的编码个数为55个,所以n=55;第3层人的编码为01,老弟的编码为03,所以k=23)若在第4层分支Sim(A,B) = c*cos(n*pi/180)*[(n-k+1)/n]4)若在第5层分支Sim(A,B) = d*cos(n*pi/180)*[(n-k+1)/n]a、b、c、d、f参数由实验测得,程序里使用的参数如下:a=0.65、b=0.8、c=0.9、d=0.96、f=0.1一个词可能有多个编码,相似度的计算取最大值,如:词语“骄傲”的编码有“Da13A01”,“Ee34D01”;“仔细”的编码有“Ee26A01”,“Ee28A01”。
使用网络搜索引擎计算汉语词汇的语义相似度高国强;黄吕威;陈丰钰【摘要】Similarity computation of Chinese words is a key problem in Chinese information processing. It measures semantic similarity between Chinese words using the information returned by web search engines. First,implement a model named WebPMI which computes similarity using page counts,and then,describe another model named CODC which analyzes semantic similarity using text snippets. Final-ly,present the algorithm based on the two models. Experimental results show that this algorithm outperforms all the existing web-based semantic similarity measures for Chinese,and is close to the traditional semantic similarity measures using lexicon.%汉字词语的语义相似度计算是中文信息处理中的一个关键问题。
文中利用网络搜索引擎提供的信息来计算汉语词对的语义相似性。
首先通过程序访问搜索引擎,获取汉字词汇的搜索结果数,并依此实现了相似度计算模型WebPMI;然后描述了根据查询返回的文本片段进行语义相关性分析的模型CODC;最后,结合这个两个模型,给出了文中算法的伪代码。
矿产资源开发利用方案编写内容要求及审查大纲
矿产资源开发利用方案编写内容要求及《矿产资源开发利用方案》审查大纲一、概述
㈠矿区位置、隶属关系和企业性质。
如为改扩建矿山, 应说明矿山现状、
特点及存在的主要问题。
㈡编制依据
(1简述项目前期工作进展情况及与有关方面对项目的意向性协议情况。
(2 列出开发利用方案编制所依据的主要基础性资料的名称。
如经储量管理部门认定的矿区地质勘探报告、选矿试验报告、加工利用试验报告、工程地质初评资料、矿区水文资料和供水资料等。
对改、扩建矿山应有生产实际资料, 如矿山总平面现状图、矿床开拓系统图、采场现状图和主要采选设备清单等。
二、矿产品需求现状和预测
㈠该矿产在国内需求情况和市场供应情况
1、矿产品现状及加工利用趋向。
2、国内近、远期的需求量及主要销向预测。
㈡产品价格分析
1、国内矿产品价格现状。
2、矿产品价格稳定性及变化趋势。
三、矿产资源概况
㈠矿区总体概况
1、矿区总体规划情况。
2、矿区矿产资源概况。
3、该设计与矿区总体开发的关系。
㈡该设计项目的资源概况
1、矿床地质及构造特征。
2、矿床开采技术条件及水文地质条件。
基于自然语言处理的主观题智能阅卷技术摘要:本文主要探讨使用自然语言处理技术来实现主观题智能阅卷的方法,使用到的关键技术包括分词、句法分析、词语相似度计算以及句子相似度计算。
文章对如何使用这些关键技术来实现主观题智能阅卷系统进行了详细的阐述。
关键词:智能阅卷;分词;词语相似度计算;句子相似度计算中图分类号:tp391.7文献标识码:a文章编号:1007-9599 (2013) 07-0000-02随着计算机技术和通信技术的高速发展,计算机已经应用到人们生活中的各个领域。
在教育领域中,计算机实现试卷自动评阅是教育系统智能化必备的功能。
一方面,计算机智能阅卷能避免人为的误差,能够更客观的反映出评阅结果,保证了阅卷的客观公正性。
另一方面,电脑阅卷省去了老师在传统阅卷模式中主观题阅卷的体力劳动,让老师省出更多时间和精力用在教学工作中。
主观题智能阅卷主要采用的技术路线是自然语言处理技术。
按照主观题的评分流程,阅卷系统主要分为五个部分:分句、分词、句法分析、词语相似度计算以及句子的相似度计算。
1分句将答案分句是评分的第一个步骤,分句的粒度大小也将影响评分结果。
本文将根据特定的标点符号(句号、问号、分号、感叹号)作为句子的分隔符,将句子分为若干子句。
在对参考答案进行分句的时候,需要将之前录入的权值赋值给对应的每个子句。
最后题目的得分应该是各子句相似度的加权求和,用s具体计算如式(1):(1)simi表示第i句的相似度,ßi表示第i句的权值,i取值范围为[0,n],n为子句的个数。
值得注意的是,参考答案每句话的权重是根据句子结束的标点符号来分配的,因此参考答案录入和学生答题的时候每句话的标点符号必须正确填写。
2分词由于分词及词性标注对准确率要求较高,如果这两个步骤出现错误,将会对后续步骤产生严重影响。
因此本文初步考虑使用已经相对成熟得分词工具来进行分词和词性标注。
本文选择的分词工具是中科院计算机研究所开发的ictclas系统,它是最早的中文开源分词项目之一。
基于《知网》的语义相似度计算软件使用手册1 功能简介本软件是根据[刘群2002]一文中的原理编写的词汇语义相似度计算程序。
主要实现了以下功能:1.1基于交互输入的义原查询、义原距离计算、义原相似度计算1.2基于交互输入的词语义项查询、义项相似度计算、词语相似度计算;1.3基于文件输入的词语义项查询、词语相似度计算;1.4相似度计算中的参数调整。
2 安装说明本软件包一共有四个文件:《基于<知网>的词汇语义相似度计算》软件使用手册.doc:本使用手册《基于<知网>的词汇语义相似度计算》论文.pdf:本软件所依据的论文,采用pdf格式,用Acrobat Reader阅读时需要安装简体中文支持包。
自然语言处理开放资源许可证.doc:本软件包的授权许可证WordSimilarity.zip:程序文件软件安装时,将文件WordSimilarity.zip文件解压缩一个目录下即可,解压缩后有以下几个文件:WordSimilarity.exe:可执行程序;Glossary.dat:《知网》数据文件Semdict.dat:《知网》数据文件Whole.dat:《知网》数据文件必须确保《知网》数据文件在程序执行时的当前目录下。
3 界面说明软件使用简单的对话框界面,如下所示:4 功能说明4.1义原操作4.1.1 义原查询1.首先在“输入1”框中输入义原名称;2.点击“察看义原1”按钮;3.在“义项1”框中将依次显示出该义原及其所有上位义原的编号、中文、英文;类似的方法可以查询“输入2”框中的义原;4.1.2 义原距离计算1.首先在“输入1”和“输入2”框中输入两个义原;2.点击“计算义原距离”按钮;3.在“输出”框中显示两个义原的距离;4.1.3 义原相似度计算1.首先在“输入1”和“输入2”框中输入两个义原;2.点击“计算义原相似度”按钮;3.在“输出”框中显示两个义原的相似度;4.2基于交互输入的词语操作4.2.1 词语义项查询1.首先在“输入1”框中输入要查询的词语;2.点击“察看义项1”按钮;3.在“义项1”框中将依次显示出该词语的所有义项;类似的方法可以查询“输入2”框中的词语义项;4.2.2 义项相似度计算1.首先分别在“输入1”和“输入2”框中输入要计算相似度的两个词语;2.点击“察看义项1”按钮和“察看义项2”按钮;3.在“义项1”框和“义项2”框中将分别显示出这两个词语的所有义项;4.分别在“义项1”框和“义项2”框中点击需要计算相似度的两个词语义项;5.点击“计算义项相似度”按钮;6.在“输出”框中将显示选中的两个义项的相似度;4.2.3 词语相似度计算1.首先分别在“输入1”和“输入2”框中输入要计算相似度的两个词语;2.点击“计算词语相似度”按钮;3.在“输出”框中将显示两个词语的相似度;说明:词语相似度定义为两个词语的所有义项相似度中的最大值。
基于知识图的汉语词汇语义相似度计算张瑞霞;朱贵良;杨国增【摘要】提出了一种基于知识图的汉语词汇相似度计算方法,该方法以<知网>2005版为语义知识资源,以知识图为知识表示方法,在构造词图的基础上,以知网中的语义关系为依据对词汇概念中的义原进行分类,通过计算不同类型义原的相似度得到概念的相似度;为了对词汇相似度计算方法进行客观评价,设计了词汇相似度计算方法的量化评价模型;采用该模型对所提出的计算方法进行评价,试验结果证明此方法的有效度为89.1%.【期刊名称】《中文信息学报》【年(卷),期】2009(023)003【总页数】5页(P116-120)【关键词】计算机应用;中文信息处理;知识图;知网;语义相似度【作者】张瑞霞;朱贵良;杨国增【作者单位】华北水利水电学院,信息工程学院,河南,郑州,450011;华北水利水电学院,信息工程学院,河南,郑州,450011;郑州师范高等专科学校,数学系,河南,郑州,450044【正文语种】中文【中图分类】TP391在自然语言信息处理领域中,词汇相似度的计算广泛应用于基于实例的机器翻译、信息检索、信息抽取和词义消歧等领域,并取得了丰富成果。
文献[1]提出了利用《知网》进行词汇相似度计算的方法;文献[2]以《同义词词林》的词汇分类体系为基础提出了基于相关熵的汉语词汇相似度的计算方法;文献[3]提出了利用语义格实现的一种改进Jaccard系数方法来计算词汇相似度;文献[4]通过引入事物信息量的思想来计算词语相似度。
文献[2-3]采用统计的方法,文献[1,4]根据世界知识(《知网》2000)进行计算,两类方法各有异同[1]。
根据世界知识计算词汇相似度,为使其计算精确,在计算过程中必须能够最大限度的合理的应用世界知识。
另外,目前对词汇相似度计算方法尚未出现定量评价,这样不利于方法的比较、改进以及应用。
鉴于上述原因,以知识图为知识表示方法,以《知网》2005版为语义知识资源,提出了一种基于知识图的汉语词汇相似度计算方法。
中国知网查重的原理
中国知网是一个文献检索和下载平台,提供了全文检索、查重以及其他多种功能。
其查重的原理是从语义层面进行比对,判断文本之间的相似度。
具体来说,中国知网的查重机制首先会对待检测的文本进行分词,将文本分解成一个个独立的词语,并根据不同的语言特征进行处理。
然后,系统会构建每个词语的语义向量,并将其与数据库中已有的文本进行对比。
在对比过程中,系统会分别计算待检测文本与已有文本之间的相似度得分。
相似度得分主要根据词语的共现频次、词语的语义相似性以及文本的结构特征等因素进行计算。
如果待检测文本与某篇已有文本之间存在较高的相似度得分,则会被判断为存在抄袭嫌疑。
需要注意的是,中国知网的查重机制并不会直接比对标题文本,而是以文本内容为基础进行比对。
这样做的目的是为了避免仅通过标题来判断重复,因为很多情况下,标题相同的文本并不代表整篇文本内容相同。
总的来说,中国知网的查重原理是基于语义相似度的比对,通过对待检测文本进行分析,在语义层面上判断其与已有文本的相似程度,从而识别重复、抄袭等问题。
基于《知网》的词语相似度计算
[摘要]词语相似度计算是计算机中文处理中的基础和重要环节,目前基于《知网》的词语相似度计算是一种常见的方法,本文将对该方法做系统介绍。
[关键词]《知网》词语相似度计算
一、《知网》的结构
《知网》(hownet)是我国著名机器翻译专家董振东先生和董强先生创建的,是一个常识知识库,它含有丰富的词汇语义知识以及世界知识,内部结构复杂。
《知网》中两个最基础的概念是“概念”和“义原”。
“概念”是用来描述词语语义。
因为一个词可以含有多个语义,所以一个词需要多个概念来描述。
使用“知识表示语言”对概念进行描述,“知识表示语言”使用的“词汇”便是义原。
《知网》中的不可再分的、最小的意义单位是“义原”,义原用来描述“概念”。
《知网》采用的义原有1500个,它们一共可以分为十类,具体见图1。
知网反映了概念之间、概念属性之间各种各样的关系,总体来说知网描述了16种关系:
上下位关系;同义关系、反义关系、对义关系;部件-整体关系;属性-宿主关系;材料-成品关系;施事/经验者/关系;主体-事件关系;受事/内容/领属物等事件关系;工具-事件关系;场所-事件关系;时间-事件关系;值-属性关系;实体-值关系;事件-角色关
系;相关关系。
由《知网》的结构得知义原之间组成的不是一个树状结构,而是一个复杂的网状结构。
然而义原关系中最重要的是上下位关系。
所有的“基本义原”以这种上下位关系为基础构成了义原层次体系,叫做义原分类树。
在义原分类树中,父节点义原和子节点义原之间具有上下位关系。
可以通过义原分类树来计算词语和词语之间的语义距离。
二、知网的知识词典
知识词典是知网中最基本的数据库。
在知识词典中,每一个概念(概念又称为义项)可以用一条记录来描述。
一条记录含有八项信息,每一项由用“=”连接的两个部分组成,等号左边表示数据的域名,右边是数据的值。
比如下面就是一条描述概念的记录:
no=017114
w_c=打
g_c=v
e_c= ~乒乓球,~篮球
w_e=play
g_e=v
e_e=
def=exercise|锻炼,sport|体育
其中,no表示概念的编号,w_c表示汉语词语,g_c表示汉语词语的词性,e_c表示汉语词语例子,w_e表示英语词语,g_e则表示
英语词语词性,e_e表示英语词语例子,def表示概念的定义,通过一个语义表达式来描述。
需要强调的是,def项包含若干个相应的义原以及这些义原与主干词之间的语义关系。
def项是知网的核心,不可以为空,必须填写内容。
def项的起始位置,必须用来描述知网中规定的主要义原。
鉴于知网的组织关系,本文的相似度计算按照以下步骤完成:先计算义原的相似度;在此基础上计算词语的相似度。
三、基于《知网》的义原相似度计算
在《知网》中,依据上下位关系,所有的义原构成了一个树状层次结构,可以根据两个义原之间的路径长度来计算其相似度。
即根据上述树形图中,两个结点之间的路径长度来表示这两个义原的语义距离。
本文将两个义原分别记为pl、p2,将它们的语义距离记为d,p1和p2两个义原的相似度记为sim(p1,p2),相应的公式如下:sim(p1,p2)=ad+a
其中,d表示两个义原p1和p2的路径长度,a是一个调节参数,本文取相似度为0.5时的路径长度(d)的值。
sim(pl,p2)取值在[0,1]之间。
在这里,本文只利用了义原的上下位关系来计算义原相似度。
四、基于《知网》的词语相似度计算
基于《知网》的词语相似度研究已经比较成熟。
刘群等提出了一种基于《知网》的词语相似度计算方法,下面对此进行介绍。
汉语词语可以分为实词和虚词,本文做如下约定:在文本中实词
和虚词不能互相代替,即实词和虚词的相似度是零。
计算虚词的相似度就比较简单,计算用来描述虚词的关系义原之间、或者句法义原之间的相似度就可以了。
实词则不同,它需要使用语义表达式进行描述,所以实词的相似度计算难度就比较大。
本文使用实词定义项中义原和义原之间的相似度,来描述实词与实词之间的相似度。
本文选择描述这两个实词的概念之间的最大相似度作为这两个实词之间的相似度。
概念通过义原进行描述,实词概念的语义表达式由四部分组成,它们分别是第一独立义原描述式,其他独立义原描述式,关系义原描述式和符号义原描述式。
本文把这些义原描述式的相似度分别记为:sim1(s1s2sim2(s1s2
sim3(s1s2sim4(s1s
2
由此,两个概念s1s2
如下:
sim(s1s2)=
其中,βi(1≤i≤4)是可以调节的参数,代表每一部分的权重,且有β1+β2+β3+β4=1,β1≥β2≥β3≥β4。
由于第一独立义原描述式sim1可以反映一个概念的最主要特征,所以本文将它的权值定义得比较大,一般应大于0.5。
sim1到sim4各部分相似度的计算方法如下:
1)对于第一独立义原描述式:利用公式1计算两个义原的相似
度即可,方法比较简单;
2)对于其他独立义原描述式:计算相对复杂,需要对相应义原进行分组,步骤如下:(1)两个概念各自有一个其他独立义原集合,对这两组义原相互之间进行任意配对,并且计算出每一对义原的相似度;(2)将当前相似度最大的一对义原从各自的集合中取出(不再属于原集合),归入一个集合;(3)重复第(2)步,直到所有的其他独立义原完成归类。
(4)根据开始时两个概念各自的独立义原集合的大小,以及后来得到的新集合,来计算sim2;
3)对于关系义原描述式:这一部分仍然是一个集合运算问题,需要将关系义原相同的描述式进行统一归组,再计算其相似度;4)对于符号义原描述式:这一部分的计算与关系义原描述式有些相似,只有在符号相同的前提下,再计算配对义原的相似度。
最后,把上述四个相似度计算结果进行加权求和,便可以得到两
个概念之间的相似度。
假如有两个词语分别为w1w
2w1n个概念,分别为:s11s 12…,s1n w2m个概念,分别为s21s22s2m
w1w2
sim(w 1 ,w2)=sim(s1i s2j) 注:本文中所涉及到的图表、注解、公式等内容请以pdf格式阅读原文。