给出最短编辑距离问题的通用求解算法的算法描述

第４０卷　Ｖｂ１．４０　第１期　ＮＯ．１　计算机工程　Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　２０１４年１月　Ｊａｎｕａｒｙ　２０１４　

・人工智能及识别技术・　文章编号：１０００—－３４２８（２０１４）０１—＿＿０２２２—０６　文献标识码：Ａ　中圈分类号：ＴＰ３１１・１２　

基于改进编辑距离的字符串相似度求解算法　

姜华　，韩安琪　，王美佳　，王峥　，吴霎玲　

（东北师范大学ａ．计算机科学与信息技术学院；ｂ．智能信息处理吉林省高校重点实验室，长春１３０１１７）　

摘要：编辑距离（ＬＤ）算法在求解两个字符串的相似问题时只考虑了编辑操作次数，未考虑字符串之间的公共子串对相似度的影　响。为此，提出一种基于改进编辑距离的字符串相似度求解算法，对字符串相似度度量公式及Ｌｅｖｅｎｓｈｔｅｉｎ矩阵计算方法进行改进。　

在计算编辑距离时，以原有矩阵求出两字符串的最长公共子串及所有ＬＤ回溯路径。选取一个单词作为源串，一组与源串不同程　度相似的单词为目标串，将改进的相似度度量公式与现有的字符串相似度计算方法进行比较，改进公式减少了进入胜者表的目标　

串数，相似度的样本极差和标准差分别为Ｏ．３３１和０．１５０。实验结果表明，改进算法在不改变空间复杂度的情况下，计算字符串相　

似度的准确性更高，且查询方式更灵活。　

关健词：编辑距离；ＬＤ算法；回溯路径；最长公共子串；相似度；模糊查询　

Ｓｏｌｕｔｉｏｎ　Ａｌｇｏｒｉｔｈｍ　０ｆ　Ｓｔｒｉｎｇ　Ｓｉｍｉｌａｒｉｔｙ　

Ｂａｓｅｔｌ　ｏｎ　ｌｍＤｒｏｖｅｎ　Ｌｅｖｅｎｓｈｔｅｉｎ　Ｄｉｓｔａｎｃｅ　１一＇Ｔ　１一　ｌ…－・　

ＪＩＡＮＧ　Ｈｕａ　，ＨＡＮ　Ａｎ－ｑｉ。　，ＷＡＮＧ　Ｍｅｉ－ｊｉａ　，ＷＡＮＧ　Ｚｈｅｎｇ　，ＷＵ　Ｙｕｎ－ｌｉｎｇ　’“　

（ａ．Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔｅｃｈｎｏｌｏｇｙ；ｂ．Ｕｎｉｖｅｒｓｉｔｙ　Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ｏｆ　Ｉｎｔｅｌｌｉｇｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　

２０１３年第９期　（总第１３１期）　信息通信　ＩＮＦ０ＲＭＡＴＩＯＮ＆Ｃ０ＭＭＵＮＩＣＡＴ１０ＮＳ　２Ｏ１３　（Ｓｕｍ．Ｎｏ　１３１）　基于“文本对齐＂进行短文本过滤算法的研究　方媛，车启凤　（河西学院信息技术中心信息技术与传媒学院，甘肃张掖７３４０００）　摘要：在应用编辑距离算法进行文本聚类的算法思想上，提出“文本对齐”思想，并提供了相应的算法。　关键词：编辑距离；短文本；对齐；算法　中图分类号：ＴＰ３９１　文献标识码：Ａ　文章编号：１６７３．１１３１（２０１３）０９—００２２．０２　在基于一些Ｗｅｂ短文本信息进行数据挖掘的研究中，通　常需要知道网络民众对某个话题的关注程度，或者从现有资　料去预测和发掘热点话题，首先面临的一个问题就是：如何确　定两个字符串之间的相似程度。编辑距离算法是确定两个字　符串相似度算法中的一种。为了使编辑距离算法的性能有更　好的提升，本文提出了一种“文本对齐”算法思想。　编辑距离算法核心是基于字符序列比对的计算方法，算　法本身对一些停用词和文本噪声比较敏感。在数据收集阶段，　采用了清华同方（知网）公司开发的Ｋｓｐｉｄｅｒ短文本采集系统　采集ＢＢＳ帖子数据，并存放到Ｋｂａｓｅ数据库中。这些大批量　的数据中不乏一些ｈｔｍｌ页面显示格式控制信息，在存放到数　据库前如果采用二次过滤技术，确保入库的ＢＢＳ主贴数据是　ｈｔｍｌ标签干净的。此外，把采集到的ＢＢＳ主贴标题数据ｓｉ，　ｉ＝ｌ，２，３，…，ｋ转换为统一编码，并按采集时间、上下文信息以及　正文信息导入Ｋｂａｓｅ数据库。　本文提出的“文本对齐”算法的核心就是在理论上借鉴了　ＨｏｗＮｅｔ和《同义词词林》以及“飞达鲁”同义词替换工具等的　构建思想，并整合三者的语义资源，构建了一个《同义词对照　词库》，然后利用已经建立好的《同义词对照词库》进行比对替　换法。将原始待处理的两条短文本，在计算文本串的编辑距　离之前，分别扫描《同义词对照词库》，进行文本“对齐”，即将　同义词汇替换为相同语义的词语，对Ｗｅｂ短文的同义词或变　异词汇替换，使得在舆情监测中更容易发现论坛热点。在以　往计算编辑距离的算法中时，都是以字节进行比对的，但是现　在网络数据量大、实时性强、语言又不规范，具有交叉性和发　散性等特点，比如像网络上将“女孩子”类的词用“ＩＴｌｍ”代替等　用法，还有大量的用一些看似正常的语句代表一些侮辱人或　消极思想的语句，这样的话，用以往的编辑距离算法就发现不　了其中用不规范语句写的言论，所以在编辑距离计算之前先　进行文本对齐，不但有效解决了完全依赖以字节为单位计算　编辑距离，而且忽视了同义情况时造成的编辑距离计算的误　差。在编辑距离计算之前，建立《常用停用词词库》，基于《常　用停用词词库》对短文本中的一些停用词进行过滤，可以更有　效进行计算编辑距离。　同义词替换及停用词过滤功能的设计及实现算法的伪代　码描述如下：　

如何有效的进行公司名称匹配

1. 背景及主要问题

项目需要把两个独立的系统通过公司名称的匹配来实现数据打通，其中一个系统的公司数有40万+，另一个系统中需要匹配的公司数3600+，如果直接通过SQL LIKE形式的方式来关联两个系统，发现只有1100多家公司名称可以匹配，如果剩余2500家左右的公司需要纯人工方式手动匹配，不仅工作量大而且效率低。

通过分析bad case发现公司名称难匹配的主要问题有以下两点：

1.1 公司简称形式多样

公司简称往往是人们根据习惯约定而成的，没有标准的形式。比如【深圳市腾讯计算机系统有限公司】的简称是【腾讯】，这种用公司全称的某一部分作为简称很容易通过字符串包含的方式来匹配。但是很多公司的简称是其它形式，比如【中国银行股份有限公司】的简称是【中行】，【中国石油化工有限公司】的简称是【中石化】，这种取公司全称中不同部分拼接而来的简称很难直接通过字符串模糊匹配取得较好的效果。另外有些公司的简称可能存在多种，比如【中国东方航空有限公司】有人简称【东航】，也有人简称【东方航空】。

总之，各式各样的简称形式导致字符串匹配时很难正确识别。传统的解决办法通常是维护一个公司全称和简称的 Mapping 关系作为常识库，但如果仅仅依靠常识库来解决，由于公司数量众多而且随时间而变化，维护和更新常识库就会成为一个很大的问题。

1.2 简称字数少时错误率高

比如【深圳市阅文教育咨询有限公司】的简称是【阅文】，但是当拿【阅文】去系统做LIKE形式的匹配时会发现总共有35家带有【阅文】子串的公司全称，部分如下：

北京大阅文化传播有限公司

成都悦阅文化传播有限公司

杭州怡阅文化传媒有限公司

北京鼎阅文学信息技术有限公司

深圳华阅文化传媒有限公司

上海亲阅文化科技发展有限公司

这些匹配的公司全称往往所包含的匹配子串在语义上是割裂的，但是直接的包含匹配无法进行语义上的分割，导致匹配的错误率随着简称字数的减少而升高。

序号 项目名称 任务描述 设计要求

1． C语言词法分析算法设计与实现 编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。

输入：一段C语言程序

输出：每个单词以及每个单词所在行号

比如：输入如下一段C程序

main()

{

int a,b;

}

输出为：

( mian, ”line=1”);

( ( , ”line=1“);

( ) , ”line=1”）；

({ , ”line=2” ）;

( int, “line=2”)；

„„„„„ 用Java语言，或者C语言，推荐用Java语言。完成所要有的C语言词法分析器。

要求：读文件，或者命令行的形式读取C源程序，输出源程序中每个单词以及每个单词所在行号。

要求：开发出图形化界面，读文件，把结果输出到界面上。 2． 行程编码的设计与实现 Run-Length Encoding（RLE）行程长度的原理是将一扫描行中的颜色值相同的相邻像素用一个计数值和那些像素的颜色值来代替。例如:aaabccccccddeee，则可用3a1b6c2d3e来代替。对于拥有大面积，相同颜色区域的图像，用RLE压缩方法非常有效。

算法输入：图像

算法输出：图像行程编码序列 利用C语言，或者Java语言，完成算法对图像的行程编码.

设计一个GUI界面，能够接受图像，输出图像的形成编码序列

3． 特征权重排序信息增益算法的设计与实现 在文本分类领域中，信息增益IG是一种常用的特征排序算法的标准。要求利用信息增益公式计算每个特征的信息增益值，并根据信息增益值从大到小输出。

举例如下：

假设文本中包括的特征：

outlook {sunny, overcast, rainy}// 晴天、多云、下雨

temperature {hot, mild, cool} // 热、温和的、冷