关于元搜索引擎的研究与分析

关于元搜索引擎的研究与分析洪　涛摘　要　本文对元搜索引擎进行了界定,阐述元搜索引擎的特征、分类及其运作原理,研究了元搜索引擎几项关键技术,并讨论了它的未来发展方向。

关键词　元搜索引擎;源搜索引擎;元搜索技术;信息检索分类号　G250173Abstract　This article defines the meta search engine,describes the features,classification and operating principles of meta search engine, studies the key technologies,and discusses its development in the future.K eyw ords　Meta search engine;Source engine;Meta search technology;Information retrievalClass Number　G2501731　元搜索引擎的界定及特征元搜索引擎(meta search engine)通过一个统一用户界面帮助用户在多个搜索引擎中选择和利用合适的搜索引擎来实现检索操作,是对分布于网络的多种检索工具的全局控制机制。

[1]相对元搜索引擎,可被利用的独立搜索引擎称为“源搜索引擎”(Source Engine)。

1.1　元搜索引擎的特征将一次提问提交多个数据库。

元搜索引擎调用多个独立搜索引擎的统一界面,将用户递交的提问提交给其它多个独立搜索引擎,因此,用户的一次查询可以同时检索多个独立搜索引擎。

这期间,针对不同的独立搜索引擎将用户的提问作不同转换,以适应相应索引数据库的调用。

基于独立搜索引擎结果的二次加工。

元搜索引擎的结果基于独立搜索引擎的查询结果,少数简单的直接调用原始的结果页面,但都实现了对独立搜索引擎查询结果的二次加工,如重复结果的删除、结果的再度排序等。

标明结果记录的来源搜索引擎及其相关度。

在定制结果输出形式的元搜索引擎中,检索结果一般都标明记录的来源搜索引擎及其相关度。

1.2　元搜索引擎的局限性元搜索引擎的功能很大程度上受独立搜索引擎的限制,因此不可避免的存在局限性。

检全率提高,检准率不易控制。

元搜索引擎将一次提问同时检索多个搜索引擎,扩大了检索覆盖的范围,提高了检全率。

但其结果主要来自独立搜索引擎查询结果中排名靠前的记录,在一定程度上默认了独立搜索引擎的检准效果,而目前独立搜索引擎自身在检全与检准提高方面存在着各种问题。

因此,元搜索引擎在为用户提供全面、综合的结果同时,难以控制各独立搜索引擎的无关输出。

检索功能简单。

元搜索引擎一般只提供一个公共接口供用户输入查询词,实际查询在各个独立搜索引擎中实现。

由于各独立搜索引擎的检索语法不统一,以统一的查询入口执行多个数据库查询需要进行准确的提问分析和转换。

对于简单的布尔逻辑检索和词组检索,元搜索引擎的检索效果很好;对于复杂的检索功能,效果并不是很好。

因此,元搜索引擎一般只支持通用的检索句法,抹煞独立搜索引擎中效果较好的高级查询功能。

2　元搜索引擎的分类根据不同的标准,元搜索引擎可以划分为不同的类型。

以操作平台来区分,可以分桌面型和网站型两类。

[2]桌面型元搜索引擎实际上是一种应用软件,它安装在用户电脑中,在与互联网联通的前提下将用户的请求发送给多个搜索引擎,并返回整合的检索结果,如Hot Search。

网站型元搜索引擎即我们常见的Web元搜索站点,只需通过浏览器即可使用,如Dogpile、Metacrawler、MetaFisher。

而依据向源搜索引擎递交查询请求的顺序可分为并行处理式和串行处理式两大类。

前者将用户的查询请求同时传送给它调用链接的多个独立搜索引擎进行检索处理,后者将用户的查询请求依次转送给调用的独立搜索引擎进行检索处理。

目前大部分元搜索引擎采用的都是并行处理方式,如著名元搜索引擎Dogpile、万维搜索引擎。

3　元搜索引擎的运作原理元搜索引擎是用户同时利用多个搜索引擎进行网络搜索的中介。

检索时,元搜索引擎根据用户提交的检索请求,调用源搜索引擎进行搜索,并对检索结果进行汇集、去重、排列等优化处理后,以统一格式在同一界面集中显示。

在这一过程中,元搜索引擎依次通过以下三个机制进行运作。

3.1　选择机制元搜索引擎在执行查询之前必须进行搜索引擎列表的初始化,对需要调用的搜索引擎进行选择。

选择的方式有两种:系统选择和用户选择。

前者是指由系统决定选择哪几个独立搜索引擎,这是在对源搜索引擎的功能效率进行自动评价的基础上实现的;用户选择是指用户通过浏览搜索引擎列表,出于个人偏好和对各搜索引擎的评估来自主选定独立搜索引擎,一般用户对此往往感到困难。

此外,这一机制还可以实现检索时间、结果数量的选择等用户个性化设置。

3.2　转换机制包括两部分内容:把用户的查询请求转化成为符合各源搜索引擎要求的标准查询式;把各源搜索引擎的查询结果转化为统一的输出形式。

由于各个独立搜索引擎的检索算法和数据库结构存在差异,是只能支持布尔检索、截词检索等基本检索,还是提供自然语言查询等高级检索,都需要转换机制精确掌握它们调用CGI的格式,逐一作出适应源搜索引擎的转换,以提高检准率。

同样,各搜索引擎的查询结果页面表达格式各有侧重,需要依赖转换机制将它们统一起来。

3.3　排列机制整合各搜索引擎的检索结果,分为引用排列和重新排列两种方式。

引用排列是指直接采用搜索引擎提交的结果顺序,依次将不同来源的结果显示出来。

这种方式无需进行结果去重而只需完成格式转换,因此显得简单易行,而且它有利于用户了解哪些搜索引擎对自己所需的信息不能提供或提供很少,以后再查询时可将它们从自己的引擎组合中删除。

但这种方式也很有可能致使一个搜索引擎的不相关结果排在了另一个搜索引擎相关结果之前,使用户错过了重要信息;重新排列方式则要对结果进行更多的处理,首先是筛选处理,对被多个搜索引擎检出的结果进行合并去重;然后是对结果再排序,目前常用的排序算法有摘要排序法和位置排序法。

4　元搜索引擎的主要技术元搜索引擎的核心问题是解决如何调用其它搜索引擎的索引数据库、如何获取查询词在其他搜索引擎中的查询结果以及如何评价、排序、呈现结果等,解决这些问题的主要技术有用户提问转换、检索机制设计与优化、检索结果输出、分布式数据库调用等技术。

4.1　用户提问转换元搜索引擎定制查询界面供用户输入查询词,需要根据不同的搜索引擎转换成可以进行检索的查询表达式,不同的搜索引擎有不同的检索语法和操作符使用技巧,需要对提问进行处理。

同时要对搜索引擎不能处理的检索方式进行排除,并选择一种合适方式来匹配。

例如,在ZFIND中,就提供了许多种检索句法,对于不支持的搜索引擎就不作处理,因此用户即便选定也不会起作用。

4.2　检索机制设计与优化对于搜索引擎初始化方式、各个搜索引擎结果平衡处理等问题,都需要在检索机制的设计初期进行规划,这主要受到检索反馈速度、检索结果满意度等因素的影响。

目前,搜索引擎初始化主要有用户参与、系统默认或自动随机处理等方式。

检索结果的处理主要是如何衡量不同搜索引擎结果之间的相关程度。

简单的处理方式是以搜索引擎为单位,在选定的独立搜索引擎下面显示比较靠前的结果(如dogpile);复杂的处理方式是以记录为单位,通过判定某一记录在多个独立搜索引擎中被评价的指数,如果多个独立搜索引擎都检出该结果,那么该记录将被排列在整个显示的前面,同时后面标注出是在哪些搜索引擎中检出的。

4.3　检索结果输出结果输出处理一般有两种形式:直接引用原始结果页面技术与结果页面定制技术。

直接引用原始结果页面是元搜索引擎技术中较为简单易行的方式,通过CGI技术,利用表单提交来调用数据库,在自制的页面中将表单提交的对象修改为独立搜索引擎调用数据库的脚本文件。

在这种情况中,一般无需进行结果去重,只需完成表单提交的转换即可。

结果页面定制技术则要对结果进行更多的加工处理,主要包括:①记录遴选处理,选择相关程度高的记录并加以显示,同时删除可能被多个独立搜索引擎同时检出的记录。

②结果的再度排序,元搜索引擎并不是完全选取在独立搜索引擎中得到的结果的前几条记录,经过了再度排序,尤其在混合综合型的结果输出当中,根据检索机制对相关度判断的标准来比较各个搜索引擎得到的结果。

4.4　分布式数据库调用技术直接调用独立搜索引擎结果页面的元搜索引擎不需与独立搜索引擎的索引数据库直接交换数据,只需直接引用独立搜索引擎的结果页面;而查询多个搜索引擎的元搜索引擎则需在满足独立搜索引擎的数据库访问权限的情况下,实现对其索引数据库的访问和二次开发。

各独立搜索引擎的数据库分布在不同的地域,要实现对异地、异构数据库的访问,需要使用一系列诸如分布对象技术等相关的核心技术。

同时,不同数据库调用结果响应时间长短不一,这也会直接影响到结果页面的呈现。

5　发展趋势元搜索引擎的出现有近十多年的历史了,但它的检索效果至今仍不理想,究其原因,主要是元搜索引擎的关键技术没有得到很好的解决。

元搜索引擎的功能受到源搜索引擎和元搜索技术的双重制约:一方面,源搜索引擎的各具特色的强大功能在元搜索引擎中受到限制而不能充分体现;另一方面,任何一种元搜索技术都很难挖掘和利用源搜索引擎的全部功能。

应当说,元搜索引擎在查准率上不一定强于其他源搜索引擎,但是由于能够在多个源搜索引擎中搜索,必然能够提供更多的机会。

未来的元搜索引擎的研究应突出如下几个方面的问题。

5.1　智能化元搜索引擎技术重点是检索请求提交机制和检索接口代理和结果的集成。

利用Agent 技术,智能元搜索引擎能够分析整理成员搜索引擎的工作记录数据,建立调用策略模型,实施检索时动态地决定调用策略,将搜索请求递交给最适合的搜索引擎处理。

检索技术统一集成界面,具备多样化的检索选项和功能设置,综合运用检索平台,支持匹配、逻辑与位置限定等检索,通过自然语言理解和与成员搜索引擎相匹配的格式转化实现检索语言自动转换与功能实现。

[3]5.2　专业化专业元搜索引擎是个很好的概念,不但网络资源可以比普通元搜索引擎挖得更深更多,搜索负担还小得多,应该是很符合网络发展方向的。

由于网络资源高速增长,使得任何一个独立搜索引擎都没有能力检索网络上的全部资源。

而且由于行业竞争的加剧,一些搜索引擎便会进行重新的市场定位,这样的定位便产生了用户群的分化,使得元搜索引擎逐渐变得较为有优势,而元搜索引擎的机理又注定它是要做综合性搜索引擎的,于是在激烈的市场竞争中此消彼长,原有的一些综合性的独立搜索引擎又会在市场中重新定位,产生专业化,又会产生新一轮专业化元搜索引擎增长高潮。

[4]对于用户来说,其登录元搜索引擎界面的成本与独立搜索引擎相若,但由于元搜索引擎集成了多个独立搜索引擎,用户对使用元搜索引擎效益期望远远大于某一家独立的搜索引擎,对于此独立搜索引擎来说,用户再次逐渐减少。