中文搜索引擎的比较研究

・实践平台・中文搜索引擎的比较研究

赵静萍　(西安文理学院图书馆　陕西西安　710002

)

张友鹏　(西安石油大学图书馆　陕西西安　710065

)

【摘　要】通过对典型中文搜索引擎的比较分析,指出中文搜索引擎目前存在信息量不足、查询方式单一、采用技术落

后、多媒体信息量不足、专题性中文搜索引擎较少和数据库更新不及时等问题,提出了中文搜索引擎的元搜索引擎、智能化检索和多媒体检索等发展趋势和发展对策。

【关键词】搜索引擎　中文搜索引擎　信息检索【分类号】TP393.4【文献标识码】A

【文章编号】1003-6938(2004)06-0078-05

因特网的发展也许不能用日新月异来形容,因为它每时每刻都在发生变化。由于因特网上的信息是极其无序的,信息量越大,越难被利用,没有人对因特网上信息的有效性和有序性负责,因此如何获取和利用因特网上的信息就成了一个大问题。目前解决这一问题的最佳途径是利用搜索引擎。[1]基于这个目的,本文对目前因特网上较有规模的中文搜索引擎作一个粗浅的比较,分析其存在的主要问题,探讨解决这些问题的对策和中文搜索引擎的发展趋势。1　中文搜索引擎概念及分类一般而言,搜索引擎是指以网络的各种信息资源为对象,以信息检索的方式提供用户所需信息的数据库服务系统。搜索引擎起源于传统的信息全文检索理论,即计算机程序通过扫描每篇文章中的每个词,建立以词为单位的倒排文件,检索程序根据检索词在每篇文章中出现的频率对这些文章进行排序,最后输出排序结果。与传统的信息理论研究不同,搜索引擎的用户看中的是系统的稳定性、速度、易用性和反馈的信息量的相关度。中文搜索引擎是指以网络上的中文信息为主要对象,提供信息的自动收集、过滤、索引和检索导航等服务的搜索引擎。根据检索工具的数据检索机制,我们可将检索工具分为检索型、目录型和混合型(检索工具);按检索内容可划分为综合型、专题型和特殊型(检索工具);按包含检索工具数量划分为单独型和集合型(检索工具)。2　中文搜索引擎的现状及存在的主要问题虽然中文搜索引擎起步较晚,但发展的速度却很快。目前大陆地区较完备的搜索引擎有搜狐、雅虎、天网、悠游和百度等。港台地区拥有更为普及的网络技术,台湾地区的网络用户有200多万,其网上采用big5编码的中文信息也十分丰富,并有一批著名的搜索引擎,如哇塞、蕃薯藤等。香港较优秀的搜索引擎有茉莉之窗等。近年来国外一些网络企业也开始瞄准中国互联网这一巨大市场,很多国外的搜索引擎也纷纷开发了中文版的搜索引擎,

如Google、Altavista等。这些中文搜索引擎各有特点,如悠游属于机器人模式的检索工具,而搜狐、雅虎则基于人工分类模式。大部分的搜索引擎都提供了分类目录查询及关键词查询两种方式。在分类目录查询状态下,

用户首先确定自己所查信息属于哪一大类,之后再一步步地深入到小类中并最终找到自己所需的信息。这种查询的优点是清晰直观、便于检索,缺点是速度较慢;另一种关键词查询方式则是用户将欲查信息的关键词输入,搜索引擎会自动在其数据库中搜索相关网站信息并返回最终结果,其优点是速度相对要快一些。2.1　常用中文搜索引擎的介绍与分析搜狐(http://www.sohu.com.cn)　“搜狐”是由爱特信公司于1998年2月在北京隆重推出的有“中文网路探神”之称的大型网上中文查找工具。其信息抓取范围较其它中文搜索引擎的范围要广,它是以提供分类目录为主并具有网站检索和新闻检索功能的中文搜索引擎,其分类原则是以图书分类为87

图书与情报200416基础,与日常应用习惯相结合,由编辑人员分类,因而分类质量较高。搜狐的优点是具有友好的中英文界面以及独特的中文分词功能,检索结果信息量大,分类清晰。[6]它受到网上用户的广泛欢迎,访问率每天达2万人次左右,约有200万页面被读取。天网(http://e.pku.edu.cn)　“天网”是由北京大学计算机系统网络研究室开发的网页资源索引的查找服务系统,它采用Robots(一种自动跟踪、浏览网页并进行标引的智能软件)自动发现和收集信息,[12]已收集了5千多个网站上的60多万网页信息,同时还收集了约10万篇新闻信息。就检索性能而言,天网采用搜索网页全文的方式,用户只需输入要检索的一个或多个词,系统将把与这些关键词相符的文章依次列出。由于全文式搜索的范围要比分类式大的多,因此搜索的结果较为全面、广泛。但有时会过于繁多和杂乱,反而不够准确。天网也提供高级检索功能,通过对关键词的各种限制来使检索结果更加准确。此外,它还提供FTP查询与下载服务。就检索质量而言,天网的优点是搜集的网页较多,有BIG5界面和英文界面,可进行中英文关键词的检索,支持复杂查询,检索速度快,反馈信息丰富,包括网址、摘要、最后修改时间、长度、相关度和编码类型等。雅虎(http://cn.yahoo.com)　雅虎中文版是美国yahoo公司设立的中文搜索引擎,收录了全球数以万计的中文网站,支持国标码和大五码繁体字,它按照英文版的编排方法,对1万多个中文网址进行了科学准确的分类,具有网站检索和全文检索功能,用户可利用繁体或简体中文从分类类目或新闻页中检索信息。它可以自动将关键词拆分进行模糊查询,返回的结果较有序,但对结果的描述较概括。雅虎有两种检索方式;一是按目录逐级搜索;二是输入关键词检索。为了更快更精确检索到用户所需的信息,雅虎还规定了一些符号对关键词进行限制。(1)利用双引号“”,查找完全符合关键词串的网站。(2)指定关键字出现的段落。悠游(http://www.goyoyo.com)　悠游是一个极具智慧的中文搜索引擎,收集了70万个中文互联网网页,并能对英文、中文国标码和大五码的网页以及每日更新的信息进行自动搜索和识别。就检索性能而言,悠游能提供多种查询方法,包括智能检索、分类检索、精确匹配检索、URL检索和目录检索等;它还采用了布尔算符,来限制关键词是否在检索结果中出现,并提供了字段限制来指定关键词出现的位置。一般来说,越是优秀的搜索引擎,提供的查询限制功能越多、越合理。从这点来看,悠游的表现还是比较突出的。悠游不同于其它中文搜索引擎的地方在于,它具有汉字内码的自动转换和跟踪功能,如果用户使用的汉字环境与正要查看的网页代码不同,它会自动地插入一个中文网页过滤器,保证用户屏幕上出现正确的代码。它不仅仅是一个中文搜索引擎,而且能使用先进的技术,减少人工介入的工作量,进行大规模的中文信息处理。茉莉之窗(http://www.jansers.org)　“茉莉之窗”由香港中文大学设计,提供了中文GB码、BIG5

码和英文三个界面,共收录了57万多个中文站点,

并给每个网页10个关键词作索引。该站点可进行分类主题搜索和关键词搜索,在分类搜索中,可按划分好的12个大类逐级进行查询;而关键词搜索就更具特色,[5]它先将检索要求切分成词,并赋予每个词以合适的词性,然后仅使用其中的名词、动词和形容词进行主题检索,而不是传统的精确匹配,最终将检索结果通过网页过滤器,自动转换成用户浏览器支持的中文码字,而且反馈信息十分丰富,其中包括网页名称、编码类型、相关度、相关网页、网址和简单介绍等,这样就保证了检索的查全率和查准率。2.2　中文搜索引擎所存在的主要问题与国外搜索引擎相比,国内搜索引擎起步较晚,国外的搜索引擎能搜索上亿的网页,如Google

收录了13亿之多的网页,而国内搜索引擎目前收录的网页数量远远落后于国外的搜索引擎,检索速度也与国外的搜索引擎有差距。国内搜索引擎从技术角度讲基本由三部分组成:[3]第一部分是蜘蛛软件,即自动收集程序,它的作用是负责收集网页的内容。第二部分是索引器,

其作用是将收回来的内容进行分析,然后做一个索引。第三部分是搜索器,即响应用户的检索请求,

用户输入关键字后,搜索器要用这个检索词与建立的索引器匹配后做相关性排序,再将排序结果送给用户。与西文信息检索相比,中文信息检索有其自身的一些特点,如中文词语没有空格,几乎没有词缀的变化,汉语的句法分析与语义理解更为困难等。总的来看,中文搜索引擎存在如下问题:

97

2004.6中文搜索引擎的比较研究1.检索性能不太完善。除了一些质量较高的中文搜索引擎外,其余多数检索性能不够齐全。首先是分类不够科学合理。按分类目录浏览往往检索到很多无关的信息,易出现漏检和误检的情况。其次是大多数的关键词检索模式只配置了一个简单的检索框,或只提供关键词间最基本的布尔连接,缺乏其他复杂高级的精确检索方式,不易于处理多词检索和限定词检索,无法进行匹配查询,查准率不高。2.中文搜索引擎收录的中文网页信息较少,收全率低。相比网上外文信息而言,网上中文信息资源较少,且中文ISP站点的质量也良莠不齐,信息更新的速度慢。通常是几个月才有所更新。对搜索引擎而言,ISP站点内容的质量也非常重要,它和搜索引擎之间是鱼水关系。3.标引不够充分。由于某些原因,如网页服务器禁止网络机器人通行,网页通过外界程序与其数据库相连等,对网页的内容分析不够,标引不够充分。4.检索效果不好,查准率低。查询的命中率较低,相关程度不可靠,等待时间较长。一般来说,国内的网站以收集大陆的资源为主,其差距主要在Spider和Searcher上,因为国内有些中文网站目前的网页搜索服务包括一些服务器在境外的ASP,这是查询速度慢的原因之一,也是影响检索数量的原因。5.缺乏统一的协调和合作,中文搜索引擎的开发比较分散,重复现象较多,造成人力、物力和财力的浪费。6.能够查检多媒体信息资源的中文搜索引擎较少。目前的中文搜索引擎大多以文本为主,随着多媒体技术的日趋完善和宽带网的发展,应为网络多媒体信息资源提供广阔的发展空间,为多媒体和图像中文搜索引擎的迅速发展开辟一块新的天地。7.专题性或专业性中文搜索引擎较少。综合性的中文搜索引擎收录各方面、各学科和各行业的信息,而专题性的搜索引擎则是为了专门收录某一行业、某一主题和某一地区的信息而建立,能够提供专题信息查询服务,非常实用。目前的中文搜索引擎大多是综合性的,专题性或专业性的很少,在反映专题或专业信息方面较难做到广快精准。因此,目前应当选择一些具有代表性的专业或高新技术产业,建立大型的、内容丰富的专题性或专业性中文搜索引擎,以促进专业信息的交流和各行业的发展。8.信息资源建设相对滞后。中文搜索引擎检索功能单一,与信息加工深度有—定关系,网上信息资源加工深度不够,往往无法满足更高级的复杂检索,中文搜索引擎的数据库多为非全文数据库,

不能提供原文,并且库内信息量少,无法实现周期性更新,因此信息资源的建设相对滞后。9.数据库更新不及时。部分搜索引擎的索引数据库更新不及时,搜索出来的信息有些已经过时,甚至存在错误链接或“死链接”。3　中文搜索引擎的发展对策及发展趋势3.1　中文搜索引擎发展的对策3.1.1　增加标引的深度目前的网络信息挖掘是基于形式的,如关键词、标题和URL等,所获得的信息与设定的要求只是简单的匹配,对于中文搜索引擎,要运用网络的数据挖掘和知识发现来分析信息的内容及其关系,