基于教育主题的垂直搜索引擎研究与分析

摘要由于通用搜索引擎具有搜索信息量大、查询不准确、深度不够等缺点，本文在通用搜索引擎技术的基础上，依据专业领域搜索策略，设计并实现了一个面向教育主题的垂直搜索引擎系统，着重研究了专业网络蜘蛛定制，基于VSM的主题相关度算法和倒排索引建立等关键技术及其实现细节。

实验结果表明，该系统能够快速地响应用户的查询请求，并且返回结果具有较高的准确性。

实现了教育资源的共享，具有较高的应用价值。

关键词：垂直搜索引擎；主题网络蜘蛛；主题相关度AbstractThe general search engine has some disadvantages, such as the amount of information is too large, the searchresults are not accurate enough, and the search deepness is insufficient enough. Based on the general search engine technology and according to the search strategies of expertise field, this paper designs and realizes a vertical search engine system for education theme.We focus on researching and realizing some key techniques about the professionalcustomization of web spider, the algorithm for the degree of subject relativity based on VSM, and the establishment ofinverted index. The experimental results show that, this system can quickly respond to the user's queries, and the results can return with a high accuracy. The system realizes the sharing of educational resources, which has a high application value.Key words：vertical search engine; topic web spider; subject relativity目录摘要 (I)Abstract (I)第一章绪论 (1)1.1国内外的研究现状 (1)1.2研究意义 (2)1.3论文结构 (2)第二章搜索引擎及垂直搜索引擎相关介绍 (2)2.1搜索引擎的概念 (2)2.2搜索引擎的局限性 (2)2.3垂直搜索引擎的概念 (3)2.4垂直搜索引擎与搜索引擎的比较及其优点 (4)第三章基于教育主题的垂直搜索引擎研究与分析 (4)3.1教育主题垂直搜索引擎的体系结构设计 (4)3.1.1教育主题信息采集与主题识别模块 (5)3.1.2 信息抽取与索引模块 (5)3.1.3 用户接口与信息检索模块[9] (6)3.2 面向主题的垂直搜索引擎关键技术 (6)3.2.1面向教育主题的网络蜘蛛设计 (6)3.2.2基于Lucene索引的创建 (7)3.2.3 检索与用户接口模块 (8)第四章总结 (8)参考文献 (9)基于教育主题的垂直搜索引擎研究与分析第一章绪论1.1国内外的研究现状随着人们对网络信息需求的不断增加，产生了基于网络的搜索引擎，这成为了人们查找并获取信息的重要手段。

经过近年的发展，搜索引擎技术取得了极大进展，它建立了快速地从海量的互联网信息里定位和检索的途径，成为当代人日常生活和工作越来越不能缺少的重要工具。

但是，用户的个性化需求、信息多元化的发展等一系列因素的产生，使部分用户对引擎有了更深入、快速、及时等查询。

通用搜索引擎可以保证查全率,但是对某具体领域而言,无法为用户提供比较精准的信息。

因此，人们迫切希望可以有一种信息分类清晰、准确、全面、更新及时的专业搜索引擎来获取网络资源信息，而垂直搜索引擎迎合了这一需求[1]。

垂直搜索引擎提供的服务是通用搜索引擎所不能给予的。

主题的垂直搜索引擎针对的领域也不一样。

面向具体的某一特定领域的垂直搜索引擎能够为这一领域的用户提供更加一专业、更加精确、更加细化的服务。

现今,这种而向某一主题的搜索引擎越来越受到人们的关注,在国内外的市场上已经涌现出了很多样的产品,这些垂直搜索引擎包含了各个领域，如教育、社会问题、影视资讯、旅行、房产交易等等，几乎各个领域都发展出了自己的垂直搜索引擎，如Elsevier 科学出版社开发的SCIRUS 系统，是目前因特网上最全面、综合性最强的科技文献专业网站之一，FocusedProjec系统等。

我国的垂直搜索引擎市场还处于起步阶段,垂直搜索引擎自身的技术发展还不成熟,同时用户对于垂直搜索引擎的认知还非常欠缺。

但是在这样的环境下,还是涌现出了一批具有代表性的垂直搜索引擎网站：搜房网,是专注于房产行业的搜索;酷讯,是一款以即}讨的生活信息为检索对象的垂直搜索引擎;职友集,是针对职业搜索,除此之外,还有摩狗汽车,络龙医搜、奇虎等等。

由此可见,这种而向具体某一主题、专业化的搜索引擎已经成为了现在的流行热点[2]。

1.2研究意义针对某些领域特殊人群的特定需求,出现了垂直搜索引擎,它的出现,在快捷、专业、精准方面给人们提供了更好的检索服务。

当人们根据需要,给出关键词和例文,垂直搜索引擎可以在此基础上自动查找类似内容,提高了专题相关内容的覆盖率。

当主题搜索引擎集中某一特点领域时,可自动排除无关的干扰信息,提高准确率的同时也保证了信息的详细收录和刷新[3]。

1.3 论文结构本文共分为四章。

第一章阐述了教育主题垂直搜索引擎的研究背景、研究意义、国内外的研究现状。

第二章分析了搜索引擎与垂直搜索引擎的概念，它们之间的区别及相关知识。

第三章主要分析了教育主题垂直搜索引擎的体系结构和关键技术，阐述了 Lucene 的相关技术研究。

第四章对本文进行了总结。

第二章搜索引擎及垂直搜索引擎相关介绍2 .1搜索引擎的概念搜索引擎是一种从互联网上获取、分析与处理信息并返回结果的系统。

对文本的查询和索引是搜索引擎的核心技术,它处理的是文本类信息,承续了信息检索技术,它的前身是全文的信息检索与网络软件,后来逐步发展为现在的搜索引擎。

它本质上是一个提供信息检索服务的 Web 服务器,声音、新闻组、图片、Web 网页、Web 网站都是它可以用来检索的资源,网页网址、网页内容摘要和网页的标题是它提供的主要信息[4]。

搜索引擎是一种计算机程序,它搜集并处理和组织网络上的信息,然后给用户提供运算后的信息,是提供检索服务给用户的系统。

2.2搜索引擎的局限性(1)在信息搜集和检索的过程中缺乏同步性。

在网络上搜索信息时,专业的爬虫程序遍历互联网搜集的网页索引信息是搜索引擎的主要依据,但是,爬虫程序完成这项工作需要大量的处理时间,同时,它也不能随时随地遍历网络,而网络上的一些动态的内容越来越多,如新闻、股票等信息,而且变化较快。

它的用户查询和源信息是完全分开的,因此,它的信息采集是在确定的时间段内定期进行的。

这样的信息采集方式,决定了无法保证信息的及时更新。

(2)信息检索的方式存在单一性。

通用的搜索引擎存在查全率较低、容易漏掉信息的问题。

它只是提供分类浏览的查询检索和基于关键词的全文检索方式,因此,所得到的结果中往往含有很多无关的网页,也就导致了查准率的下降。

(3)信息检索的内容存在单一性。

现有的搜索引擎忽视了用户之间的差异性,也就是说,只要输入搜索的关键词汇相同,得到的搜索结果就会相同,这一点对所有的用户都是一样的。

但是在现实中,用户的需求往往是不同的。

(4)信息的服务方式存在被动性。

少数对搜索引擎系统了解的用户,可以使用好的关键词来构造查询,可以获得高质量的查询结果。

但是,对于绝大多数人来说,想要准确表述自己对信息资源的需求是很难的,同时,也不知道准确有效查找的方式,这种现象就是人们常说的信息迷失[5]。

2.3垂直搜索引擎的概念垂直搜索引擎是一种专业的搜索引擎，它是针对某个特定的人群、领域或需求提供的有一定价值的信息，是对中某个主题的信息进行爬行、索引并整合，定向分字段抽取出需要的数据进行处理后再以某种满足用户个性化需求的形式返回给用户[6]。

垂直搜索引擎是对通用搜索引擎的延伸和细化，二者在基本原理和工作过程等方面基本相同，相对于传统的通用搜索引擎，垂直搜索引擎是对某一类网络信息深化和整合。

2.4垂直搜索引擎与搜索引擎的比较及其优点表一：垂直搜索引擎与搜索引擎的比较目前，垂直搜索引擎已然成为搜索引擎技术的主要发展方向，它的优点主要有以下几点：(1)采集的信息比较集中，关注某一个或几个学科领域，可以采用多种方法对信息进行组织整理。

(2)信息量小，节省存储和索引存储空间。

(3)一词或一字多义现象的可能性降低，利用专业词表可以对词汇进行规范和控制，减少歧义。

(4)查询响应时间短，可以采用复杂的查询方法提高精度[7]。

第三章基于教育主题的垂直搜索引擎研究与分析3.1教育主题垂直搜索引擎的体系结构设计面向教育主题的垂直搜索引擎系统主要包含信息采集模块与主题识别模块，信息抽取与索引模块，用户接口与信息检索模块三部分，总体结构设计如图1所示:[8]3.1.1教育主题信息采集与主题识别模块在信息采集模块中，运用面向教育主题的网络蜘蛛对教育主题相关信息进行抓取，这是搜索引擎的第一个步骤，从某一个具有主题意义的种子URL开始，按照深度优先算法，采用多线程并行抓取方式自动在互联网上搜索爬行，遍历教育领域的门户网站，抓取与教育主题相关的网页，采集网页信息，抽取并压缩网页内容存入原始数据库中，然后跳转到网页中链接指向的其他网页，直至遍历整个网络。

在此过程中，运用主题识别算法对网络蜘蛛所采集的页面进行主题相关性判断，根据计算得到的相关度结果，对采集到的网页进行取舍，将相关度大于预先设定的阈值的网页保存到面向主题网页数据库中，舍弃与主题不相关的网页，这垂直搜索引擎的核心部分，可以控制信息采集的规模，保证采集到的信息的专业性，提高搜索的准确性。

3.1.2 信息抽取与索引模块信息抽取与索引模块对存储于面向主题数据库中的大量结构和非结构化的数据进行抽取，将网页主题块中特定的结构化信息抽取出来!并进行过滤、分词等预处理操作，构造索引，计算词的权值按检索结果合理排序，并存入索引数据库中。