Lucene框架下构建高校校园网搜索引擎

格式：doc
大小：26.00 KB
文档页数：7

下载文档原格式

基于Lucene的校园网垂直搜索引擎的设计与实现

基于Lucene的校园网垂直搜索引擎的设计与实现
蓝永健
【期刊名称】《广东第二师范学院学报》
【年(卷),期】2009(029)003
【摘要】垂直搜索引擎是针对某一个特定行业的专业搜索引擎,是搜索引擎的细分和延伸,可以反馈给用户更准确和更专业的查询结果.在高校的校园网信息检索应用领域,实现了基于Lucene技术的中文校园网垂直搜索引擎,其可以为用户提供专业的信息检索服务.
【总页数】6页(P98-103)
【作者】蓝永健
【作者单位】广东教育学院,教务处,广东,广州,510303
【正文语种】中文
【中图分类】TP391.3
【相关文献】
1.基于Lucene的校园网搜索引擎的设计与实现 [J], 吴建
2.基于 Lucene 的校园网智能搜索引擎的设计与实现 [J], 董李鹏;高东怀;张迎;靳豪杰;孟颖翔
3.基于Lucene的新闻垂直搜索引擎设计与实现 [J], 许翰林;王瑞;王佳丽;吴宸阳;李浩;陈阳
4.基于Lucene的垂直搜索引擎的设计与实现 [J], 姜元爽;谭培;刘馨元;吕加国
5.基于Lucene的垂直搜索引擎设计与实现 [J], 王飞红丁泽发;
因版权原因，仅展示原文概要，查看原文内容请购买。

基于Lucene.Net校园网搜索引擎的设计与实现

己独特的优势。
关键词：引擎；虫；搜索爬索引
中图分类号：Ｐ９．Ｔ３１３文献标识码：Ａ文章编号：６３６９（０６１ —０７ —０１７ — ２Ｘ２０）１０３３
ＤｅｉｎｎｄＩｐｌｍｅａｉｎｆＳｈｏｅｒｈＥｎｉｓｄｏｃｎｅＮｅｓｇａｍｅｎｔｔｏｏｃｏｌＳａｃｇｎｅＢａｅｎＬｕｅ．ｔ
ｖｎａｅｉｏｉｅｒｈ．ａｔｎｄｍａｎｓａｃｇＫｅｏｄｓａｃｎｉｅＷｅｐｄｒｉｄｘｙｗｒｓ：ｅｒｈｅｎ；ｂｓｉｅ；ｎｅｇ
０引言
搜索引擎在当今的网络资源应用中扮演着重要的角色，Ｂｉ和Ｇｏｌ的业绩强势增长中也可以看到这从ａｕｄｏｇｅ
们所说的网络蜘蛛（ｂＳｉｒ或者叫网络机器人。通Ｗｅｐｅ）ｄ
点。有了搜索引擎，网络资源得以集中地管理和分类，从
而使人们不用直接去网络上盲无目的地寻找自己需要的东西。搜索方法和结果较以前也便利、捷并且更加有快效。但是随着技术的发展，发现现在的搜索引擎并不人们能满足自己的特定要求，大众的搜索引擎也很难实现一个域范围内全面快速的搜索。比如说，在一个大学之内搜索，ａｕＧｏｌ就不可能提供校园网所有网页这一特Ｂｉ和ｏｇｄｅ定范围的搜索功能，并做到快速地更新。文中提出了一种基于Ｌｃｎ．ｅ的校园网搜索引擎ｕｅｅＮｔ

基于lucene的校园网搜索引擎

（信息处理模块。ｕｅｅ二）Ｌｃｎ开源检索框架制。通常，由词项（字）关键和出现情况两部分简介［Ｌ．２０－１２】ｈｔ：／ｗ．ｈｄ— ０】［０８１－４．ｔｐ／ｗｗｃｅｏ是基于文件索引机制的，只能对文本文件进行组成。对于索引中的每个词项（关键字）都跟ｎ．０／ｅｈ１ｃｎ．ｔ１，ｇｃｍｔｃ／ｕｅｅｈｍ．索引。信息处理模块主要包含３个步骤：读取随一个列表（位置表）用来跟踪记录单词在所【】薛宇星．基于ｔｒｔｉ和Ｌｃｎ的Ｗｂ，２ｉｉｒｘｕｅｅｅｅ页面内容、页面内容解析和构建索引。结构图有文档中出现过的位置。
分工不同，人们所关注的信息产业范围也不尽
个好的网页爬虫应该具有很好的灵活址为ｈｔ：ｗｗｊｏ．／ｔ／ｗ．ｓｔｎ，这是一套由ｉａｐ／ｅｆｃａ写息，ｖ搜索引擎起着至关重要的作用。当代社会
性和健壮性，并且易于管理员操作管理。灵活成的分析软件。
性旨在爬虫能够尽可能多的适用于各种不同
个焦点。
二、搜索引擎
搜索引擎是一个为用户提供信息检索功能的网络工具搜索引擎是随着互联网络信息的快速增长，开始逐步发展起来的技术。在互
联网发展的最初阶段，网站的数量相对较少，
爵…
ｔ３
．
！
．．．
．．．
信息查找比较容易。但随着互联网技术爆炸性的发展，网络上面的信息越来越多，并且以各种各样的形态存在，这时用户便很难找到所需要的信息，一些为满足大众信息检索需求的专业搜索网站就应运而出了。如今，ｏｇ的巨Ｇｏｌｅ

轻量级校园网搜索引擎

２０１２年湖南省大学生研究性学习和创新性实验计划项目《轻量级校
园网搜索引擎设
１引言
轻量级搜索引擎与通用搜索引擎相比有很多优点，由于它本身的信息量小，它不可能取代通用搜索引擎。但是，它是对通用搜索的很好的补充。
随着Ｗｅｂ上信息的进一步扩大，轻量级搜索引擎也将会进一步发展，其中已经引起人们关注的垂直搜索引擎在未来的搜索将发挥更大的作用。３构建轻量级校园网搜索引擎的设计与实现３．１通过ｎｕｔｃｈ进行网页抓取
在信息高速发展知识大爆炸的今天，在互联网上如何高效的搜索我们所需要的信息，如何面对海量的信息而不至于摸不着头脑，搜索引擎的存
在给我们在黑暗中亮起了一盏明灯。目前网络上主流使用的搜索引擎不外
乎于老牌的百度、谷歌和最近异军突起的搜狗搜索、３６０搜索，但是用这些搜索引擎只对在校园网的内容搜索，它们还是有很多不足的。
目前主流的搜索引擎主要以页面迭代抓取、全文索引以及关键词搜索为基本特征。搜索引擎主要由四个部分组成：搜索器、索引器、检索器和用户接口四个部分组成。搜索器其功能是在互联网中漫游，发现和搜集信息；索引器其功能是理解搜索器所搜索到的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表；检索器其功能是根据用户的查询在索引库中快速检索文档，进行相关度评价，对将要输出的结果排序，并能按用户
首先这些通用的搜索引擎的侧重点各有不同，而且通用搜索引擎的覆盖率都不太高，很多局域网的信息都无法搜索完全，对我们在校园网上寻找信息造成的很大的困扰，另外，通用的搜索引擎对页面的更新比较缓慢，对于信息的实时性和准确性都无法保证。而且，随着学校的发展，各系部、行政部门都有了自己的网站，校园网中的站点、页面也越来越多，用导航栏来进行下一步浏览越来越不能满足我们的需求基于此，我们利用ｌｕｃｅｎｅ框架和ｈｕｔｃｈ的二次开发设计了属于我们自己湖南女子学院的校园网搜索引擎。２搜索引擎、ｎｕｔｃｈ和ｌｕｃｅ Ⅱ ｅ

基于LUCENE的站内搜索引擎的设计与实现.

基于LUCENE的站内搜索引擎的设计与实现1.绪论 1.1课题背景随着现在网络信息化的迅速普及与发展，获取网络上面的有用信息成为人们使用的网络的主需要之一，所以搜索技术成为达到获取有用信息的主要技术，由此互联网搜索引擎应运而生，像Google，Baidu等公司在基于互联网络的搜索中在给人们提供方便的同时公司本身也取得了巨大的成功。

但是目前的站内搜索引擎做得还不是很好，普遍存在搜索精度差，搜索时间长，扩展性不够强等缺点，能够可以供给网站免费使用和学习的站内搜索引擎就更少了，这样就造成了有些网站没有站内搜索引擎或者搜索引擎不好用的局面，这对网站本身的用户体验显然是不能令人满意的，所以站内搜索引擎成为一个网站必不可少的功能之一。

本系统的需求来源于2007世界特殊奥林匹克运动会官方网站，这是本人在公司实习的时候做的一个项目，其中站内搜索功能是官方网站中一个必不可少的功能之一，这个网站系统非常需要这样一个站内搜索的功能，能够搜索指定的官方站内的动、静态中(英)文内容，站内搜索成为官方网站中最主要的功能之一，所以为官方网站建立一个站内搜索功能成为了一个现实存在的需求，于是设计和开发出一个通用的站内搜索引擎是一个非常具有现实意义的研究。

1.2课题目前研究情况及存在问题目前有一些成熟的搜索引擎可以使用，但是都是用于商业，一般不公开源代码，学习起来比较困难，所以一些开源的项目成为设计时的首选，经过对搜索技术的研究，在Apache上发现了一个JAVA实现的用于搜索的开源项目LUCENE，LUCENE目前是公认的最好的搜索方面的开源项目之一，现在LUCENE 已经成功的被移植到C,Perl、Python、C++、.NET及Ruby版本，所以其扩展性比较好，可以适用于大多数的平台，所以是开发站内搜索引擎的最理想的技术，但是目前存在若干问题： 1、因为实际项目需要Microsoft Visual 平台，所以要将LUCENE移植到.NET平台上使用。

12-校园网web搜索引擎的设计与实现2011-8-21

校园网Web搜索引擎的设计与实现引言随着校园网建设的迅速发展，校园网内的信息内容正在以惊人的速度增加着。

如何更全面、更准确地获取最新、最有效的信息已经成为我们把握机遇、迎接挑战和获取成功的重要条件。

目前虽然已经有了像Google、百度这样优秀的通用搜索引擎，但是它们并不能适用于所有的情况和需要。

对学术搜索、校园网的搜索来说，一个公平的排序结果是非常重要的。

另外，由于互联网上信息量之巨，远远超出哪怕是最大的一个搜索引擎可以完全收集的能力范围。

因此，本着整合校园网资源的目的，为方便广大师生对校园网信息的获取和使用，设计并实现了一个灵活、可配置、具有良好可扩展性的校园网搜索引擎。

1. 搜索引擎的发展在国内很多基于主题领域的小型搜索引擎得到很好的发展。

例如一些音乐搜索引擎以及医药方面的搜索都有很好的应用；在越来越多的学校、企业、比较大型的网站如BBS都开始建立了自己的搜索引擎。

在国外，比较著名的有美国教育资源信息搜索的AskERIC，实现医药文献搜索的Highwire等。

Google公司在2007年决定向小型网站提供专门的搜索服务。

这些都表明，小型专用的搜索引擎将在人们获取Web信息中发挥更重要的作用[1]。

在小型搜索引擎快速发展的同时，越来越多的人致力于研究和发展这些小型搜索引擎开发技术，Lucene和Nutch是其中的代表成果。

Lucene是一个高性能、纯Java的全文检索引擎，完全免费、开源。

Lucene几乎适合于任何需要全文检索的应用，尤其是跨平台的应用。

Lucene为Nutch提供了文本索引和查询服务的API，而Nutch在Lucene的基础上实现了网页收集与搜索[2]。

小型搜索引擎与通用搜索引擎相比有很多优点，由于它本身的信息量小，它不可能取代通用搜索引擎。

但是，它是对通用搜索的很好的补充。

随着Web上信息的进一步扩大，小型搜索引擎也将会进一步发展，其中已经引起人们关注的垂直搜索引擎在未来的搜索将发挥更大的作用。

基于Lucene的搜索引擎设计与实现

ｅｐｅｓｏｏｇａｎｏａｏｘｒｓｉｎｔｒｂｉｆｒｔｎ，ＩｄｘｍｏｕｅｕｅｎｅｔｄｉｄｘｍｅｏＷｏｄｓｇｎａｏｇｒｔｍｓｓｍａｉｌｔｈＣｈｎｓｒｓｍｉｎｅｄｌｓｓｉｖｒｅｎｅｔｄ．ｒｅｍｅｔｔｎａｏｉｈｉｌｈｕｅｘｍａｌｍａｃｉｅｅｗｏｄｙ
整体上采用基于Ｓｒｓ．框架的模型．ｔｔ２ｕ１视图－控制器设计模式，据采集模块利用基于正则表达式的有限状态自动机抓取数据，索引模块应数
用倒排索引方法，系统的分词算法使用基于字典的正向最大匹配中文分词法。实验结果表明，方案具有较高的资源检索率，同时能够保该
第３卷第ｌ期７６
Ｖｏ．７１３
・
计
算
机
工
程
２１年８月０１
Ａｕｕｔ２１ｇｓ０１
Ｎｏ１．６
ＣｏｕｅＥｎｉｅｒｎｍｐｔｒｇｎｅｉｇ
软件技术与数据库・
文编ｔ０ — ４（１ｌ０９０章号０３８ｏ）— ０＿３文标码Ａｌｏ２２１６３＿献识・
ｅｓｒｈｅａｃｒｃｆｔｅｒｔｉｖｌｒｓｌｓｎｕｅｔｃｕａｙｏｈｅｒｅａｅｕｔ．
［ｅｏｄｌＦｌＴａｓｒｒｏｏＦＰｓｃｇｎ；ｕｅｅｒｗｒ；ｄｌｉｏｔｌｒＣ；ｎｅｔｅｕｏａ；ｖｒｄｘＫｙｒｓｉｒｆｏｃｌＴ）ｅｈｎｉｅＬｃｎａｏｋＭｏｅＶｅＣｎｏｌ（ｗｅｎｅＰｔ（ｒａｅｆｍｅｗｒｅＭＶ）ｉｔａｔｍｔｉｅｅｉｅｉｆｔｓａａｎｔｎｄＤＩ１．６／ｉｎ１０－４８０１６１Ｏ：０９９．ｓ．０３２．１．．３３ｊｓ０２１０

基于Lucene的校园网全文检索系统的研究

基于Lucene的校园网全文检索系统的研究
梁晟;熊莎
【期刊名称】《科技信息》
【年(卷),期】2011(000)032
【摘要】本文通过分析校园网网站信息的特点,采用Nutch网络爬虫和Lucene技术构建一个校园网全文检索系统,解决了中文分词等问题,提高了用户搜索的效率.【总页数】1页(P122)
【作者】梁晟;熊莎
【作者单位】贵阳学院计算机科学系;贵州省建材产品质量监督检验院
【正文语种】中文
【相关文献】
1.基于Clucene的电子病历全文检索系统研究与设计 [J], 胡恒文;高智勇;王辉
2.基于Lucene的非结构化文档全文检索系统研究与实现 [J], 刘东君;李德泉;周勇;周峥嵘
3.基于Lucene的全文检索系统设计研究 [J], 崔翔;
4.基于Lucene的全文检索系统研究与实现 [J], 钟锋
5.基于Lucene的全文检索系统研究与实现 [J], 钟锋;
因版权原因，仅展示原文概要，查看原文内容请购买。

ApacheLucene搜索引擎框架详细介绍

ApacheLucene搜索引擎框架详细介绍Apache Lucene搜索引擎框架详细介绍Apache Lucene是一个开源的全文检索引擎工具包，它被广泛应用于各种应用程序中。

本文将详细介绍Apache Lucene搜索引擎框架的功能和原理。

一、Lucene的概述Apache Lucene是一款用于全文检索和搜索的Java库。

它提供了高效、可扩展和可定制的搜索功能，使开发者能够在应用程序中轻松实现全文检索的功能。

Lucene是纯Java编写的，因此可以跨平台运行，并且具有良好的性能和稳定性。

二、Lucene的工作原理1.索引结构Lucene的核心是倒排索引（Inverted Index）。

倒排索引是一种分别按照词项将文档进行组织的数据结构，可以提供高效的全文检索。

Lucene通过将文档中的每个词项（Term）与其对应的文档进行关联，来实现快速的搜索。

2.分析器Lucene提供了一系列分析器（Analyzer）来对文本进行处理，包括分词、去停用词、大小写转换等。

分析器是构建倒排索引的基础，有效的分析器可以提升搜索的准确性和性能。

3.搜索过程Lucene的搜索过程主要包括三个步骤：解析查询字符串、执行查询、获取搜索结果。

在解析查询字符串的过程中，Lucene会根据查询语法解析出查询表达式。

执行查询时，Lucene会根据查询表达式在倒排索引中查找匹配的文档。

获取搜索结果后，Lucene会根据相关性对搜索结果进行排序，并返回给用户。

4.扩展性与自定义Lucene提供了丰富的API和可定制化选项，开发者可以根据需求对搜索过程进行扩展和自定义。

例如，可以自定义分析器、评分器，以及自定义查询解析器和过滤器，来满足特定的搜索需求。

三、Lucene的应用领域Lucene的应用非常广泛，下面介绍几个常见的应用领域：1.搜索引擎Lucene可以用于构建搜索引擎，通过对文档进行索引和搜索，实现高效的全文检索功能。

许多知名搜索引擎如Apache Solr和Elasticsearch都基于Lucene构建。

基于Lucene教学资源搜索引擎的设计与实现的开题报告

基于Lucene教学资源搜索引擎的设计与实现的开题报告一、选题背景随着互联网技术的不断发展，信息量越来越大，怎样精准找到自己想要的信息又成为了亟待解决的问题。

搜索引擎的出现解决了这一问题，但是市面上的搜索引擎毕竟是通用性的，不够精准，而且很多时候还需要自己翻阅大量的搜索结果来找到自己想要的。

因此，本次设计和实现一个基于Lucene的教学资源搜索引擎。

二、选题意义教学资源搜索引擎可以为教师和学生提供更加精准和快捷的搜索方式，使得教育资源得到更好的利用。

本搜索引擎的开发涉及到信息检索中的算法和技术，有助于提高搜索引擎的搜索质量，提高搜索引擎的准确性和效率，并且针对教育需求，为学生和教师带来更好的用户体验。

三、选题内容1.研究Lucene技术并了解其原理和特点；2.收集、整理和建立教学资源数据集；3.设计并实现Lucene索引库，对教学资源进行索引；4.实现教学资源的搜索功能；5.优化搜索算法，提高搜索质量；6.设计并实现用户界面，提高用户体验。

四、研究方法1.收集学术论文和教程，深入了解Lucene技术；2.收集网络上的教学资源数据，整理建立教学资源数据库；3.利用Lucene技术对教学资源进行索引和搜索功能实现；4.对Lucene的相关算法进行研究，优化算法以提升搜索质量；5.使用HTML、CSS和JavaScript等前端技术设计并实现搜索引擎网页。

五、预期成果开发一个基于Lucene的教学资源搜索引擎，包括以下功能：1.教学资源数据的收集、整理和建立教学资源数据集；2.使用Lucene对教学资源进行索引，实现搜索功能；3.根据用户需求优化算法，提高搜索质量；4.设计并实现用户界面，提高用户体验。

六、实施计划预计总工期为三个月，以下是各项任务与时间安排：任务时间Lucene技术研究和数据预处理第1个月Lucene索引库设计与实现第2个月搜索功能实现与搜索质量优化第3个月用户界面实现第3个月文献资料整理和论文撰写第4个月七、预期终验成果1.毕业论文：包括选题背景、选题意义、选题内容、研究方法、预期成果、实施计划、预期终验成果等部分。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

Lucene框架下构建高校校园网搜索引擎
摘要：分析阐述了高校校园网搜索引擎的发展现状、lucene框架的优势，以及高校构建校园网结合lucene构建搜索引擎的设计与实现。

关键词：lucene；搜索引擎；高校；校园网
中图分类号：tp393 文献标识码：a 文章编号：1009-3044（2013）11-2582-02
1 高校校园网构建搜索引擎的可行性分析
高等学校是信息流通量巨大的机构之一。

如今，基本上所有的高校都完成了行政部门、教学部门、实验室、宿舍等网络节点的信息联网，实现了资源传输与共享、工作效率的提高。

同时，随着高校规模的不断扩大，越来越多的院系建立了网站，还有各种形式的web 应用平台的出现，校园网中的站点、页面数量也有了突飞猛进的增长，这就造成原先只要根据站点导航就可以很容易发掘的信息变得难以寻觅，因此从客观需求上来说，在校园网中需要有一个平台来提供快速便捷的搜索服务，它就是搜索引擎。

在技术层面上，高校中构建搜索引擎的可行性主要体现在：
1）因特网上的站点结构复杂，链接出入度都很大，且具有很大的不确定性，页面抓取需要花费相当多的时间，而校园网中的站点层次明确，页面链接较少，大多呈现扁平状，站点层次通常不超过三层，因而抓取页面的十分迅速。

2）校园网中的站点之间的链接相对于互联网来说要少，这样在
web结构挖掘过程中，所需要计算的链接信息量也少，能够很大程度上加快服务器的响应速度。

3）构建校园网搜索引擎所需要的硬件软件要求不高，有利于控制构建成本，也便于项目实施。

4）从理论上来说，校园网搜索引擎的构建可以参考应用在因特网上的搜索引擎模型和相关算法，可对其进行适当改进、简化后加以应用。

由以上讨论可知，在校园网中应用搜索引擎技术是符合客观实际的，是可行的。

2 校园网搜索引擎的发展现状
2008年5月29日，谷歌公司宣布正式启动“谷歌gsa（google search appliance）搜索服务器大学捐赠合作计划”，清华大学、中国科学技术大学、浙江大学、上海交通大学、同济大学和华东师范大学等国内知名高校是首批国内受捐高校，从此，谷歌公司在中国拉开了搜索服务器捐赠的序幕。

同年10月，该公司与cernet共同启动了“google mini搜索服务器捐赠项目”，该项目主要是向两百所国内高校捐赠谷歌的搜索服务器，它能搜索30万个文件，属于谷歌搜索服务器系列中的高端产品，以上的两个项目对于进一步推进高校的校园网信息化建设进程，提高师生教学、科研的信息化水平具有重要的意义。

实际上，国内高校的许多学者们很早就意识到了进行校园网搜索研究的必要性，也开展了广泛的研究工作，许多大学都构建了自己的网络搜索平台，当然由于所使用的分词、索
引、排序方法的差别，搜索效率和准确度与专业的搜索引擎平台相比还有较大差距。

3 lucene
3.1 lucene简介
lucene是基于java的成熟的、免费的开源项目，是有名的apache jakarta中的一个重要部分，并且具备apache软件许可（asf license），同时它还是一个性能卓越、伸缩性强的信息检索库。

通过lucene，人们可以在其开发的应用程序中添加强大的索引与检索功能。

自从lucene诞生以来，作为一个开放源代码项目，它引起了开放源代码群体的强烈反响，程序开发者不仅在构建具体的全文检索应用时使用它，而且将其集成到各种软件系统中去，还可以用于搭建web搜索平台，另外，一些知名的商业软件也采用了lucene 作为其内部文档全文检索系统的基础，比如： ibm的开源软件eclipse的2.1版本中采用了lucene作为帮助子系统的全文索引引擎，相应的ibm的商业软件web sphere中也采用了lucene， apache 软件基金会的官方主站点的全文检索引擎也是基于lucene构建的。

lucene凭借其开放源代码的机制、优秀的索引构件以及系统架构受到了许多业内人士的青睐，也更多地集成到了软件平台上。

3.2 lucene框架的优势
lucene在计算机工程应用上拥有众多忠实的用户，作为一个全文检索引擎框架，其自身在构建机制上有众多明显的优点：
第一，lucene具有良好的、严格遵守oop模式的系统架构，这样
可以让具有面向对象编程基础的开发人员可以很快上手，降低了学习难度，利用其提供的类，可以很快捷地部署lucene应用。

此外，最初只支持java平台的lucene现在已经开发出了.net平台下的工具包，使其开发实用性与兼容性进一步增强。

第二，在索引的构建上，采用经典倒排索引，并在此基础上通过分块索引机制，对于新的文件建立小文件索引，再将其与原有建立的索引进行合并，优化了索引结构，从而整体提高了索引工作的效率。

第三，在索引文件的输出格式上，lucene建立的索引格式是完全独立于应用平台的。

lucene生成的索引文件格式比较特殊，它是由8位字节构成的，这样，它就可以顺利地在不同系统和不同平台上构建索引文件，具有很强的兼容性。

第四，文本分析接口（parser）不依赖于语言和待检索文件的文件格式，索引文件在token流的基础上创建，用户扩展新的语言和文件格式，只需要实现文本分析的接口。

第五，查询实现过程对于用户来说完全透明，用户只需要熟悉lucene中相应模块的类方法，即可开发出具有强大功能的搜索引擎， lucene的查询实现中默认实现了布尔操作、模糊查询（fuzzy search）、分组查询等查询方式。

4 lucene框架下构建高校校园网的设计与实现。

基于lucene框架的诸多优点，以及它的良好的开发环境。

让构建高校校园网搜索引擎的变得更加简单。

4.1 采用网络爬虫抓取
网络爬虫是通过在网页中链接地址来寻找网页，并且读取网页内容，再找出其他链接地址，直至将该网站中的所有网页都抓取完，并可遍历其所指向的页面，下载远程文件到本地的自动抓取网页的程序。

当网络爬虫开始工作，将一直循环抓取内容，只有当满足一定条件，才会自动停止运行。

鉴于高校校园网内的站点之间的链接较少，分布相对集中，并且网络资源都处于同个域范围内的特点，保证网络爬虫实现全面下载相对容易。

但是，为了保证网络爬虫的搜索效率，程序需要采用多线程处理，才能实现更新的快速性。

4.2解析处理
解析处理就是需要将网络爬虫从校园网上抓取下来的多种格式的文件，例如：html网页、pdf文件、office办公文件等，进行二次处理。

因为这些文件的文件格式各不相同，不能直接生成索引和存入数据库中。

所以需要对这些非结构化的信息进行解析处理，以便索引和存储。

解析通常的做法是，形成模板化的结构，并采用正则表达式，将相对应信息进行标识，提取。

4.3 分词处理
分词是搜索引擎的十分重要的环节。

对于英文的分词，只需要关注单词之间的空格即可实现分词。

但对于中文的分词，由于其语言多样性的特点，导致不能通过简单的词语组成进行切割。

lucene框架提供两个中文分词器：cjkanalyzer与chineseanalyzer。

但是功能较弱，需要结合其他的分词方法，才能保证分词的准确性。

中
文分词常用的有单字，双字和字典分词，并且最准确的是字典分词。

4.4 编制网页接口，实现检索输出
整个设计的最终实现，是面向用户可以使用的终端，也就是网页接口。

而准确读取索引，并且快速生成结果是实现网页接口的关键。

通过实践，发现可以把lucene框架的索引和数据库中的索引建立关联关系，并且加入ajax技术，实现异步操作，减少服务器和浏览器之间的数据交换，加快用户界面的响应速度。

5 结束语
本文是基于lucene框架构建了一个轻量级的高校校园网搜索引擎的设计与实现。

并简单阐述将lucene技术应用于高校校园网搜索引擎的开发，是具有积极的意义，对于教育行业中资源共享起到了积极作用。

但对于lucene框架的研究还存在很多值得探讨的问题，我们将更加深入学习研究其更具广泛性的应用与实现。

参考文献：
[1] 王学松.lucene+nutch搜索引擎开发[m].北京：人民邮电出版社，2008：11-18.
[2] 梁斌.走进搜索引擎[m].北京：电子工业出版社，2007：
21-26.
[3] 李晓明，闫宏飞，王继民.搜索引擎：原理、技术与系统[m].北京：科学出版社，2005：8-13.
[4] 张晓滨，石美红，蔡桂洲.校园网搜索引擎设计[j].西安工程科技学院学报， 2002，（3）：243-246.。