lucene全文检索实现原理

２Ｏ１Ｏ年１月　情报探索　第１期（总１４７期）　

Ｌｕｃｅｎｅ全文检索系统的实现及其索引性能的提高　

白晓玲　

（湖北民族学院图书馆　恩施４４５０００）　

摘要：分析了索引机制架枸和全文检索系统结构，介绍了实现Ｌｕｃｅｎｅ＋ＪＳＰ＋Ｔｏｍｃａｔ的运作流程和核心代码，并探讨了如何　

提高索引性能。　关键词：全文检索Ｊａｖａ　Ｌｕｃｅｎｅ索引机制　索引性能核心代码　中图分类号：Ｇ３５４．４５　文献标识码：Ａ　文章编号：１００５—８０９５（２０１０）０１－０１１６－－０３　

１全文检索系统介绍　全文检索系统是按照全文检索理论建立起来的　

用于提供全文检索服务的软件系统，由索引引擎、查　

询引擎、文本分析引擎、对外接口及各种外围应用系　

统等共同构成。其系统结构详见图１。　１．２　Ｌｕｃｅｎｅ＋ＪＳＰ＋Ｔｏｍｃａｔ　如前所述，Ｌｕｃｅｎｅ是一个全文检索引擎的架构，　

系统中索引引擎、查询引擎、文本分析引擎职能都是　Ｌｕｃｅｎｅ承担，它可提供完整的查询引擎和索引引擎　

及部分文本分析引擎，但仅仅靠Ｌｕｅｅｎｅ还不能实现　

图１全文检累系统结构　１．１全文检索系统的核心——Ｌｕｃｅｎｅ　

Ｌｕｅｅｎｅ是Ａｐａｃｈｅ　Ｊａｋａｒｔａ家族中的一个开放源　代码项目，它不是一个完整的搜索应用程序，而是基　于Ｊａｖａ的全文信息检索工具包…。Ｌｕｅｅｎｅ能够为文　

本类型的数据建立索引。因此其工作原理是将其它　

数据格式经解析转化为文本，再由Ｌｕｃｅｎｅ分词器提　

取出索引项以及相关信息．然后把这些信息写到索　

引文件中，保存到磁盘或者内存中。其机制架构详见　

图２　全部索引和提供查询功能，尤其是对于网上检　

索和查询，还需要具有方便的用户接口、面向　

ＷＷＷ的开发接口、二次应用开发接口等等。这　

就需要将Ｌｕｃｅｎｅ、ＪＳＰ、Ｔｏｍｃａｔ有效结合起来。　

ＪＳＰ（Ｊａｖａ　Ｓｅｒｖｅｒ　Ｐａｇｅｓ）则是由Ｓｕｎ　Ｍｉｃｒｏｓｙｓｔｅｍｓ　

公司倡导、许多公司参与建立的一种动态网页　

７８　浙江外国语学院学报　２０１３皋　

２．１文档归一化模块　文档归一化模块主要完成对待检索文档的预处理，主要有两个功能：一是支持将．ｐｄｆ，．ｐｐｔ，．ｄｏｃ等　文本解码并转化为．ｔｘｔ文件；二是对文本内容进行过滤，取出可能存在的非法字符和乱码．　

２．２文本分析模块　文本分析模块主要实现对元文件文档附属信息的提取存储和通过文本分析器对中文内容的分析　与构建倒排索引．文档相关附属信息（如作者、时间、单位、文件存放目录等）直接存储在数据库中；而　

对于摘要内容和正文内容信息，由于信息量较大，我们通过文本分析器实现中文自动分词，再利用Ｌｕ—　ｃｅｎｅ的索引模块实现倒排索引的自动构建．Ｌｕｃｅｎｅ自带有中文自动分词系统，但性能一般，为此我们　

将在下文给出了一种新的基于字典的中文分词方法用作文本分析．　

２．３数据存储模块　数据存储模块实现数据库信息和索引信息的存储．数据库采用开源的ＭｙＳＱＬ，索引的存储直接利　

用Ｌｕｃｅｎｅ索引模块，该模块定义了一套以８位字节为基础的索引文件格式，使得兼容系统或者不同平　台的应用能够共享建立的索引文件．在传统全文检索引擎的倒排索引的基础上，实现了分块索引，能　够针对新的文件建立小文件索引，提升索引速度．然后通过与原有索引的合并，达到优化的目的　］．　

２．４查询接口模块　查询接Ｈ模块负责实现用户的查询与反馈．查询接口支持两种查询模式：数据库查询和索引查询．　索引查询使用Ｌｕｃｅｎｅ自带的查询器，默认支持布尔查询、模糊查询和分组查询．　３核心模块设计与实现　３．１文本分析器模块实现　

文本分析器的主要功能用来实现中文分词．中文分词主要是将连续的汉语字序列按照一定的规　

范重新组合成词序列的过程．成功进行中文分词，可以达到电脑自动识别语句含义的效果，为全文检　索奠定良好的基础．Ｌｕｃｅｎｅ系统自带的中文分词为单字成词算法，即不存在分词，每个字单独成为一　

个词．在本系统中，为了提高中文检索的效率，我们采用了基于字典的中文分词方法，并将该算法与　

基于Lucene全文检索系统的研究与实现

[摘要] lucene是一个开放源代码的全文检索引擎工具包,利用它可以快速地开发一个全文检索系统。利用lucene开发了一个全文检索系统,通过其特殊的索引结构,实现了传统数据库不擅长的全文索引机制,提供了对非结构化信息的检索能力。

[关键词] lucene 信息检索 全文检索 索引

一、引言

计算机技术及网络技术的迅速发展,使得internet成为人类有史以来资源最多、品种最全、规模最大的信息资源库。如何在这海量的信息里面快速、全面、准确地查找所需要的资料信息已经成了人们关注的焦点,也成了研究领域内的一个热门课题。这些信息基本上可以分做两类:结构化数据和非结构化数据(如文本文档、word文档、pdf文档、html文档等)。现有的数据库检索,是以结构化数据为检索的主要目标,实现相对简单。但对于非结构化数据,即全文数据,由于复杂的数据事务操作以及低效的高层接口,导致检索效率低下。随着人们对信息检索的要求也越来越高,而全文检索因为检索速度快、准确性高而日益受到广大用户的欢迎, lucene是一个用java写的全文检索引擎工具包,可以方便地嵌入到各种应用中实现针对应用的全文索引和检索功能。这个开源项目的推出及发展,为任何应用提供了对非结构化信息的检索能力。

二、全文检索策略

通常比较厚的书籍后面常常附关键词索引表(比如,北京:12,34

页,上海:3,77页……),它能够帮助读者比较快地找到相关内容的页码。而数据库索引能够大大提高查询的速度原理也是一样,由于数据库索引不是为全文索引设计的,因此,使用like “%keyword%”时,数据库索引是不起作用的,在使用like查询时,搜索过程又变成类似于一页页翻书的遍历过程了,所以对于含有模糊查询的数据库服务来说,like对性能的危害是极大的。如果是需要对多个关键词进行模糊匹配:like“%keyword1%”and like “%keyword2%”……其效率也就可想而知了。

第２３卷第１期　２　０　１　５年２月　电　脑　与　信　息　技　术　Ｃｏｍｏｕｔｅｒ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔｅｃｈｎｏｌｏ￣ｖ　Ｖｏ１．２３　Ｎｏ．１　Ｆｅｂ．２０１５　文章编号：１００５—１２２８（２０１５）ｏｌ一００３６—０４　基于ｌｕｃｅｎｅ的站群全文检索系统设计与实现　刘全飞　，一，周相兵１，３　（１阿坝师范高等专科学校四川汶川　６２３００２；　２西华大学数学与计算机学院四川成都　６１１７４３；　３成都理工大学信息科学与技术学院四川成都６１１７４３）　

摘要：针对在站群系统中目录检索所面临的不能全文检索以及关键词检索效率不高等问题，文章利用开源框架Ｌｕｃｅｎｅ　设计实现了一款站群全文检索系统。主要实现了站群内网页抓取、网页信息处理与索引、数据检索和用户交互界面等模　块。该站群全文检索系统目前系统已上线，运行表明检索效率高，达到了较为精确的全文检索要求。　关键词：ｌｕｃｅｎｅ；站群系统；检索系统；索引　中图分类号：ＴＰ３９１．３　文献标识码：Ａ　

ＳｙｓｔｅｍＤｅｓｉｇｎａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｔｈｅＦｕｌｌＴｅｘｔＲｅｔｒｉｅｖａｌｏｆｔｈｅＳｔａｔｉｏｎＧｒｏｕｐＢａｓｅｄｏｎＬｕｃｅｎｅ　ＬＩＵ　Ｑｕａｎ—ｆｅｉ　．ＺＨＯＵ　Ｘｉａｎｇ—ｂｉｎｇ　１，３　（１．Ａｂａ　Ｔｈｅｃｈｅｒｓ　Ｃｏｌｌｅｇｅ，Ｗｅｎｃｈｕａｎ　６２３００２，Ｃｈｉｎａ；　２．Ｔｈｅ　Ｍａｔｈｅｍａｆｃｓ　ａｎｄ　Ｃｏｍｐｕｔｅｒ　Ｃｏｌｌｅｇｅ　ｏｆＸｉｈｕａ　Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈｅｎｇｄｕ　６１１７４３，Ｃｈｉｎａ；　３．Ｉｎ￣ｒｍａｄｏｎ　Ｓｃｉｅｎｃｅ　Ｃｏｌｌｅｇｅ　ｏｆ　Ｃｈｅｎｇｄｕ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈｅｎｇｄｕ　６１　１７４３，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ａｃｃｏｒｄｉｎｇ　ｔｏ　ｔｈｅ　ｄｉｒｅｃｔｏｒｙ　ｉｎ　ｔｈｅ　ｓｔａｔｉｏｎ　ｇｒｏｕｐ　ｒｅｔｒｉｅｖａｌ　ｓｙｓｔｅｍ　ｆａｃｅｓ　ｎｏｔ　ｆｕｌｌ——ｔｅｘｔ　ｒｅｔｒｉｅｖａｌ　ａｎｄ　ｋｅｙｗｏｒｄ　ｒｅｔｒｉｅｖａｌ　ｅｆｆｉｃｉｅｎｃｙ　ｎｏｔ　ｈｉｇｈｅｒ　ｑｕｅｓｔｉｏｎ，ｔｈｉｓ　ｐａｐｅｒ　ｕｓｅｓ　ｔｈｅ　ｏｐｅｎ　ｓｏｕｒｃｅ　Ｌｕｃｅｎｅ　ｆｒａｍｅｗｏｒｋ　ｄｅｓｉｇｎ　ａｎｄ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　ａ　ｓｔａｔｉｏｎ　ｇｒｏｕｐ　ｏｆ　ｆｌａｉｌ—ｔｅｘｔ　ｒｅｔｒｉｅｖａｌ　ｓｙｓｔｅｍ．Ｍａｉｎｌｙ　ｒｅａｌｉｚｅｓ　ｔｈｅ　ｓｔｏｏｄ　ｗｉｔｈｉｎ　ｔｈｅ　ｇｒｏｕｐ　Ｗｅｂｐａｇｅ　ｃｒａｗｌ，Ｗｅｂｐａｇｅ　ｉｎｆｏｒｍａｔｉｏｎ　ｐｒｏｃｅｓｓｉｎｇ　ａｎｄ　ｉｎｄｅｘｉｎｇ，ｄａｔａ　ｒｅｔｒｉｅｖａｌ　ａｎｄ　ｕｓｅｒ　ｉｎｔｅｒｆａｃｅｍｏｄｕｌｅ．Ｔｈｅ　ｓｔａｔｉｏｎ　ｇｒｏｕｐ　ｏｆ　ｆｌａｉｌ—ｔｅｘｔ　ｒｅｔｒｉｅｖａｌ　ｓｙｓｔｅｍ　ｏｆ　ｔｈｅ　ｃｕｒｒｅｎｔ　ｓｙｓｔｅｍ　ｈａｓ　ｂｅｅｎ　ｒｕｎｎｉｎｇ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ｏｎ——ｈｎｅ，ｈｉｇｈ　ｓｅａｒｃｈ　ｅｆｆｉｃｉｅｎｃｙ，ａｃｈｉｅｖｅｓ　ｔｈｅ　ｆｕｌｌ　ｔｅｘｔｍｏｒｅ　ａｃｃｕｒａｔｅ　ｒｅｔｒｉｅｖａｌ　ｒｅｑｕｉｒｅｍｅｎｔ．　Ｋｅｙ　ｗｏｒｄｓ：ｌｕｃｅｎｅ；ｓｔａｔｉｏｎ　ｇｒｏｕｐ　ｓｙｓｔｅｍ；ｒｅｔｒｉｅｖａｌ　ｓｙｓｔｅｍ；ｉｎｄｅｘ