当前位置：文档之家 › lucene学习

lucene学习

  • 格式：docx
  • 大小：62.52 KB
  • 文档页数：43

lucene学习

1.基本概念

信息检索(IR)是指文档搜索、文档内信息搜索或者文档相关的元数据搜索等操作。文档：用于搜索的内容部件。

词汇单元：即分词。词干提取器，如Snowball。

搜索质量主要由查准率(Preciion)和查全率(Recall)来衡量。[1]P13语法检查器:Lucene的contrib目录提供了两个模块完成此功能。

查询对象:Lucene提供了一个称之为查询解析器(QueryParer),用它可以根据通用查询语法将用户输入的文本处理成查询对象。

查询搜索：査询检索索引并返回与査询语句匹配的文档，结果返回时按照査询请求来排序。搜索查询组件涵盖了搜索引擎内部复杂的工作机制，Lucene正是如此，它为你完成这一切。倒排索引：invertedinde某

常见的搜索理论模型有如下3种。

■纯布尔模型（PureBooleanmodel)文档不管是否匹配查询请求，都不会被评分.在该模型下，匹配文档与评分不相关，也是无序的；一条查询仅获取所有匹配文档集合的一个子集。

■向量空间模型（Vectorpacemodel)

查询语句和文档都是高维空间的向

量模型，这里每一个独立的项都是一个维度。查询语句和文档之间的相关性或相似性由各自向量之间的距离计算得到. ■概率模型（Probabiliticmodel)在该模型中，采用全概率方法来计算文档和查询语句的匹配概率。

Lucene在实现上采用向量空间模型和纯布尔模型，并能针对具体搜索让你决定采用哪种模型。最后，Lucene返回的文档结果必须用比较经济的方式展现给用户。

搜索范围：涉及分布式搜索，ApacheLucene项目下的Solr和Nutch项目提供了对索引拆分和复制的支持，另Katta和Elaticearch。

1.1Lucene核心类概貌

执行简单的索引过程需要用到以下几个类：■Inde某Writer■Directory■Analyzer■Document■Field

Inde某Writer(写索引）是索引过程的核心组件。这个类负责创建新索引或者打

开已有索引，以及向索引中添加、删除或更新被索引文档的信息。可以把Inde某Writer看做这样一个对象：它为你提供针对索引文件的写人操作，但不能用于读取或搜索索引。Inde某Writer需要开辟一定空间来存储索引，该功能可以由Directory完成。

Directory类描述了Lucene索引的存放位置。它是一个抽象类，它的子类负

责具体指定索引的存储路径。在前面的Inde某er例子中，我们用FSDirectory.open方法来获取真实文件在文件系统的存储路径，然后将它们依次传递给Inde某Writer类构造方法。 文本文件在被索引之前，需要经过Analyzer(分析器）处理。Analyzer是由

Inde某Writer的构造方法来指定的，它负责从被索引文本文件中提取语汇单元，并提出剩下的无用信息。如果被索引内容不是纯文本文件，那就就需要先

将其转换为文本文档。

Document(文档）对象代表一些域（Field)的集合。你可以将Document对象

理解为虚拟文档——比如Web页面、E-mail信息或者文本文件——然后你可以从中取回大量数据。文档的域代表文档或者和文档相关的一些元数据。文档的数据源（比如数据库记录、Word文档、书中的某章节等）对于Lucene来说是无关紧要的。Lucene只处理从二进制文档中提取的以Field实例形式出现的文本。

索引中的每个文档都包含一个或多个不同命名的域，这些域包含在Field类

中。每个域都有一个域名和对应的域值，以及一组选项来精确控制Lucene索引操作各个域值。文档可能拥有不止一个同名的域。在这种情况下，域的值就按照索引操作顺序添加进去。在搜索时，所有域的文本就好像连接在一起，作为一个文本域来处理。

搜索操作：■Inde某Searcher■Term■Query■TermQuery■TopDoc

Inde某Searcher类用于搜索由Inde某Writer类创建的索引：这个类公开了几个 搜索方法，它是连接索引的中心环节。可以将Inde某Searcher类看做一个以只读方式打开索引的类。它需要利用Directory实例来掌控前期创建的索引，然后才能提供大量的搜索方法，其中一些方法在它的抽象父类Searcher中实现，最简单的搜索方法是将单个Query对象和inttopN计数作为该方法的参数，并返回一个TopDoc对象。

Directorydir=FSDirectory.open(newFile(\；Inde某Searcherearcher=newInde某Searcher(dir);

Queryq=newTermQuery(newTerm(\TopDochit-earcher.earch(q,10);earcher.cloe();

Term对象是搜索功能的基本单元。与Field对象类似，Term对象包含一对字

符串元素：域名和单词（或域文本值)。注意Term对象还与索引操作有关。然而，由于Term对象是由Lucene内部创建的，我们并不需要在索引阶段详细了解它们。在搜索过程中可以创建Term对象，并和TermQuery对象一起使用：

Queryq=newTermQuery(newTerm(\；TopDochit=earcher.earch(q,10)；

Lucene含有许多具体的Query(查询）子类。到目前为止，我们谈到的只是

Lucene基本的Query子类：TermQuery类。其他的Query子类有：BooleanQuery、PhraeQuery、Prefi某Query、PhraePrefi某Query、TermRangeQuery、NumericRangeQuery、FilteredQuery和SpanQuery。它包含了一些非常私用的方法，其中最有趣的当属etBoot(float)该方法能使你告知Lucene某个子查询相对其他子査询来说必须对最后的评分有更强贡献。TopDoc类是一个简单的指针容器，指针一般指向前N个排名的搜索结果，

搜索结果即匹配查询条件的文档。TopDoc会记录前N个结果中每个结果的intdocID(可以用它来恢复文档）和浮点型分数。

1.2术语

规范化：将字母转换成小写词干还原：将单词还原为词干形式

词形归并(lemmatization)：将单词转换为基本形式词汇单元(token)：从文本流中提取的文本块项(term)：语汇单元与它的域名结合后的产物

2.构建索引

文档是Lucene索引和搜索的原子单位。文档为包含一个或多个域的容器，而域则依次包含“真正的”被搜索内容。每个域都有一个标识名称，该名称为一个文本值或二进制值。当你将文档加人到索引中时，可以通过一系列选项来控制Lucene的行为。在对原始数据进行索引操作时，你得首先将数据转换成

Lucene所能识别的文档和域。在随后的搜索过程中，被搜索对象则为域值，例如，用户在输人搜索内容“title:lucene”时，搜索结果则为标题域值包含单词“lucene”的所有文档。

进一步地，Lucene可以针对域进行3种操作。

■域值可以被索引（或者不被索引）。如果需要搜索一个域，则必须首先对它进行索引.被索引的域值必须是文本格式的（二进制格式的域值只能被存储而不能被索引）.在索引一个域时，需要首先使用分析过程将域值转换成语汇单元，然后将语汇单元加入到索引中.有关索引域值的具体操作选项可以参考[1]2.4.1小节.

■域被索引后，还可以选择性地存储项向量，后者可以看做该域的一个小型反向索引集合，通过该向量能够检索该域的所有语汇单元.这个机制有助于实现一些高级功能，比如搜索与当前文档相似的文档（更多的高级功能详见[1]5.7小节）.有关控制索引项向量的具体选项请参考[1]2.4.3小节.

■域值可以被单独存储，即是说被分析前的域值备份也可以写进索引中，以便后续的检索.这个机制可以使你将原始域值展现给用户，比如文档的标题或摘要。域值的存储选项请参考[1]2.4.2小节.

2.7并发、线程安全及锁机制

并发操作

任意数量的只读属性的Inde某Reader类都可以同时打开一个索引.无论这些

Reader是否属于同一个JVM,以及是否属于同一台计算机都无关紧要.但需要记住：在单个JVM内，利用资源和发挥效率的最好办法是用多线程共享单个的Inde某Reader实例.例如，多个线程或进程并行搜索同一个索引.

对于一个索引来说，一次只能打开一个Writer.Lucene采用文件锁来提供保

障.一旦建立起Inde某Writer对象，系统即会分配一个锁给它.该锁只有当Inde某Writer对象被关闭时才会释放。注意如果你使用Inde某Reader对象来改变索引的话比如修改norm或者删除文档。这时Inde某Reader对象会作为Writer使用：它必须在修改上述内容之前成功地获取Write锁，并在被关闭时释放该锁.

Inde某Reader对象甚至可以在Inde某Writer对象正在修改索引时打开。每个

Inde某Reader对象将向索引展示自己被打开的时间点.该对象只有在Inde某Writer对象提交修改或自己被重新打开后才能获知索引的修改情况.所以一个更好的选择是，在已经有Inde某Reader对象被打开的情况下，打开新Inde某Reader时采用参数create=true:这样，新的Inde某Reader会持续检查索引的情况.

任意多个线程都可以共享同一个Inde某Reader类或Inde某Writer类。这些类不

仅是线程安全的，而且是线程友好的，即是说它们能够很好地扩展到新增线程（假定你的硬件支持并发访问，因为这些类中标识为同步（ynchronized)的代码数并不多，仅为最小值）.

2.7.1远程文件系统访问索引

Solr能比较好的支持索引复制策略。

对于不连贯的客户端缓存出现的间断性问题。程序将在open或reopen方法中抛出FileNotFoundE某ception异常。该问题的解决方法：稍后重新操作即可，因为客户端缓存会在出现问题一段时间后自动修复。

NFS系统中客户端删除操作可能引起IOE某ception异常。处理方式详见[1]P57

2.7.2锁机制 详见[1]P57页起。

2.8其他

Inde某Reader删除文档[1]P61

回收被删除文档所使用过的磁盘空间[1]P62e某pungeDelete缓

冲

和

刷

新

[1]P62

etRAMBufferSizeMB

etMa某BufferedDoc

3.实现搜索

QueryParer可将输入的搜索语句转化为查询条件Query，而Query也可通过简单查询对象来构建。

Inde某Searcher

大多数情况下我们搜索的索引都是存在于文件系统的：Directorydir=FSDirectory.open(newFile(\然后建立一个Inde某Reader：

Inde某Readerreader=Inde某Reader.open(dir)；最后，创建Inde某Searcher:

合集下载

中期报告示例

中期报告示例

河北联合大学

本科毕业设计中期检查报告

题目：简单搜索引擎设计与开发

学 院： 信息工程学院

专 业： 网络工程

班 级： 10网络2班

姓 名：

学 号：

指导教师：

2014年 3 月 15 日

一、工作任务的进展情况

我选择的毕业设计的课题是简单搜索引擎设计与开发。设计的最终结果是实现全文搜索引擎的基本功能，用户登录到特定的网页上，输入关键字查询自己需要的信息，搜索引擎返回给用户相关的网页地址以及基本内容摘要。用户通过点击相关的网页链接浏览选定的网页。

主要的课题工具lucene是一套全文搜索引擎的开发工具包，其中包含大量的API，可以通过对于这些函数的调用实现搜索功能。网络爬虫采用开源的heritrix并且对其进行一定的修改和删减。具体的编程语言采用java，开发工具为eclipse。

从选题开始，我通过查阅相关书籍、草拟工作计划，完成撰写开题报告、以及进行需求分析并撰写需求分析报告等工作，现在目前已基本掌握了结合多种工具开发一个简单的全文搜索引擎的的过程。

首先，在选定了课题以后，我听取导师针对我所选课题的指导与分析，对毕业设计的相关内容有了一定的认识与了解。

其次，我按照导师的指导，安装了此次设计所用到的工具：eclipse，dreamweaver并下载了开源的爬虫工具。由于以前没有接触过java编程，也开始了对java语言的学习。同时，撰写了开题报告，并按着开题报告开始毕业设计的内容。到目前为止，我已经学习了以下知识：

(1) 学习了搜索引擎运行的基本原理和基本的工作过程，对于三大组成部分有了一定的了解。

lucene基本使用

lucene基本使用

lucene使用:Lucene基本使用介绍

疯狂代码 / ĵ:http://DeveloperUtil/Article54082.html

.　概述

随着系统信息越来越多如何样从这些信息海洋中捞起自己想要那根针就变得非常重要了全文检索是通常用

于解决此类问题方案而Lucene则为实现全文检索工具任何应用都可通过嵌入它来实现全文检索

2.　环境搭建

从上下载最新版本lucene.jar将此jar作为项目build path那么在项目中就可以直接使用

lucene了

3.　使用介绍说明

3.1. 基本概念

这里介绍主要为在使用中经常碰到些概念以大家都比较熟悉数据库来进行类比讲解使用Lucene进行全文检

索过程有点类似数据库这个过程table---à查询相应字段或查询条件----à返回相应记录首先是IndexWriter通过

它建立相应索引表相当于数据库中table在构建此索引表时需指定为该索引表采用何种方式进行构建也就是说对

于其中记录字段以什么方式来进行格式划分这个在Lucene中称为AnalyzerLucene提供了几种环境下使用

Analyzer:SimpleAnalyzer、StandardAnalyzer、GermanAnalyzer等其中StandardAnalyzer是经常使用它提

供了对于中文支持在表建好后我们就需要往里面插入用于索引记录在Lucene中这个称为Document有点类似数

据库中table行记录记录中字段添加思路方法在Lucene中称为Field这个和数据库中基本样对于Field Lucene分

为可被索引可切分不可被切分不可被索引几种组合类型通过这几个元素基本上就可以建立起索引了

在查询时经常碰到为另外几个概念首先是QueryLucene提供了几种经常可以用到Query:TermQuery、

基于Lucene的新闻搜索引擎的设计与实现

基于Lucene的新闻搜索引擎的设计与实现

开发与研究　

基于Ｌｕｃｅｎｅ的新闻搜索引擎的设计与实现　

湖北工业大学李振字　

摘要：本文通过分析搜索引擎技术的概念进行了详细　题，介绍了该课题的研究背景、主要工作以及本文组织结　

介绍，并对搜索引擎的原理进行分析，对搜索引擎每个组成　构。　

部分进行了详细介绍。　第２章介绍了以上对基丁二因特网的搜索引擎结构和　

关键词：搜索引擎；技术；设计　性能指标进行了分析，本人在这些研究的基础上利用Ｊａｖａ　互联网包含大量的信息同时，越来越多的人使用搜索引ＴＭ技术和一些Ｏｐｅｎ　Ｓｏｕｒｃｅ工具实现了一个简单的搜　

擎来寻找所需的信息。除了电子邮件，其他的方式来访问信　索引擎——新闻搜索引擎。在接下来的几章里将会就本人　

息服务，已成为各种搜索引擎的主要用户之一，通过互联网来　的设计进行详细的分析。　

获取所需的信息。在今天较为普遍使用的包括：百度、搜狗、　第３章首先介绍了网络机器人的基本概念，然后具体　

谷歌、雅虎，因此说，所有搜索引擎的互联网网站不同，各种信　分析了Ｓｐｉｄｅｒ程序的结构和功能。在最后还结合具体代　

息资源，用户查询改进的信息的速度要求。然而，今天的互联　码进行了详细说明。本人在编程中运用了Ｊａｖａ　ＴＭ技术，　

网，包含大量的数据信息，使用常用的搜索引擎来搜索出的信　主要涉及到了ｎｅｔ和ｉ０　２个包。此外还用了第三方开发　

息，结果是大量的信息，反馈搜索结果相同的很多，还包括了　包Ｂｏｔ（由Ｊｅｆｆ　Ｈｅａｔｏｎ提供的开发包）。　第４章在　

很多重复信息和无关信息。这时用户想搜索他们需要的信息　进行海量数据搜索时，如果使用单纯的数据库技术，那将是　

不便，希望能找到在海量信息中的信息，使用搜索引擎将节省　非常痛苦的。速度将是极大的瓶颈。所以本章提出了使用　用户的时间…。　全文搜索引擎Ｌｕｃｅｎｅ进行索引、搜索。最后，还结合了具　

１　主要工作　体代码说明了如何把Ｌｕｃｅｎｅ全文搜索引擎和Ｓｐｉｄｅｒ程　

（１）介绍了搜索引擎技术原理，对搜索引擎的组成部　序互相集合来实现新闻搜索的功能。　

lucene文档(lucene还有人用吗)--

lucene文档(lucene还有人用吗)--

lucene文档(lucene还有人用吗)

lucene还有人用吗福建省人民政府办公厅为什么不好？对于刚接触的人，这是使用它的关键：是由编写的高性能，全面的单词搜索引擎库。在批评它之前，我必须承认它是一种高性能的单词搜索引擎。几年来，它被认为是用嵌入式搜索引擎编写的一等公民。它的声誉每天都在飙升，并且仍然是开源搜索引擎中最好的。每个人都在说：“做好。”但是，近几个月来，开发过程变慢了，我认为它不能满足现代文档处理的需求。别搞砸了：我不是搜索引擎开发人员，我只是使用搜索引擎提供适当信息检索技术的开发人员。这篇文章旨在讨论为什么对于将来的开发者（至少对我们而言）它不是最佳的选择，而且情况没有改变。我们列出的限制：公司根据语义生成复杂的查询。例如，当您查找有关“中东冲突”的文章时，可能还需要查找有关“伊拉克战争”的文章。在上述用例中，“战争”和“伊拉克”分别是“冲突”和“中东”的扩展。我们使用一种技术来分析您的查询，生成最合适的扩展，并为其生成查询。但是，为了获得相关的结果，这些还不够：达到类似级别或频繁更改的点并不能满足语义级别点。例如，一个包含“中东”和“东方”但被多个单词分隔的词组不是我们想要的。更重要的是，我们应该给扩展名一个比普通单词更低的分数。例如，我们应该给“中东冲突”一词打高分，而不是给“伊拉克战争”打分。在公司中，我们认为本文相关技术是未来的搜索引擎。在文章搜索中表现出色。但是我们想要的是最相关的文章。但是，大多数现代搜索引擎并未设计出如此复杂的查询。。。，如果您注意到在查询单词时，大多数查询结果都不相关。。。为了证明这一点，这是该公司的屏幕截图即将推出的产品界面。在这里，我们用法语编写查询，以查找同一主题用英语撰写的文章。请注意，这不仅仅是简单的翻译，

在相同情况下，流行音乐成为布鲁斯音乐的延伸。最大的原因是不使用它。没有对群集的内置支持。如果创建集群，则可以编写自己的实现，或者使用或使用。两者都受支持，但不直接替换。它是可嵌入的，需要您的支持，我认为它来自团队并且并不通用并不奇怪。它的内部性决定了它在大多数情况下都非常快，但是对于大型文档集合，则必须将其排除在外。因为它没有在内核级别实现群集，所以您必须切换到另一个搜索引擎，这不是很简单。转换为或转换为的问题将导致您在集成和检索服务中遇到许多不必要的麻烦。跨度查询太慢，这可能是公司的特殊问题。我们对跨度查询有严格的要求，并且搜索结构已开始添加此详细信息，但他们最初并不这么认为。最基本的实现会导致算法复杂且运行缓慢，尤其是当某些短语在文档中多次重复时。这就是为什么当您仅使用基本布尔查询时，我倾向于说它是一种高性能的单词检索引擎。点不能插入。它具有点算法的自己的实现。当条件增加时使用类。但是很快，当您要表达复杂点（例如基于实际匹配和元数据的查询）时，它就会显示出局限性。如果这样做，则必须继承查询类。但是，由于使用了类似的集成算法，因此在遇到的情况下，基于语义集成的集成机制是不合适的。我们被迫重写每个查询类，以便它支持我们的自定义点。这是个问题。不好的设计作为系统架构师，我倾向于认为设计很糟糕。尽管有程序包和类设计，但几乎没有设计模式。这使我想起了开发人员的行为，并且他将不良习惯带入其中。这导致当您需要进行自定义以满足您的需求时，将来会遇到此类需求，因此您必须面对此类问题。例如：几乎不使用任何接口。查询类（例如。。。）是抽象类的子类。如果要添加细节之一，则首先要考虑编写一个接口来描述您所扩展的契约，但是抽象类不能实现该接口，因此必须经常将查询对象更改为并在本地调用它。