Lucene_note02

lucene学习1.基本概念信息检索(IR)是指文档搜索、文档内信息搜索或者文档相关的元数据搜索等操作。

文档：用于搜索的内容部件。

词汇单元：即分词。

词干提取器，如Snowball。

搜索质量主要由查准率(Preciion)和查全率(Recall)来衡量。

[1]P13语法检查器:Lucene的contrib目录提供了两个模块完成此功能。

查询对象:Lucene提供了一个称之为查询解析器(QueryParer),用它可以根据通用查询语法将用户输入的文本处理成查询对象。

查询搜索：査询检索索引并返回与査询语句匹配的文档，结果返回时按照査询请求来排序。

搜索查询组件涵盖了搜索引擎内部复杂的工作机制，Lucene正是如此，它为你完成这一切。

倒排索引：invertedinde某常见的搜索理论模型有如下3种。

■纯布尔模型（PureBooleanmodel)文档不管是否匹配查询请求，都不会被评分.在该模型下，匹配文档与评分不相关，也是无序的；一条查询仅获取所有匹配文档集合的一个子集。

■向量空间模型（Vectorpacemodel)查询语句和文档都是高维空间的向量模型，这里每一个独立的项都是一个维度。

查询语句和文档之间的相关性或相似性由各自向量之间的距离计算得到.■概率模型（Probabiliticmodel)在该模型中，采用全概率方法来计算文档和查询语句的匹配概率。

Lucene在实现上采用向量空间模型和纯布尔模型，并能针对具体搜索让你决定采用哪种模型。

最后，Lucene返回的文档结果必须用比较经济的方式展现给用户。

搜索范围：涉及分布式搜索，ApacheLucene项目下的Solr和Nutch 项目提供了对索引拆分和复制的支持，另Katta和Elaticearch。

1.1Lucene核心类概貌执行简单的索引过程需要用到以下几个类：■Inde某Writer■Directory■Analyzer■Document■FieldInde某Writer(写索引）是索引过程的核心组件。

1、.Analysis：语言分析器，主要用于的切词， 支持中文主要是扩展此类。
2、.Document：索引存储时的文档结构管理， 类似于关系型数据库的表结构。
3、.Index：索引管理，包括索引建立、删除等 4、.QueryParser：查询分析器，实现查询关键词
Lucene(.net)全文检索
简介
Lucene不是一个完整的全文索引应用，而是一个用 Java写的全文索引引擎工具包，它可以方便的嵌入到 各种应用中实现针对应用的全文索引/检索功能。
是.net版
Lucene可以对任何的数据做索引和搜索. Lucene不管 数据源是什么格式,只要它能被转化为文字的形式,就可 以被Lucene所分析利用.也就是说不管是MS word, Html ,pdf还是其他什么形式的文件只要你可以从中抽 取出文字形式的内容就可以被Lucene所用.你就可以用 Lucene对它们进行索引以及搜索.
由此可以看出模糊查询相对数据库的精确查询是一个非 常不确定的问题，这也是大部分数据库对全文检索支持 有限的原因。Lucene最核心的特征是通过特殊的索引结 构实现了传统数据库不擅长的全文索引机制，并提供了 扩展接口，以方便针对不同应用的定制。
Lucene全文检索 VS. 数据库模糊查询
索引
匹配效果 匹配度 结果输出 可定制性
全文检索 ≠ like "%keyword%"
数据库索引不是为全文索引设计的，因此，使用like “%keyword%”时，数据库索引不起作用，使用like查询， 搜索过程是一个遍历过程，所以对于含有模糊查询的数据 库服务来说， like对性能的危害极大。如果对多个关键词 进行模糊匹配：like"%keyword1%" and like "%keyword2%" ...其效率也就可想而知了。

在应用中加入全文检索功能——基于Java的全文索引引擎Lucene简介作者：车东 Email: /写于：2002/08 最后更新：09/09/2006 17:09:05Feed Back >> (Read this before you ask question)版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本声明/tech/lucene.html关键词：Lucene java full-text search engine Chinese word segment内容摘要：Lucene是一个基于Java的全文索引工具包。

1.基于Java的全文索引引擎Lucene简介：关于作者和Lucene的历史2.全文检索的实现：Luene全文索引和数据库索引的比较3.中文切分词机制简介：基于词库和自动切分词算法的比较4.具体的安装和使用简介：系统结构介绍和演示5.Hacking Lucene：简化的查询分析器，删除的实现，定制的排序，应用接口的扩展6.从Lucene我们还可以学到什么基于Java的全文索引/检索引擎——LuceneLucene不是一个完整的全文索引应用，而是是一个用Java写的全文索引引擎工具包，它可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能。

Lucene的作者：Lucene的贡献者Doug Cutting是一位资深全文索引/检索专家，曾经是V-Twin搜索引擎(Apple的Copland操作系统的成就之一)的主要开发者，后在Excite担任高级系统架构设计师，目前从事于一些INTERNET底层架构的研究。

他贡献出的Lucene的目标是为各种中小型应用程序加入全文检索功能。

Lucene的发展历程：早先发布在作者自己的，后来发布在SourceForge，2001年年底成为APACHE基金会jakarta的一个子项目：/lucene/已经有很多Java项目都使用了Lucene作为其后台的全文索引引擎，比较著名的有：Jive：WEB论坛系统；∙Eyebrows：邮件列表HTML归档/浏览/查询系统，本文的主要参考文档“TheLucene search engine: Powerful, flexible, and free”作者就是EyeBrows系统的主要开发者之一，而EyeBrows已经成为目前APACHE项目的主要邮件列表归档系统。

Lucene不是一个现成的程序，类似文件搜索程序或web网络爬行器或是一个网站的搜索引擎。

Lucene是一个软件库，一个开发工具包，而不是一个具有完整特征的搜索应用程序。

它本身只关注文本的索引和搜索。

Lucene使你可以为你的应用程序添加索引和搜索能力。

目前已经有很多应用程序的搜索功能是基于 Lucene 的，比如 Eclipse 的帮助系统的搜索功能。

Lucene 采用的是一种称为反向索引（inverted index）的机制。

反向索引就是说我们维护了一个词/短语表，对于这个表中的每个词/短语，都有一个链表描述了有哪些文档包含了这个词/短语。

这样在用户输入查询条件的时候，就能非常快的得到搜索结果。

文档建立好索引后，就可以在这些索引上面进行搜索了。

搜索引擎首先会对搜索的关键词进行解析，然后再在建立好的索引上面进行查找，最终返回和用户输入的关键词相关联的文档。

今天在传智播客的课堂上，汤阳光老师教我们实现了简单的Lucene搜索引擎，使我们能够对大量的文档实现不同需求的查找。

以下是我的总结。

--------------------------------------------------------------------------------1. 准备环境：添加jar包lucene-core-2.4.0.jar（核心）；lucene-analyzers-2.4.0.jar（分词器）；lucene-highlighter-2.4.0.jar（高亮器）；-------------------------------------------------------------------------------- 2. 构造IndexWriter。

IndexWriter是Lucene用来创建索引的一个核心的类。

使用构造方法IndexWriter(Directory d, Analyzer a, MaxFieldLength mfl); 如果索引不存在，就会被创建。