lucene_入门整理

lucene 基本概念Lucene 基本概念Lucene 是一个开源的全文搜索引擎库，被广泛地应用于高性能搜索和索引任务中。

它是 Apache 软件基金会的一个开源项目，并且被许多知名的商业产品使用。

本文将通过一步一步的方式，来介绍 Lucene 的基本概念和其原理。

一、Lucene 是什么？Lucene 是一个基于 Java 的全文搜索引擎库。

它提供了一系列的 API 和工具，用于创建、维护和搜索大规模文本数据集。

通过将文本数据索引到 Lucene 的索引库中，我们可以快速地进行全文搜索、排序和过滤等操作。

二、Lucene 的基本原理1. 倒排索引倒排索引是 Lucene 的核心概念之一。

它是一种数据结构，用于从词项到文档的映射。

通常，我们将文本数据分割成单词，然后对每个词项构建一个索引条目，该条目指向包含该词项的文档。

例如，假设我们有三个文档：文档1 包含 "Lucene 是一个搜索引擎库"，文档2 包含 "Apache Lucene 是一个全文搜索库"，文档3 包含 "Lucene 是基于 Java 的"。

在倒排索引中，我们将按照词项构建索引，如下所示：词项文档Lucene 1, 2, 3是 1, 2, 3一个 1, 2, 3搜索引擎库 1全文搜索库 2基于 3Java 3倒排索引的优势在于它能够快速地确定包含特定词项的文档，并且支持更复杂的查询表达式。

2. 分词器分词器是将原始文本分割成词项的模块。

Lucene 提供了多种分词器，如标准分词器、简单分词器等。

分词器还可以根据具体的需求进行定制。

分词器在构建索引和搜索时起到关键作用，它们确保在索引和搜索阶段都使用相同的分词规则。

3. 文档和字段在 Lucene 中，文档是一个最小的索引单位。

它由多个字段组成，每个字段包含一个词项或多个词项。

字段可以是文本、数值或日期等不同类型。

Lucene 中的文档和字段的设计灵活，可以根据实际需求进行定义和修改。

lucene入门实例(1):索引文本文件Lucene是apache组织的一个用java实现全文搜索引擎的开源项目。

其功能非常的强大，api也很简单。

总得来说用Lucene来进行建立和搜索和操作数据库是差不多的(有点像)，Document可以看作是数据库的一行记录，Field可以看作是数据库的字段。

用lucene实现搜索引擎就像用JDBC实现连接数据库一样简单。

Lucene3.0是最新版本Lucene3.0的下载地址是/lucene/java/ 。

本文使用Lucene2.2.例子一：1、在windows系统下的的C盘，建一个名叫s的文件夹,在该文件夹里面随便建三个txt文件，随便起名啦，就叫"1.txt","2.txt"和"3.txt"啦其中1.txt的内容如下：中华人民共和国全国人民2006年而"2.txt"和"3.txt"的内容也可以随便写几写，这里懒写，就复制一个和1.txt文件的内容一样2、下载lucene包，放在classpath路径中建立索引:package lucenedemo.xmj;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStreamReader;import java.util.Date;import org.apache.lucene.analysis.Analyzer;import org.apache.lucene.analysis.standard.StandardAnalyzer;import org.apache.lucene.document.Document;import org.apache.lucene.document.Field;import org.apache.lucene.index.IndexWriter;public class TextFileIndexer {public static void main(String[] args) throws Exception {/* 指明要索引文件夹的位置,这里是C盘的S文件夹下*/File fileDir = new File( "c:\\s" );/* 这里放索引文件的位置*/File indexDir = new File("c:\\index" );Analyzer luceneAnalyzer = new StandardAnalyzer();IndexWriter indexWriter = new IndexWriter(indexDir, luceneAnalyzer,true );File[] textFiles = fileDir.listFiles();long startTime = new Date().getTime();// 增加document到索引去for ( int i = 0 ; i < textFiles.length; i ++ ) {if (textFiles[i].isFile() && textFiles[i].getName().endsWith( ".txt" )) { System.out.println( " File " + textFiles[i].getCanonicalPath()+ " 正在被索引.... " );String temp = FileReaderAll(textFiles[i].getCanonicalPath(),"GBK" );System.out.println(temp);Document document = new Document();Field FieldPath = new Field( " path " , textFiles[i].getPath(),Field.Store.YES, Field.Index.NO);Field FieldBody = new Field( " body " , temp, Field.Store.YES,Field.Index.TOKENIZED,Field.TermVector.WITH_POSITIONS_OFFSETS);document.add(FieldPath);document.add(FieldBody);indexWriter.addDocument(document);}}// optimize()方法是对索引进行优化indexWriter.optimize();indexWriter.close();// 测试一下索引的时间long endTime = new Date().getTime();System.out.println( " 这花费了"+ (endTime - startTime)+ " 毫秒来把文档增加到索引里面去! "+ fileDir.getPath());}public static String FileReaderAll(String FileName, String charset)throws IOException {BufferedReader reader = new BufferedReader( new InputStreamReader(new FileInputStream(FileName), charset));String line = new String();String temp = new String();while ((line = reader.readLine()) != null ) {temp += line;}reader.close();return temp;}}索引的结果：File C:\s\ 1 .txt正在被索引....中华人民共和国全国人民2006年File C:\s\ 2 .txt正在被索引....中华人民共和国全国人民2006年File C:\s\ 3 .txt正在被索引....中华人民共和国全国人民2006年这花费了297 毫秒来把文档增加到索引里面去! c:\spackage lucenedemo.xmj;import java.io.IOException;import org.apache.lucene.analysis.Analyzer;import org.apache.lucene.analysis.standard.StandardAnalyzer;import org.apache.lucene.queryParser.ParseException;import org.apache.lucene.queryParser.QueryParser;import org.apache.lucene.search.Hits;import org.apache.lucene.search.IndexSearcher;import org.apache.lucene.search.Query;public class TestQuery {public static void main(String[] args) throws IOException, ParseException {Hits hits = null ;String queryString = "夏敏捷" ;Query query = null ;IndexSearcher searcher = new IndexSearcher( "c:\\index" );Analyzer analyzer = new StandardAnalyzer();try {QueryParser qp = new QueryParser( " body " , analyzer); query = qp.parse(queryString);} catch (ParseException e) {}if (searcher != null ) {hits = searcher.search(query);if (hits.length() > 0 ) {System.out.println(" 找到:"+ hits.length() + " 个结果! "); }elseSystem.out.println( " 没找到！ " );}}}Lucene 其实很简单的,它最主要就是做两件事:建立索引和进行搜索来看一些在lucene中使用的术语,这里并不打算作详细的介绍,只是点一下而已----因为这一个世界有一种好东西，叫搜索。

lucene笔记-视频配套笔记传智播客 Java学院传智.入云龙全文检索技术之Lucene1 课程计划1、什么全文检索数据类型:结构化数据和非结构化数据非结构化数据查询方法全文检索的概念2、什么是Lucene3、Lucene实现全文检索的流程(重点)4、Lucene的入门程序(重点)5、分析器Analyzer(重点)7、索引库的维护(重点)i. 索引库的增加索引ii. 删除索引iii. 修改索引8、索引库的查询(重点)i. 使用Query的子类查询ii. 使用QueryParser查询8、相关的排序2 什么全文检索结构化数据:数据的长度类型是固定的。

数据库中的数据非结构化数据:长度不固定格式不固定。

Word文档、excel、pdf、txt。

2.1 结构化数据的查询使用sql语句查询就可以2.2 非结构化数据的查询需求:在文件中找出包含java字符的文档。

传智播客 Java学院传智.入云龙2.2.1 实现方法1、目测2、顺序扫描。

如果文件量大的话比如说20G，顺序扫描会变的很慢。

3、非结构化的数据变结构化先从文件中找出文件所有的词汇，形成一个列表。

查询的时候直接查询列表，找到关键词后根据这词找到相应的文档。

一次创建多次使用。

2.3 全文检索的概念这种先建立索引，再对索引进行搜索的过程就叫全文检索(Full-text Search)。

2.4 全文检索应用领域1、搜索引擎，百度、谷歌2、站内搜索a) 微博搜索b) 论坛搜索3、电商搜索，搜索的是商品信息。

3 什么是Lucene3.1 Lucene的概念Lucene是apache下的一个开放源代码的全文检索引擎工具包。

提供了完整的查询引擎和索引引擎，部分文本分析引擎。

Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能。

3.2 Lucene和搜索引擎的区别Lucene是一个工具包:需要进行编程才能实现全文检索的功能呢搜索引擎:一套独立运行的系统，提供了全文检索功能。

第一讲：全文检索概述1.数据分类✓结构化的数据--具有固定格式和有限长度的数据，数据库中的表✓非结构化的数据-不定长度或无定格式的数据，邮件，word,网页✓半结构化的数据-xml数据，json数据对于像数据库一样的结构化数据，我们可以通过sql语句进行检索，对于非结构化数据，我们一般通过顺序扫描或者全文检索顺序扫描就是从第一条数据开始扫描一直到最后一条数据，把符合的数据返回，浪费时间，资源全文检索：先看上图左边，左边描述的是lucene把结构化数据，非结构化数据以及半结构化数据创建索引文件，右边描述的是用户通过索引关键词检索索引库，然后把结果返回给用户什么是索引：回想小学时候用的新华字典，提供了拼音检索和部首检索两个功能，通过这两个功能可以快速的找到一个字在字典的多少页，lucene里的索引和新华字典里的索引差不多看上图：该图可表示为lucene这个词在第1篇和第3篇文档里出现过，Solr这个词在第1篇、第3篇文和第五篇文档里出现过，Hadoop这个词在第3篇、第5篇、第7篇、第8篇、第9篇文档里出现过。

图的左边可以看作是新华字典里的拼音或者部首索引，右边就是检索出词语的位置，这里的索引又叫反向索引反向索引：这种由字符串到文件的映射是文件到字符串映射的反向过程，文件到字符串的映射，比如我们有一片PPT,里面内容的标题就是“全文检索概述-索引定义”，那么我们就可以把这一片PPT看成一个文件，名字就是“全文检索概述-索引定义”，这也就说明“全文检索概述-索引定义”在这个文件里出现过2.全文索引过程✓创建检索创建检索三部曲：需要检索的数据(Documents),分词技术(Analyzer)，索引创建(indexer)第一步：Documents事例数据●极客学院教程●Luence案例开发●Lucene实时搜索第二步：分词技术（这里采用标准分词）●极|客|学|院|教|程●Luence|案|例|开|发●Lucene|实|时|搜|索●标准分词就是把一段中文分成一个个独立的单词，对于英文就是把它转换成词根。

Lucene索引和搜索过程核心类详解【基础】Lucene 索引和搜索过程核心类详解索引核心类1、IndexWriter(写索引)2、Directory(索引存放位置)3、Analyzer(分析器)4、document(文档)5、Field(域)搜索核心类1、IndexSearcher(搜索引)2、Term(搜索功能基本单元)3、Query(查询)4、TermQuery(Query 子类最基本查询类型)5、TopDocs(指针容器)IndexWriterIndexWriter是在索引过程中的中心组件。

这个类创建一个新的索引并且添加文档到一个已有的索引中。

它可以对索引进行添、删、更新操作，但是不能读取或搜索。

添加方法addDocument (Document)加Document使用默认的分词器addDocument (Document, Analyzer)加入的时候使用指定的分词器删除方法deleteDocuments (Term);deleteDocuments (Term[]);deleteDocuments (Query);deleteDocuments (Query[]);一般最好有个唯一索引，这样才好删,不然的话有可以会一删一大堆如：writer.deleteDocument(new Term(“ID”, documentID));更新方法注意:更新索引也提供两个方法，其实Lucene是没有办法更新的，只有先删除了再更新，updateDocument (Term, Document);如：writer.updateDocument(new Term(“ID”, documenteId), newDocument);updateDocument (Term, Document, Analyzer)DirectoryDirectory类代表一个Lucene索引的位置。

它是一个抽象类，允许它的子类(其中的两个包含在Lucene中)在合适时存储索引。

Lucene初级教程2007-12-26 15:24 点击次数：0 次1 lucene简介1.1 什么是luceneLucene是一个全文搜索框架，而不是应用产品。

因此它并不像 或者google Desktop那么拿来就能用，它只是提供了一种工具让你能实现这些产品。

2 lucene的工作方式lucene提供的服务实际包含两部分：一入一出。

所谓入是写入，即将你提供的源（本质是字符串）写入索引或者将其从索引中删除；所谓出是读出，即向用户提供全文搜索服务，让用户可以通过关键词定位源。

2.1写入流程源字符串首先经过analyzer处理，包括：分词，分成一个个单词；去除stopword（可选）。

将源中需要的信息加入Document的各个Field中，并把需要索引的Field索引起来，把需要存储的Field存储起来。

将索引写入存储器，存储器可以是内存或磁盘。

2.2读出流程用户提供搜索关键词，经过analyzer处理。

对处理后的关键词搜索索引找出对应的Document。

用户根据需要从找到的Document中提取需要的Field。

3 一些需要知道的概念3.1 analyzerAnalyzer是分析器，它的作用是把一个字符串按某种规则划分成一个个词语，并去除其中的无效词语，这里说的无效词语是指英文中的“of”、“the”，中文中的“的”、“地”等词语，这些词语在文章中大量出现，但是本身不包含什么关键信息，去掉有利于缩小索引文件、提高效率、提高命中率。

分词的规则千变万化，但目的只有一个：按语义划分。

这点在英文中比较容易实现，因为英文本身就是以单词为单位的，已经用空格分开；而中文则必须以某种方法将连成一片的句子划分成一个个词语。

具体划分方法下面再详细介绍，这里只需了解分析器的概念即可。

3.2 document用户提供的源是一条条记录，它们可以是文本文件、字符串或者数据库表的一条记录等等。

一条记录经过索引之后，就是以一个Document的形式存储在索引文件中的。

lucene query 语法Lucene Query语法是Lucene搜索引擎中使用的一种搜索语法，由一系列的搜索参数和限制条件组成，用于为用户查询所需的结果。

虽然Lucene Query语法功能十分强大，但对于初学者来说可能有些复杂。

本文将为了帮助初学者更好地理解Lucene Query语法，介绍其特点、组成结构和使用方法等。

一、Lucene Query语法的特点1. 灵活性Lucene Query语法非常灵活，可以处理多种匹配和搜索需求，例如对单个词语、短语、模糊搜索以及实现排除性搜索等。

2. 分词器支持Lucene Query语法支持各种分词器，这样用户可以通过选择不同的分词器进行搜索结果的匹配。

3. 易于理解虽然Lucene Query语法具有很高的灵活性，但一旦熟悉了其语法结构，用户就很容易理解和应用查询条件。

二、Lucene Query语法的组成结构Lucene Query语法的查询结构由多个组成部分组成，每一个组件表示一个查询条件，可以是一个单独搜索条件，也可以是多个条件的组合形成的复合搜索条件连接。

1. 查询语法启动符：用于表示Lucene Query语法的开始，通常为“+”或“-”符号，用于表示是否搜索一个特定的项目或者排除一个项目2. 字段名：指定需要搜索的字段名称，可以是一个或多个，使用“:”符号将字段名和搜索参数或值隔开。

3. 搜索参数或值：需要搜索的参数或值，也可以使用布尔运算符（AND/OR）进行多个查询条件的组合。

例如：name:john AND age:254. 通配符：用于单个字符或多个字符的模糊匹配，例如：name:j* 可以匹配 john 或者 jacob5. 范围查找：指定需要查找的数据范围，使用“[ ]”表示查询范围6. 模糊搜索：使用“~”号后跟一个数字（0~1）表示模糊搜索的程度，数字越小表示模糊匹配程度越高7. 布尔运算符：用于将多个查询条件组合成一个复合查询条件。

Lucene教程详解Lucene-3.0.0配置一、Lucene开发环境配置step1.Lucene开发包下载step2.Java开发环境配置step3.Tomcat安装step4.Lucene开发环境配置解压下载的lucene-3.0.0.zip，可以看到lucene-core-3.0.0.jar和lucene-demos-3.0.0.jar这两个文件,将其解压(建议放在安装jdk的lib文件夹内)，并把路径添加到环境变量的classpath。

二、Lucene开发包中Demo调试控制台应用程序step1.建立索引>java org.apache.lucene.demo.IndexFiles [C:\Java](已经存在的任意文件路径)将对C:\Java下所有文件建立索引，同时，在当前命令行位置将生成“index”文件夹。

step2.执行查询>java org.apache.lucene.demo.SearchFiles将会出现“Query:”提示符，在其后输入关键字，回车，即可得到查询结果。

Web应用程序step1.将lucene-core-3.0.0.jar和lucene-demos-3.0.0jar这两个文件复制到安装Tomcat 的\common\lib中step2.解压下载的lucene-3.0.0.zip，可以看到luceneweb.war文件。

将该文件复制到安装Tomcat的\webappsstep3.重启Tomcat服务器。

step4.建立索引>java org.apache.lucene.demo.IndexHTML -create -index [索引数据存放路径] [被索引文件路径]（如：D:\lucene\temp\index D:\lucene\temp\docs）step5.打开安装Tomcat的\webapps\luceneweb\configuration.jsp文件，找到String indexLocation = "***"，将"***"改为第四步中[索引数据存放路径]，保存关闭。