ElasticSearch5.1 基本概念和配置详解

Elasticsearch基础定义1. 什么是Elasticsearch？Elasticsearch是一个开源的分布式搜索和分析引擎，它以JSON文档的形式存储数据，并能够快速、实时地搜索和分析这些数据。

它是一个基于Apache Lucene的搜索引擎，并通过RESTful API提供了简单而灵活的接口。

Elasticsearch广泛应用于全文搜索、日志分析、实时分析、地理空间分析、监控等领域。

2. Elasticsearch的基本概念（1）索引（Index）：在Elasticsearch中，索引是文档集合的逻辑容器，类似于关系数据库中的数据库。

每个索引都有一个唯一的名称，并且可以包含多个类型的文档。

（2）文档（Document）：文档是Elasticsearch中的基本数据单元，它以JSON格式表示。

每个文档都有一个唯一的ID，并且属于一个特定类型。

（3）映射（Mapping）：映射定义了文档类型中的字段和属性，类似于关系数据库中的表结构。

映射规定了字段的数据类型、分析器、存储方式等信息。

（4）分片和副本（Shards and Replicas）：为了实现水平扩展和数据冗余，Elasticsearch将索引划分为多个分片，每个分片可以分布在集群的不同节点上，并且可以配置分片的副本以提高可用性。

3. Elasticsearch的主要特性（1）全文搜索：Elasticsearch使用倒排索引的方式来实现全文搜索，支持复杂的查询语法和多种类型的分析器。

（2）实时性和可扩展性：Elasticsearch能够实现实时的写入和搜索操作，并且可以方便地通过添加节点和分片来实现水平扩展。

（3）多样化的数据聚合和分析功能：Elasticsearch提供了丰富的数据聚合和分析功能，包括范围聚合、日期直方图聚合、嵌套聚合等，使用户能够更轻松地理解和分析数据。

4. 个人观点和理解作为一名Elasticsearch的使用者，我认为其强大的全文搜索和数据分析功能为我在工作中处理数据提供了极大的便利。

elasticsearch全面解析与实践Elasticsearch全面解析与实践是一本深入探讨Elasticsearch 搜索引擎实现原理及应用技巧的权威指南。

下面将以该书为主题，从以下几个方面进行阐述。

一、什么是ElasticsearchElasticsearch是一款基于Lucene的搜索引擎，能够快速地进行复杂查询，并具有高可靠性、可扩展性和易用性。

它支持全文检索、结构化搜索、地理位置搜索等，可以通过RESTful接口进行操作，还支持各种语言的客户端。

二、Elasticsearch基本概念1.集群(Cluster)：由多个节点(Node)组成的一个分布式系统；2.节点(Node)：一个单独的Elasticsearch实例，可以是Master节点或Data节点；3.索引(Index)：相当于数据库中的表，拥有多个分片(Shard)和多个副本(Replica)；4.文档(Document)：相当于数据库中的一行数据；5.分片(Shard)：存储在集群中单个节点上的数据分片，用于提高性能和可扩展性；6.副本(Replica)：分片的一个拷贝，用于提高容错性和读取性能。

三、Elasticsearch查询语法1.查询语句(Query DSL)：基于JSON格式的查询语句；2.过滤器(Filter)：对查询结果进行筛选，不会影响评分(score)；3.聚合(Aggregation)：对查询结果进行分组或统计计算。

四、Elasticsearch数据分析Elasticsearch支持对全文检索和聚合操作的数据进行数据分析，例如top N查询、关键字提取、同义词替换、自动建议等。

五、Elasticsearch可视化工具1.Kibana：一个开源的数据可视化平台，可以将Elasticsearch中的数据进行展示和交互式操作；2.Grafana：一个更为通用的时序数据展示和分析平台，可以与Elasticsearch集成展示Elasticsearch数据。

elasticsearch中的概念
近实时性(Near Realtime[NRT])
集群(Cluster)
每个集群有一个唯一的名称标识，默认是“elasticsearch”。

节点(Node)
在一个集群中，你想启动多少节点就可以启动多少节点。

索引(Index)
一个索引就是含有某些相似特性的文档的集合。

一个索引被一个名称(必须都是小写)唯一标识，并且这个名称被用于索引通过文档去执行索引，搜索，更新和删除操作
类型(Type)
一个类型是你的索引中的一个分类或者说是一个分区，它可以让你在同一索引中存储不同类型的文档
文档(Document)
一个文档是一个可被索引的数据的基础单元
这个文档用JSON格式表现，JSON是一种普遍的网络数据交换格式
在一个索引或类型中，可以根据自己的需求存储任意多的文档分片(Shards)
当创建一个索引的时候，可以简单的定义想要的分片的数量
每个分片本身是一个全功能的完全独立的“索引”，它可以部署在集群中的任何节点上。

分片允许水平切分你的内容卷
分片允许你通过分片来分布和并行化执行操作来应对日益增长的执行量。

复制（Replicas）
Elasticsearch允许你制作分片的一个或多个拷贝放入一个叫做复制分片或短暂复制品中
复制对于以下两个主要原因：
高可用
高并发。

elasticsearch 使用手册Elasticsearch是一个开源的搜索和分析引擎，可用于处理大量数据并提供实时和可伸缩的搜索和分析功能。

本文将介绍Elasticsearch 的基本概念、安装配置、核心功能以及常用的API和查询语法。

一、安装配置1.下载安装ElasticsearchElasticsearch的官方网站上提供了各个平台的安装包，可以根据自己的操作系统下载对应的安装包进行安装。

2.配置Elasticsearch安装完成后，需要修改Elasticsearch的配置文件elasticsearch.yml。

其中一些重要的配置包括集群名称、节点名称、监听地址和端口号等。

同一个集群中的节点应该具有相同的集群名称。

二、核心功能1.数据存储和索引Elasticsearch使用分布式的倒排索引来存储和索引数据。

在Elasticsearch中，数据被组织成索引，而索引由多个分片组成。

每个分片可以在集群中的不同节点上进行复制，以提高可用性和性能。

2.文档和字段Elasticsearch使用JSON格式来存储数据。

每条数据被称为一个文档，每个文档可以包含多个字段。

字段可以是不同的数据类型，如字符串、数值、布尔值等。

3.搜索和查询Elasticsearch提供了丰富的查询功能，可以通过各种条件对文档进行搜索。

查询可以使用Query DSL或简单的字符串进行构建。

可以进行全文搜索、精确匹配、模糊搜索、范围搜索等。

4.聚合和分析Elasticsearch提供了聚合功能，可以对搜索结果进行统计和分析。

聚合包括词条聚合、范围聚合、日期聚合等，可以对文档的某个字段进行分组、计数、求和等操作。

三、常用API和查询语法1.索引操作API使用索引操作API可以创建、更新和删除索引。

主要的API包括创建索引、删除索引、更新索引设置、关闭索引和打开索引等。

2.文档操作API文档操作API主要用于对单个文档进行操作，主要包括索引文档、获取文档、更新文档和删除文档等。

Elasticsearch基本概念及核⼼配置⽂件详解 Elasticsearch5.X,下列的是Elasticsearch2.X系类配置，其实很多配置都是相互兼容的1. 配置⽂件config/elasticsearch.yml 主配置⽂件config/jvm.options jvm参数配置⽂件cofnig/log4j2.properties ⽇志配置⽂件2. 基本概念接近实时（NRT）Elasticsearch 是⼀个接近实时的搜索平台。

这意味着，从索引⼀个⽂档直到这个⽂档能够被搜索到有⼀个很⼩的延迟（通常是 1 秒）。

集群（cluster）代表⼀个集群，集群中有多个节点（node），其中有⼀个为主节点，这个主节点是可以通过选举产⽣的，主从节点是对于集群内部来说的。

es的⼀个概念就是去中⼼化，字⾯上理解就是⽆中⼼节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何⼀个节点的通信和与整个es集群通信是等价的。

索引（index）ElasticSearch将它的数据存储在⼀个或多个索引（index）中。

⽤SQL领域的术语来类⽐，索引就像数据库，可以向索引写⼊⽂档或者从索引中读取⽂档，并通过ElasticSearch内部使⽤Lucene将数据写⼊索引或从索引中检索数据。

⽂档（document）⽂档（document）是ElasticSearch中的主要实体。

对所有使⽤ElasticSearch的案例来说，他们最终都可以归结为对⽂档的搜索。

⽂档由字段构成。

映射（mapping）所有⽂档写进索引之前都会先进⾏分析，如何将输⼊的⽂本分割为词条、哪些词条⼜会被过滤，这种⾏为叫做映射（mapping）。

⼀般由⽤户⾃⼰定义规则。

类型（type）每个⽂档都有与之对应的类型（type）定义。

这允许⽤户在⼀个索引中存储多种⽂档类型，并为不同⽂档提供类型提供不同的映射。

分⽚（shards）代表索引分⽚，es可以把⼀个完整的索引分成多个分⽚，这样的好处是可以把⼀个⼤的索引拆分成多个，分布到不同的节点上。

ElasticSearch详细介绍与使用指南ElasticSearch是一个开源的、基于Lucene的全文搜索引擎。

它使用Java编写，以分布式搜索和分析引擎为目标，可用于搜索各种类型的文档。

ElasticSearch以其快速、高性能的搜索能力和易于扩展的特性而获得了广泛的应用。

一、ElasticSearch的特点1.分布式的架构模式ElasticSearch具有分布式架构的特性，将数据分布在多个节点上。

每个节点都可以同时扮演多个角色，如主节点、数据节点、负载均衡节点等等。

这种系统架构可以让数据在不同的节点上分布存储，在存储数据时进行副本备份、故障恢复和故障转移等操作，以确保数据的高可用性和容错性.2.全文、实时搜索ElasticSearch不仅支持简单关键字和短语查询，同时还支持复杂的全文检索，如匹配模糊搜索、通配符匹配搜索等。

ElasticSearch不仅可以快速地搜索现有索引，还可以实时更新索引。

例如，如果一个文档被添加或修改，ElasticSearch会根据需要更新索引以使其可用。

3.支持大规模数据的处理和分析ElasticSearch可以处理大规模数据和进行复杂的查询分析，它提供了大量的查询和聚合语句。

聚合语句可以帮助用户根据各种维度来汇总结果，同时还提供了多种聚合方式，如统计、平均、最小值、最大值等等，让用户方便地分析和了解数据。

4.可扩展的架构设计ElasticSearch是基于可扩展的架构设计，提供了多种扩展方式和协议，可以与多种数据源进行协作。

例如，ElasticSearch可以与Hadoop、Logstash、Kibana等开源框架进行集成，以协同处理海量数据。

二、ElasticSearch的基础概念1.索引（Index）ElasticSearch的数据存储单元是索引，一个索引包含了多个文档。

索引类似于关系型数据库中的表，索引名称必须全部小写，不能以点和短划线开头，不能包含逗号。

【elasticsearch使用手册】一、引言在当今信息爆炸的时代，我们面对的数据越来越庞大，各种数据存储和检索的需求也随之增加。

而Elasticsearch作为一种开源的分布式搜索引擎，具有强大的全文检索能力和高效的数据处理能力，成为了许多企业和数据科学家的首选。

本文将以Elasticsearch使用手册为主题，深入探讨其功能和操作，帮助读者更好地理解和运用该工具。

二、Elasticsearch概述Elasticsearch是一个基于Apache Lucene的开源搜索引擎，它提供了一个分布式、多用户的全文搜索引擎。

作为实时分析的理想选择，Elasticsearch可以用于各种用例中，例如日志聚合，监控，搜索，推荐等。

它具有高可用性、可扩展性和易用性的特点，使得用户可以方便地进行数据存储、搜索和分析。

三、安装和配置1. 环境准备：在安装Elasticsearch之前，需要确保Java环境已经安装并配置好。

2. 下载安装包：从官方全球信息湾下载最新版本的Elasticsearch安装包，并解压至指定目录。

3. 配置文件：修改config目录下的elasticsearch.yml文件，设置集群名称、节点名称、网络绑定位置区域等参数。

4. 启动Elasticsearch：运行bin目录下的elasticsearch脚本来启动Elasticsearch服务。

四、核心概念1. 索引：Elasticsearch中的索引类似于关系型数据库中的数据库，它是文档的集合。

2. 类型：每个索引可以包含一个或多个类型，类型相当于表的概念。

3. 文档：文档是索引中的最小数据单元，它是一个JSON格式的数据。

4. 分片和副本：Elasticsearch将索引分成多个分片，每个分片都是一个独立的索引，同时还可以创建多个分片的副本以提高容错性。

五、数据操作1. 索引数据：通过HTTP请求向Elasticsearch服务器发送文档数据，即可将文档数据索引到指定的索引中。

Elasticsearch基本概念和使⽤Elasticsearch基本概念和使⽤1.操作索引1.1.基本概念Elasticsearch也是基于Lucene的全⽂检索库，本质也是存储数据，很多概念与MySQL类似的。

对⽐关系：索引（indices）--------------------------------Databases 数据库类型（type）-----------------------------Table 数据表⽂档（Document）----------------Row ⾏字段（Field）-------------------Columns 列详细说明：概念说明索引库（indices)indices是index的复数，代表许多的索引，类型（type）类型是模拟mysql中的table概念，⼀个索引库下可以有不同类型的索引，⽐如商品索引，订单索引，其数据格式不同。

不过这会导致索引库混乱，因此未来版本中会移除这个概念⽂档（document）存⼊索引库原始的数据。

⽐如每⼀条商品信息，就是⼀个⽂档字段（field）⽂档中的属性映射配置（mappings）字段的数据类型、属性、是否索引、是否存储等特性是不是与Lucene和solr中的概念类似。

另外，在SolrCloud中，有⼀些集群相关的概念，在Elasticsearch也有类似的：索引集（Indices，index的复数）：逻辑上的完整索引分⽚（shard）：数据拆分后的各个部分副本（replica）：每个分⽚的复制要注意的是：Elasticsearch本⾝就是分布式的，因此即便你只有⼀个节点，Elasticsearch默认也会对你的数据进⾏分⽚和副本操作，当你向集群添加新数据时，数据也会在新加⼊的节点中进⾏平衡。

1.2.创建索引1.2.1.语法Elasticsearch采⽤Rest风格API，因此其API就是⼀次http请求，你可以⽤任何⼯具发起http请求创建索引的请求格式：请求⽅式：PUT请求路径：/索引库名请求参数：json格式：{"settings": {"number_of_shards": 3,"number_of_replicas": 2}}settings：索引库的设置number_of_shards：分⽚数量number_of_replicas：副本数量1.2.2.测试我们先⽤RestClient来试试响应：可以看到索引创建成功了。

elasticsearch基础概念Elasticsearch是一个开源的分布式搜索和分析引擎，基于Apache Lucene的搜索引擎库，用于全文搜索、结构化搜索和分析。

它能够实时地存储、搜索和分析大规模数据。

1. 索引（Index）索引是将数据存储在Elasticsearch中的一种方式。

在Elasticsearch中，数据被存储在一个或多个索引中。

每个索引通常代表一定类型的数据。

2. 类型（Type）类型是索引中的逻辑分类。

在一个索引中可以有多个类型。

每个类型有自己的字段类型、属性和映射。

通常来说，类型代表一个数据模型，其中包含了不同属性的数据。

3. 文档（Document）文档是在Elasticsearch中存储和处理的最小数据单元。

文档是由不同字段组成的，每个字段可以包含不同类型的数据。

一个文档必须属于一个索引和一个类型。

4. 字段（Field）字段是文档的一部分，它包含了文档的特定信息。

在Elasticsearch中，每个字段都有自己的数据类型，例如字符串、数字和日期。

5. 映射（Mapping）Elasticsearch使用映射来定义文档中的每个字段及其类型。

映射相当于一个表结构定义，它定义了每个字段的数据类型、分析器、索引方式等信息。

映射负责确保Elasticsearch正确地解释文档的内容，以便查询和过滤。

6. 分片（Shard）Elasticsearch中的数据通常会被分成多个分片存储在不同的节点上，这些节点可以是单台或多台服务器组成的集群。

这样可以提高查询性能和扩展性。

分片是索引的一部分，一个索引可以被分成多个分片，每个分片可以分配到不同的节点上。

7. 副本（Replica）8. 查询（Query）Elasticsearch支持多种查询方式，例如全文搜索、过滤、聚合等。

查询可以通过REST API进行发送，以获取匹配特定条件的文档。

9. 聚合（Aggregation）聚合是Elasticsearch中的一种特性，它可以让用户对大量数据进行分组、计算并返回汇总结果。

Elasticsearch 是一个开源的实时分布式搜索和分析引擎，它被广泛用于构建高性能、可扩展和可靠的应用程序。

以下是Elasticsearch 的详细总结：1. 基本概念：-索引（Index）：数据存储的逻辑容器，每个索引可以包含多个类型。

-类型（Type）：索引中的数据类别，相当于关系型数据库中的表。

-文档（Document）：存储在索引中的最小数据单元，使用JSON 格式表示。

-字段（Field）：文档中的属性，类似于关系型数据库中的列。

2. 分布式架构：-Elasticsearch 使用分布式架构，将索引数据分散存储在多个节点上，同时提供高可用性和横向扩展能力。

-节点（Node）：运行Elasticsearch 实例的服务器，节点可以组成集群。

-集群（Cluster）：由一个或多个节点组成的逻辑集合，共同处理索引和搜索请求。

3. 功能特性：-实时搜索：Elasticsearch 提供了快速的实时搜索能力，可以在毫秒级别内返回搜索结果。

-分布式搜索：可以水平扩展到数百甚至数千个节点，以处理大规模的数据和请求负载。

-多种查询类型：Elasticsearch 支持丰富的查询类型，如全文搜索、精确匹配、范围查询、过滤器等。

-聚合分析：能够对数据进行聚合计算，提供统计、汇总、分组等功能。

-地理位置搜索：提供地理位置索引和搜索功能，可以进行附近的位置搜索等。

-实时数据同步：支持实时索引和搜索更新，可以快速响应数据变更。

4. 部署与管理：-Elasticsearch 可以部署在单机上或作为多节点集群运行。

-安装和配置相对简单，提供了方便的RESTful API 进行数据操作和管理。

-提供了灵活的索引设置和映射（Mapping）定义，使您能够优化搜索性能和查询效率。

-通过插件机制，可以扩展Elasticsearch 的功能和集成其他工具。

5. 生态系统：-Elasticsearch 生态系统包括各种工具和插件，如Logstash、Kibana 和Beats，它们一起构成了ELK Stack （Elasticsearch, Logstash, Kibana）用于日志收集、处理和可视化。