ElasticSearch（一）：基本概念

## 基本概念示意图
![file](https://img2018.cnblogs.com/blog/985553/201910/985553-20191008220116393-1185271634.jpg)

索引与文档更偏向于开发人员的视角，属于逻辑上的一种概念；节点与分片更偏向于运维人员的视角，属于物理上的一种概念。

## 索引
* Index——索引是文档的容器，是一类文档的集合
- Index体现了逻辑空间的概念：每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型
- Shard体现了物理空间的概念：索引中的数据分散在Shard上
* 索引的Mapping与Settings
- Mapping定义文档字段的类型
- Setting定义不同的数据分布
* 索引的不同语意
- 名词：一个Elasticsearch集群中，可以创建很多个不同的索引
- 动词：保存一个文档到Elasticsearch的过程也叫索引（indexing）；索引（动词）文档到ElasticSearch的索引（名词）中
- 名词：一个B树索引，一个倒排索引

## 文档（Document）
* Elasticsearch是面向文档的，文档是所有可搜索数据的最小单位。
- 日志文件中的日志项
- 一部电影的具体信息/一张唱片的详细信息
- MP3播放器里的一首歌/一篇PDF文档中的具体内容
* 文档会被序列化成JSON格式，保存在Elasticsearch中
- JSON对象由字段组成
- 每个字段都有对应的字段类型（字符串/数值/布尔/日期/二进制/范围类型）
* 每个文档都有一个唯一的ID
- 你可以自己指定ID
- 或者通过Elasticsearch自动生成
* 文档的元数据
- `_index`——文档所属的索引名
- `_type`——文档所属的类型名
- `_id`——文档唯一ID
- `_version`——文档的版本信息
- `_scope`——相关性打分
- `_source`——文档的原始JSON数据

## 集群
* ElasticSearch集群实际上是一个分布式系统，而分布式系统需要具备两个特性：
- 高可用性：服务可用性：允许有节点停止服务；数据可用性：部分节点丢失，不会丢失数据。
- 可扩展性：随着请求量的不断提升，数据量的不断增长，系统可以将数据分布到其他节点，实现水平扩展。

Elasticsearch的分布式架构
- 不同的集群通过不同的名字来区分，默认名字elasticsearch
- 通过配置文件修改，或者在命令行中 -E cluster.name=geektime进行设定
- 一个集群可以有一个或者多个节点

## 节点
* 节点是一个Elasticsearch的实例，本质上就是一个Java进程。
* 每个节点都有名字，可以通过配置文件进行配置，也可以通过命令行进行指定，如：-E node.name=node1。
* 每个节点在启动之后，会被分配一个UID，保存在data目录下。

## 节点类型
* Master-Eligible Node与Master Node
- 每个节点启动之后，默认就是一个Master Eligible节点，当然可以在配置文件中将其禁止，node.master:false。
- Master-Eligible Node可以参加选主流程，成为Master Node。
- 当第一个节点启动时，它会将其选举为Master Node。
- 每个节点都保存了集群状态，但只有Master Node才能修改集群的状态。
* Data Node
- 可以保存数据的节点，负责保存分片数据，在数据扩展上起到至关重要的作用。
* Coordinating Node
- 它通过接受Rest Client的请求，会将请求分发到合适的节点，最终将结果汇集到一起。
- 每个节点都默认起到Coordinating Node的职责
* Hot &Warm Node
- 不同硬件配置的Data Node，来实现Hot &Warm架构，降低集群部署的成本。
* Machine Learning Node
- 负责机器学习的节点，常用来做异常检测。

## 节点类型配置
* 开发环境中一个节点可以承担多种角色。
* 生成环境中，应该设置单一的节点角色

节点类型	配置参数	默认值
master eligible	node.master	true
data	node.data	true
ingest	node.ingest	true
coordinating only	无	设置其他类型全部为false
machine learning	node.ml	true

## 分片
* 主分片用于解决数据水平扩展的问题，通过主分片，可以将数据分布到集群内的所有节点之上。
- 一个主分片是一个运行的Lucene的实例
- 主分片数是在索引创建时指定，后续不允许修改，除非Reindex
* 副本用于解决数据高可用的问题，它是主分片的拷贝。
- 副本分片数可以动态调整
- 增加副本数，在一定程度上可以提高服务的可用性

## 分片的设定
对于生产环境中分片的设定，需要提前做好容量规划，因为主分片数是在索引创建时预先设定的，后续无法修改。
* 分片数设置过小
- 导致后续无法增加节点进行水平扩展。
- 导致分片的数据量太大，数据在重新分配时耗时；
* 分片数设置过大
- 影响搜索结果的相关性打分，影响统计结果的准确性；
- 单个节点上过多的分片，会导致资源浪费，同时也会影响性能；

## Index 相关 API
```
#查看索引相关信息
GET kibana_sample_data_ecommerce

查看索引的文档总数

GET kibana_sample_data_ecommerce/_count

查看前10条文档，了解文档格式

POST kibana_sample_data_ecommerce/_search

{

}

_cat indices API

查看indices

GET /_cat/indices/kibana*?v&s=index

查看状态为绿的索引

GET /_cat/indices?v&health=green

按照文档个数排序

GET /_cat/indices?v&s=docs.count:desc

查看具体的字段

GET /_cat/indices/kibana*?pri&v&h=health,index,pri,rep,docs.count,mt

How much memory is used per index?

GET /_cat/indices?v&h=i,tm&s=tm:desc



<br/>

## Cluster相关API

GET _cat/nodes?v

GET /_nodes/es7_01,es7_02

GET /_cat/nodes?v

GET /_cat/nodes?v&h=id,ip,port,v,m

GET _cluster/health

GET _cluster/health?level=shards

GET /_cluster/health/kibana_sample_data_ecommerce,kibana_sample_data_flights

GET /_cluster/health/kibana_sample_data_flights?level=shards

cluster state

GET /_cluster/state

cluster get settings

GET /_cluster/settings

GET /_cluster/settings?include_defaults=true

GET _cat/shards

GET _cat/shards?h=index,shard,prirep,state,unassigned.reason