Elasticsearch快速开始

Elasticsearch是一个分布式RESTful风格的搜索和数据分析引擎

查询：Elasticsearch允许执行和合并多种类型的搜索——结构化、非结构化、地理位置、度量指标。搜索方式随心而变
分析：找到与查询最匹配的是个文档是一回事。但是如果面对的是数亿级别的日志，又该如何解读呢？Elasticsearch聚合让你能够从大处着眼，探索数据的趋势和模式
速度：Elasticsearch非常快
可扩展性：可以在笔记本上运行，同样也可以在承载了PB级数据的成百上千台服务器上运行
弹性：Elasticsearch运行在一个分布式的环境中，从设计之初就考虑到了这一点
灵活性：数字、文本、地理位置、结构化、非结构化。所有的数据类型都非常受欢迎
HADOOP&SPARK：Elasticsearch + Hadoop

准备开始

　　Elasticsearch是一个高度可伸缩的开源全文搜索和分析引擎。它允许你快速和接近实时的存储、搜索和分析大量的数据

基本概念

Near Realtime（NRT）
- Elasticsearch是一个近乎实时的搜索平台。这也就意味着从索引文档到可以搜索的时间中间只有轻微的延迟（通常是一秒）
Cluster
- 集群是一个或多个节点（服务器）的集合，他们共同保存了你的完整的数据，并且提供了横跨所有节点的联合索引和搜索功能。一个集群由一个唯一的名称标识，默认这个唯一的标识的名称是"elasticsearch"这个名称非常重要，因为如果节点被设置为按其名称加入到集群中的话，那这样的话节点只是集群中的一部分
Node
- 节点是一个单独的服务器，他也是集群的一部分，存储数据，并参与集群的索引和搜索功能。就像集群一样，节点由一个名称来表示，默认情况下，改名称是在启动时分配给节点的随机通用唯一标识符（UUID）。如果不想用默认的节点名称，可以定义任何想要的节点。这个名称对于管理来说很重要，因为你希望识别网络中的哪些服务器对应于你的Elasticsearch集群中的哪些节点
- 一个绩点可以通过配置集群名称来加入到一个特定的集群中。默认情况下，每个节点都被设置加入到一个名字叫"elasticsearch"的集群中，这就意味着如果你启动了很多个节点，并且假设它们彼此可以互相发现，那么它们将自动形成并加入到一个名为’elasticsearch‘的集群中
- 一个集群可以有任意数量的节点。此外，如果在你的网络上当前没有运行任何节点，那么此时启动一个节点将默认形成一个单节点的名字，叫"elasticsearch"的集群
Index
- 索引是具有某种相似特征的文档的集合。例如你可以有一个顾客数据索引，产品目录索引和订单数据索引。索引有一个名称（这里必须呀小写）标识，该名称用于在对其中的文档执行索引、搜索、更新和删除操作时引用索引
Document
- 文档是可以被索引的基本信息单元。文档用JSON表示
Shards & Replicas
- 一个索引可能存储大量的数据，这些数据超过单个节点的硬件限制。例如，一个包含10亿条文档占用1TB磁盘空间的索引可能不适合在单个节点上，或者可能太慢而不能单独处理来自单个节点的搜索请求
  - 为了解决这个问题，Elasticsearch提供了将你的索引细分为多个碎片（或者叫分片）的能力。在创建索引的时候，可以简单的定义所需要的分片的数量，每个分片本身就是一个功能，完全独立的"索引"，可以驻留在集群中的任何节点上。
- 分片之所以重要主要有两个原因
  - 它允许你水分的分割/扩展内容卷
  - 它允许你跨分片（可能在多个节点上）分布和并行操作，从而提高性能和吞吐量
- 在一个网络/云环境中随时都有可能出现故障，强烈推荐你有一个容灾机制，Elasticsearch允许你将一个或者多个索引分片复制到其他地方，这就被称之为副本
- 复制之所以重要主要有两个原因
  - 它提供了在一个shard/node失败的高可用性。所以出于这个原因，很重要的一个点是一个副本从来不会被分配到与它复制的的原始分片相同节点上。也就是说，副本是放到另外的节点上的
  - 它允许扩展搜索量/吞吐量，因为搜索可以在所有副本上并行执行
总而言之，每个索引都可以被分割成多个分片。索引也可以被复制零（意味着没有副本）或更多次。一旦被复制，每个索引都将具有主分片（被复制的原始分片）和副本分片（主分片的副本）。在创建索引的时候，可以为每个索引定义分片和副本的数量。创建索引后，你可以随时动态的更改副本的数量，但不能更改事后分片的数量
在默认的情况下，Elasticsearch中的每个索引都分配了5个主分片和1个副本，这就意味着如果集群中至少有两个节点，那么索引将有5个主分片和5个副本分片（PS：这5个副本分片组成了一个完整的副本），每个索引总共有10个分片。（副本是针对索引而言的，同时需要注意索引和节点数量没有关系，我们说2个副本值的是索引被复制了2次，而1个索引可能由5个分片组成，那么在这种情况下，集群中的分片数应该是5 ✖️（1 + 2） = 15）

安装

首先需要配置java环境，由于我用homebrew一直下载失败，所以选择下载安装包进行安装
之后就是在利用homebrew安装Elasticsearch --> brew install ElasticSearch
运行elasticsearch，然后在网页中输入127.0.0.1:9200

The REST API

集群健康

请求：

curl -X GET "localhost:9200/_cat/health?v"

响应：

epoch      timestamp cluster           status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent

1569298977 04:22:57  elasticsearch_mac green           1         1      0   0    0    0        0             0                  -                100.0%

在这里面可以看到我们命名的"elasticsearch_mac"的集群现在是green状态。无论什么时候我们请求集群健康的时候，我们会得到green、yellow或者是red

Green：everything is good（一切正常）
Yellow：所有数据都是可用的，但是有些副本还没由分配（所有功能正常）
Red：有些数据不可用（部分功能正常）

上面的这些响应我们可以看到，集群elasticsearch_mac总共只有一个节点，零个分片，因为还没有数据

查看全部所有的索引：

curl -X PUT "localhost:9200/customer?pretty"

ps：pretty的意思是响应（如果有的话）以JSON格式返回

响应：

{

  "acknowledged" : true,

  "shards_acknowledged" : true,

  "index" : "customer"

}

请求：

curl -X GET "localhost:9200/_cat/indices?v"

响应：

health status index    uuid                   pri rep docs.count docs.deleted store.size pri.store.size

yellow open   customer j_ybcHPwSdujNhRH6wrZrA   1   1          0            0       230b           230b

结果的第二行告诉我们，我们现在有一个叫customer的索引，他有1个主分片和1个副本（默认是一个副本），有0个文档

在这里customer索引的状态是yellow。也就意味着一些副本尚未被分配

之所以会出现这种情况是因为Elasticsearch默认情况下为了这个索引创建了一个副本。但是由于目前我们只有一个节点在运行，所以直到稍后另一个节点加入到集群中时，才会分配一个副本（对于高可用性）。一旦该副本分配到第二个节点上，那么该索引的状态就会变成green了

索引并查询一个文档

现在我们put一些数据到customer索引

请求：

curl -X PUT "localhost:9200/customer/_doc/1?pretty" -H 'Content-Type: application/json' -d'{"name": "1213William"}'

响应：

{

  "_index" : "customer",

  "_type" : "_doc",

  "_id" : "",

  "_version" : 1,

  "result" : "created",

  "_shards" : {

    "total" : 2,

    "successful" : 1,

    "failed" : 0

  },

  "_seq_no" : 0,

  "_primary_term" : 1

}

从上面的这个响应可以看出来，我们在customer索引下面成功创建了一个文档，这个文档还有一个内部id为1，这是我们在创建的时候指定的

需要注意的是，Elasticsearch并不是要求你在索引文档之前就先创建索引，然后才能将文档编入索引。在前面的例子中，如果事先不存在customer索引，那么Elasticsearch就会自动创建customer索引 --> 也就是说在新建文档的时候如果指定的索引不存在就会自动创建相应的索引

现在我们重新检索这个文档

请求：

curl -X GET "localhost:9200/customer/_doc/1?pretty"

响应：

{

  "_index" : "customer",

  "_type" : "_doc",

  "_id" : "",

  "_version" : 1,

  "_seq_no" : 0,

  "_primary_term" : 1,

  "found" : true,

  "_source" : {

    "name" : "1213William"

  }

}

在这个响应中可以看到除了found字段外没有什么不同，'_source'字段返回了一个完整的JSON文档

删除一个索引

现在让我们删除前面创建的索引，然后查看全部的索引

请求：

curl -X DELETE "localhost:9200/customer?pretty"

响应：

{

  "acknowledged" : true

}

接下来查看一下：

curl -X GET "localhost:9200/_cat/indices?v"

health status index uuid pri rep docs.count docs.deleted store.size pri.store.size

curl -X DELETE "localhost:9200/customer"  # 删除索引

curl -X GET "localhost:9200/customer/_doc/1"  # 查询文档

curl -X PUT "localhost:9200/customer"  # 创建索引

curl -X PUT "localhost:9200/customer/_doc/1" -H 'Content-Type: application/json' -d'{"name": "1213William"}'  # 索引文档

我们研究可以发现在Elasticsearch中的访问数据的模式其实就是：

<REST Verb> /<Index>/<Type>/<ID>

修改数据

更新文档

每当我们在执行更新的时候，Elasticsearch就会删除旧的文档，然后在索引一个新的文档

下面这个例子展示了如何更新一个文档（文档的ID为1），改变name字段为"John"，并且同时添加一个age字段

请求：

curl -X POST "localhost:9200/customer/_doc/1/_update?pretty" -H 'Content-Type: application/json' -d'

{

  "doc": { "name": "John", "age": 18 }

}

'

响应：

{

  "_index" : "customer",

  "_type" : "_doc",

  "_id" : "",

  "_version" : 3,

  "result" : "updated",

  "_shards" : {

    "total" : 2,

    "successful" : 1,

    "failed" : 0

  },

  "_seq_no" : 2,

  "_primary_term" : 2

}

下面在用一个例子用脚本将age增加5

请求：

curl -X POST "localhost:9200/customer/_doc/1/_update?pretty" -H 'Content-Type: application/json' -d'

{

  "script" : "ctx._source.age += 5"

}

'

在这面"ctx._source.age"表示的是引用当前源文档

删除文档

删除文档其实相当简单。那就掩饰一下如何从customer索引中删除ID为2的文档

请求：

curl -X DELETE "localhost:9200/customer/_doc/2?pretty"

响应：

{

  "_index" : "customer",

  "_type" : "_doc",

  "_id" : "",

  "_version" : 1,

  "result" : "not_found",

  "_shards" : {

    "total" : 2,

    "successful" : 1,

    "failed" : 0

  },

  "_seq_no" : 4,

  "_primary_term" : 2

}

批处理

除了能够索引、更新、删除单个文档之外，Elasticsearch黑可以使用_bulk API批量执行上述的任何操作

这个功能其实非常重，因为它提供了一个非常有效的机制，可以在尽可能少的网络中往返的情况下尽可能快的执行多个操作

下面的例子同时索引两个文档

请求：

curl -X POST "localhost:9200/customer/_doc/_bulk?pretty" -H 'Content-Type: application/json' -d'

{"index":{"_id":""}}

{"name": "John Doe" }

{"index":{"_id":""}}

{"name": "Jane Doe" }

'

响应：

{

  "took" : 17,

  "errors" : false,

  "items" : [

    {

      "index" : {

        "_index" : "customer",

        "_type" : "_doc",

        "_id" : "",

        "_version" : 5,

        "result" : "updated",

        "_shards" : {

          "total" : 2,

          "successful" : 1,

          "failed" : 0

        },

        "_seq_no" : 5,

        "_primary_term" : 2,

        "status" : 200

      }

    },

    {

      "index" : {

        "_index" : "customer",

        "_type" : "_doc",

        "_id" : "",

        "_version" : 1,

        "result" : "created",

        "_shards" : {

          "total" : 2,

          "successful" : 1,

          "failed" : 0

        },

        "_seq_no" : 6,

        "_primary_term" : 2,

        "status" : 201

      }

    }

  ]

}

更新第一个文档，删除第二个文档

请求：

curl -X POST "localhost:9200/customer/_doc/_bulk?pretty" -H 'Content-Type: application/json' -d'

{"update":{"_id":""}}

{"doc": { "name": "1213William" } }

{"delete":{"_id":""}}

'

响应：

{

  "took" : 50,

  "errors" : false,

  "items" : [

    {

      "update" : {

        "_index" : "customer",

        "_type" : "_doc",

        "_id" : "",

        "_version" : 6,

        "result" : "updated",

        "_shards" : {

          "total" : 2,

          "successful" : 1,

          "failed" : 0

        },

        "_seq_no" : 7,

        "_primary_term" : 2,

        "status" : 200

      }

    },

    {

      "delete" : {

        "_index" : "customer",

        "_type" : "_doc",

        "_id" : "",

        "_version" : 2,

        "result" : "deleted",

        "_shards" : {

          "total" : 2,

          "successful" : 1,

          "failed" : 0

        },

        "_seq_no" : 8,

        "_primary_term" : 2,

        "status" : 200

      }

    }

  ]

}

检索数据

示例数据

新建一个文件夹account.json，然后将数据复制粘贴到该文件中，保存并且退出在这个account.json文件夹所在目录下面执行如下命令：

curl -H "Content-Type: application/json" -XPOST "localhost:9200/bank/_doc/_bulk?
pretty&refresh" --data-binary "@accounts.json"

这个时候account.json中的文档数据就已经被索引到"bank"索引下

请求：

curl "localhost:9200/_cat/indices?v"

响应：

health status index    uuid                   pri rep docs.count docs.deleted store.size pri.store.size

yellow open   bank     kfOzQHy7Rg-FGzS_MV-6zw   1   1       1000            0    414.2kb        414.2kb

yellow open   customer SXDtQcKHSyKMwC4PR2proA   1   1          1            1     13.4kb         13.4kb

在这里可以看到，现在我们的集群中有两个索引，分别是"bank", "customer"，这里面customer只有一个我们自己创建的文档，但是bank却有1000个

The Search API

运行搜索有两种基本的方法：

通过REST请求URL发送检索参数
通过REST请求体发送检索参数

一种是把检索参数放在URL后面，另一种是放在请求体的里面。间接的可以看成是HTTP的GET和POST请求

请求体方法允许你更有表现力，也可以用更可读的JSON格式来定义搜索。用于搜索的REST API可以从_search端点访问。

下面的例子返回的是bank索引中的所有中文文档

curl -X GET "localhost:9200/bank/_search?q=*&sort=account_number:asc&pretty"

分析一下这个请求：

　　我们自bank索引中，q=*表示匹配所有的文档

　　sort=account_number：asc并表示每个文档的account_number字段升序排序；pretty参数表示返回漂亮打印的JSON结果

响应：

{

  "took" : 6,

  "timed_out" : false,

  "_shards" : {

    "total" : 1,

    "successful" : 1,

    "skipped" : 0,

    "failed" : 0

  },

  "hits" : {

    "total" : {

      "value" : 1000,

      "relation" : "eq"

    },

    "max_score" : null,

    "hits" : [

      {

        "_index" : "bank",

        "_type" : "_doc",

        "_id" : "",

        "_score" : null,

        "_source" : {

          "account_number" : 0,

          "balance" : 16623,

          "firstname" : "Bradshaw",

          "lastname" : "Mckenzie",

          "age" : 29,

          "gender" : "F",

          "address" : "244 Columbus Place",

          "employer" : "Euron",

          "email" : "bradshawmckenzie@euron.com",

          "city" : "Hobucken",

          "state" : "CO"

        },

        "sort" : [

          0

        ]

      },

      {

        "_index" : "bank",

        "_type" : "_doc",

        "_id" : "",

        "_score" : null,

        "_source" : {

          "account_number" : 1,

          "balance" : 39225,

          "firstname" : "Amber",

          "lastname" : "Duke",

          "age" : 32,

          "gender" : "M",

          "address" : "880 Holmes Lane",

          "employer" : "Pyrami",

          "email" : "amberduke@pyrami.com",

          "city" : "Brogan",

          "state" : "IL"

        },

        "sort" : [

          1

        ]

      },

      {

        "_index" : "bank",

        "_type" : "_doc",

        "_id" : "",

        "_score" : null,

        "_source" : {

          "account_number" : 2,

          "balance" : 28838,

          "firstname" : "Roberta",

          "lastname" : "Bender",

          "age" : 22,

          "gender" : "F",

          "address" : "560 Kingsway Place",

          "employer" : "Chillium",

          "email" : "robertabender@chillium.com",

          "city" : "Bennett",

          "state" : "LA"

        },

        "sort" : [

          2

        ]

      },

      {

        "_index" : "bank",

        "_type" : "_doc",

        "_id" : "",

        "_score" : null,

        "_source" : {

          "account_number" : 3,

          "balance" : 44947,

          "firstname" : "Levine",

          "lastname" : "Burks",

          "age" : 26,

          "gender" : "F",

          "address" : "328 Wilson Avenue",

          "employer" : "Amtap",

          "email" : "levineburks@amtap.com",

          "city" : "Cochranville",

          "state" : "HI"

        },

        "sort" : [

          3

        ]

      },

      {

        "_index" : "bank",

        "_type" : "_doc",

        "_id" : "",

        "_score" : null,

        "_source" : {

          "account_number" : 4,

          "balance" : 27658,

          "firstname" : "Rodriquez",

          "lastname" : "Flores",

          "age" : 31,

          "gender" : "F",

          "address" : "986 Wyckoff Avenue",

          "employer" : "Tourmania",

          "email" : "rodriquezflores@tourmania.com",

          "city" : "Eastvale",

          "state" : "HI"

        },

        "sort" : [

          4

        ]

      },

      {

        "_index" : "bank",

        "_type" : "_doc",

        "_id" : "",

        "_score" : null,

        "_source" : {

          "account_number" : 5,

          "balance" : 29342,

          "firstname" : "Leola",

          "lastname" : "Stewart",

          "age" : 30,

          "gender" : "F",

          "address" : "311 Elm Place",

          "employer" : "Diginetic",

          "email" : "leolastewart@diginetic.com",

          "city" : "Fairview",

          "state" : "NJ"

        },

        "sort" : [

          5

        ]

      },

      {

        "_index" : "bank",

        "_type" : "_doc",

        "_id" : "",

        "_score" : null,

        "_source" : {

          "account_number" : 6,

          "balance" : 5686,

          "firstname" : "Hattie",

          "lastname" : "Bond",

          "age" : 36,

          "gender" : "M",

          "address" : "671 Bristol Street",

          "employer" : "Netagy",

          "email" : "hattiebond@netagy.com",

          "city" : "Dante",

          "state" : "TN"

        },

        "sort" : [

          6

        ]

      },

      {

        "_index" : "bank",

        "_type" : "_doc",

        "_id" : "",

        "_score" : null,

        "_source" : {

          "account_number" : 7,

          "balance" : 39121,

          "firstname" : "Levy",

          "lastname" : "Richard",

          "age" : 22,

          "gender" : "M",

          "address" : "820 Logan Street",

          "employer" : "Teraprene",

          "email" : "levyrichard@teraprene.com",

          "city" : "Shrewsbury",

          "state" : "MO"

        },

        "sort" : [

          7

        ]

      },

      {

        "_index" : "bank",

        "_type" : "_doc",

        "_id" : "",

        "_score" : null,

        "_source" : {

          "account_number" : 8,

          "balance" : 48868,

          "firstname" : "Jan",

          "lastname" : "Burns",

          "age" : 35,

          "gender" : "M",

          "address" : "699 Visitation Place",

          "employer" : "Glasstep",

          "email" : "janburns@glasstep.com",

          "city" : "Wakulla",

          "state" : "AZ"

        },

        "sort" : [

          8

        ]

      },

      {

        "_index" : "bank",

        "_type" : "_doc",

        "_id" : "",

        "_score" : null,

        "_source" : {

          "account_number" : 9,

          "balance" : 24776,

          "firstname" : "Opal",

          "lastname" : "Meadows",

          "age" : 39,

          "gender" : "M",

          "address" : "963 Neptune Avenue",

          "employer" : "Cedward",

          "email" : "opalmeadows@cedward.com",

          "city" : "Olney",

          "state" : "OH"

        },

        "sort" : [

          9

        ]

      }

    ]

  }

}

可以看到：

took：Elasticsearch执行搜索的时间（这里是以毫秒为单位的）
timed_out：告诉我们检索时间是否超时
_shards：告诉我们检索了多少分片，以及成功/失败的分片数各是多少
hits：检索的结果
hits.total：符合检索条件的文档总数
hits.hits：实际的检索结果数组（默认是前十个文档）
hits.sort：排序的key（如果按照分值排序的话就不显示）
hits._score和max_score先忽略这些字段

下面一个是和上面一个相同，但是用请求体的例子：

curl -X GET "localhost:9200/bank/_search" -H 'Content-Type: application/json' -d'

{

  "query": { "match_all": {} },

  "sort": [

    { "account_number": "asc" }

  ]

}

'

区别：

　　我们没有在URL中传q=*，而是向_search API提供json风格的查询请求体

　　很重要的一点就是，一旦返回搜索结果，Elasticsearch就完全完成了对请求的处理，不会在结果中维护任何类型的服务器资源或打开游标

查询语言

Elasticsearch提供了一种json风格的语言，你可以使用这种语言执行查询。这被成为查询DSL

查询语言非常全面，乍一看可能会很吓人，但是实际上最好的学习方法就是从几个基本的实例开始学习

我们执行这样的查询：

curl -X GET "localhost:9200/bank/_search" -H 'Content-Type: application/json' -d'

{

  "query": { "match_all": {} }

}

'

查询部分告诉我们查询定义是什么，match_all部分只是我们想要运行的查询类型。这里match_all查询只是在指定索引中搜索所有文档

除了查询参数之外，我们还可以传递其他参数来影响搜索的结果。在上面部分的例子中，我们传的是sort参数，但是在这里我们传的是size：

curl -X GET "localhost:9200/bank/_search" -H 'Content-Type: application/json' -d'

{

  "query": { "match_all": {} },

  "size": 1

}

'

elasticsearch_mac