ElasticSearch Bulk API

做一个简单的记录，以便自己后续查找

一、环境要求

• ElasticSearch 7.3.0
• Kibana 7.3.0

二、详情

ElasticSearch 的 Bulk API 可以批量进行索引或者删除等操作，可以显著的提高索引的速度

其格式如下：

action_and_meta_data\n
optional_source\n
action_and_meta_data\n
optional_source\n
....
action_and_meta_data\n
optional_source\n

注意点: 每一行必须以换行符(\n)结尾，包括最后一行

action_and_meta_data 指定哪个文档做什么操作：

• action 必须是 create、index、update、delete 中的一个
• meta_data 指定文档的 _index、_id

optional_source 指定需要操作的数据。

比如我们需要删除一部电影，同时创建一部电影

POST /_bulk
{"delete":{"_index":"movie", "_id": ""}}
{"index": {"_index":"movie", "_id":""}}
{"title": "Saving Christmas", "year": }

如果批量操作针对的是同一个index，此时我们不需要重复指定该index，比如上面的语句改为：

POST /movie/_bulk
{"delete":{"_id": ""}}
{"index": {"_id":""}}
{"title": "Saving Christmas", "year": }

三、Bulk API 文档的多大合适

整个批量请求都需要由接收到请求的节点加载到内存中，因此该请求越大，其他请求所能获得的内存就越少。 批量请求的大小有一个最佳值，大于这个值，性能将不再提升，甚至会下降。 但是最佳值不是一个固定的值。它完全取决于硬件、文档的大小和复杂度、索引和搜索的负载的整体情况。

幸运的是，很容易找到这个 最佳点 ：通过批量索引典型文档，并不断增加批量大小进行尝试。 当性能开始下降，那么你的批量大小就太大了。一个好的办法是开始时将 1,000 到 5,000 个文档作为一个批次, 如果你的文档非常大，那么就减少批量的文档个数。

密切关注你的批量请求的物理大小往往非常有用，一千个 1KB 的文档是完全不同于一千个 1MB 文档所占的物理大小。 一个好的批量大小在开始处理后所占用的物理大小约为 5-15 MB。

四、参考资料

• Bulk API
• 代价较小的批量操作
• _bulk 批量导入数据