Elasticsearch提供了replica解决方案,它可以帮我们解决了如果有一个或多个node失败了,那么我们的数据还是可以保证完整的情况,并且搜索还可以继续进行。但是,有一种情况是我们的所有的node,或者有一部分node失败,可能会造成我们的数据的丢失。也就是说replca不能提供一种灾难性的保护机制。我们需要一种完整的备份机制。

Snapshot及Restore

在Elastic里,我们提供了一个叫做snapshot及restore API的接口。使您可以使用数据和状态快照备份您的Elasticsearch索引和集群。 快照很重要,因为快照会在出现问题时提供您数据的副本。 如果需要回滚到旧版本的数据,则可以从存储库中还原快照。

如上图所示,我们可以把当前index的状态及数据存入到一个repository里去。

Repository

为了能够做备份,我们首先必须创建一个repository,也就是一个仓库。你可以为一个cluster创建多个仓库。目前支持的仓库类型有:

# Elasticsearch支持仓库类型
Respository 配置类型
Shared file system "type": "fs"
Read-only URL "type": "url"
S3 "type": "s3"
HDFS "type": "hdfs"
Azure "type": "azure"
Google Cloud Storage "type": "gcs"

这里需要注意的是: S3, HDFS, Azure and GCS 需要相应的插件进行安装才可以。

注册仓库

在一个snapshot可以被使用之前,我们必须注册一个仓库(repository)。

  • 使用_snapshot 终点
  • 文件夹必须对所有的node可以访问
  • path.repo必须在所有的node上进行配置,针对一个fs的repository来说
    PUT _snapshot/my_repo
{
"type": "fs",
"settings": {
"location": "/mnt/my_repo_folder"
}
}

这里/mnt/my_repo_folder必须加进所有node的elasticsearch.yml文件中。

fs resposity设置:

    PUT _snapshot/my_repo
{
"type": "fs",
"settings": {
"location": "/mnt/my_repo_folder",
"compress": true,
"max_restore_bytes_per_sec": "40mb",
"max_snapshot_bytes_per_sec": "40mb"
}
}

这里,我们定义compress为true,表明我们希望压缩。通过max_restore_bytes_per_sec及max_snapshot_bytes_per_sec的定义,我们可以来限制数据的snapshot及恢复的数据速度。

S3 repository设置

为了能能使用S3仓库,我们必须使用如下的命令来进行安装插件:

    ./bin/elasticsearch-plugin install repository-s3

注意,上面的命令必须是在Elasticsearch的安装目录下进行执行。我们可以通过如下的命令来进行配置:

    PUT _snapshot/my_s3_repo
{
"type": "s3",
"settings": {
"bucket": "my_s3_bucket_name"
}
}

这里的my_s3_bucket_name是我们在AWS上定义的S3 bucket。更多关于S3的配置可以参阅链接 Repository Settings(https://www.elastic.co/guide/en/elasticsearch/plugins/current/repository-s3-repository.html)。

Snapshot所有的索引

一旦我们的repository已经被配置好了,那么我们就可以利用_snapshot终点来进行snapshot。必须注意的是snapshot只拷贝在执行该命令时的所有的数据,而在之后的所有的数据将不被备份。snapshot是按照增量来进行备份的,也就是说它只拷贝从上次执行snapshot之后变化的部分。通常来说,每隔30分钟进行一次备份是足够的。

snapshot命令:

PUT _snapshot/my_repo/my_snapshot_1

这里必须注意的几点:

  • my_repo是指的我们在上面定义的repository的名字
  • my_snapshot_1指的是一个唯一的snapshot名字
  • 没有特定的索引名字被指出,那么它指的是所有的open索引

如果我们想指定某个或某些特定的索引,那么我们可以使用如下的命令来执行备份(snapshot)

    PUT _snapshot/my_repo/my_logs_snapshot_1
{
"indices": "logs-*",
"ignore_unavailable": true,
"include_global_state": true
}

这里它表述我们相对所有以logs-为开头的索引进行备份。

我们可以通过如下的命令来进行监测正在进行的snapshot的进度:

GET _snapshot/my_repo/my_snapshot_2/_status

管理snapshots

获取所有在repo中的snapshots:

GET _snapshot/my_repo/_all

获取某个特定snapshot的信息

GET _snapshot/my_repo/my_snapshot_1

删除一个snapshot

DELETE _snapshot/my_repo/my_snapshot_1

恢复一个snapshot

我们可以使用_restore终点来从一个snapshot恢复所有的索引:

POST _snapshot/my_repo/my_snapshot_2/_restore

我们也可以通过如下的方法来恢复某个或某些特定的索引:

    POST _snapshot/my_repo/my_snapshot_2/_restore
{
"indices": "logs-*",
"ignore_unavailable": true,
"include_global_state": false
}

在很多的时候,我们想把snapshot中的索引恢复到一个不同名字的索引之中,从而不用覆盖现有的。我们可以通过rename_pattern及rename_replacement来进行配置:

    POST _snapshot/my_repo/my_snapshot_2/_restore
{
"indices": "logs-*",
"ignore_unavailable": true,
"include_global_state": false,
"rename_pattern": "logs-(.+)",
"rename_replacement": "restored-logs-$1"
}

在上面,我们把所有的以logs-为开头的索引恢复到以restored-logs-的开头的索引之中来。

Restore到一个新的cluster

针对这个情况,我们可以恢复从另外一个cluster中备份的snapshot到当前的cluster中来。我们必须在新的cluster中注册这个repository才可以进行下面的操作。

从上面我们可以看出来,my_repo必须对两个cluster都是可见的才可以。

动手实践

准备数据:

运行起来我们的Kibana:

我们分别点击上面的1和2处:

点击上面的“Add data”。这样我们就可以把我们的kibana_sample_data_logs索引加载到Elasticsearch中。

GET _cat/indices/kibana_sample_data_logs

注册repository

首先我们在我们的电脑上创建一个如下的目录:

/shared_folder/my_repo

我们在termimal中打入如下的命令:

mkdir -p shared_folder/my_repo/
    $ pwd
/Users/liuxg/shared_folder
bogon:shared_folder liuxg$ ls -al
drwxr-xr-x 2 liuxg staff 64 Nov 13 13:23 my_repo

将以下path.repo属性添加到我们运行的所有node的elasticsearch.yml文件中:

path.repo: /Users/liuxg/shared_folder/my_repo

注意,针对你的情况,你需要改动这里的path路径。

然后启动我们的Elasticsearch及Kibana。紧接着,我们在Kibana console中打入如下的命令:

    PUT _snapshot/my_local_repo
{
"type": "fs",
"settings": {
"location": "/Users/liuxg/shared_folder/my_repo"
}
}

注意这里的location是根据我自己的电脑的路径来设置的。你需要根据自己实际的路径进行修改。在这里my_local_repo是我们的repository名称。

接下来,我们打入如下的命令来对我们的kibana_sample_data_logs索引进行snapshot:

    PUT _snapshot/my_local_repo/snapshot_1
{
"indices": "kibana_sample_data_logs",
"ignore_unavailable": true,
"include_global_state": true
}

我们可以通过如下的命令来查看snapshot:

GET _snapshot/my_local_repo/_all

我们可以在右边看到snapshot_1出现在列表之中,说明我们已经成功地创建了这个snapshot。

我们接下来可以通过如下的命令来删除kibana_sample_data_logs索引:

DELETE kibana_sample_data_logs

这样我们彻底地删除了这个索引。那么我们该如何把之前备份的数据恢复回来呢?

在Kibana中打入如下的命令:

    POST _snapshot/my_local_repo/snapshot_1/_restore
{
"indices": "kibana_sample_data_logs",
"ignore_unavailable": true,
"include_global_state": false
}

在执行完上面的命令后,我们可以通过如下的命令来查看恢复后的kibana_sample_data_logs索引:

GET kibana_sample_data_logs/_count

显然我们已经成功地恢复了我们之前备份的数据。

这个时候,如果我们去到我们的snapshot文件目录,我们可以看到:

    $ pwd
/Users/liuxg/shared_folder/my_repo
bogon:my_repo liuxg$ ls
index-0 meta-TzygGpJ1SOK5yJdsmc1lng.dat
index.latest snap-TzygGpJ1SOK5yJdsmc1lng.dat
indices

显然在文件目录中,已经有新生产的文件了。

Elasticsearch:Cluster备份 Snapshot及Restore API的更多相关文章

  1. 【ELK】Elasticsearch的备份和恢复

    非原创,只是留作自己查询使用,转自http://keenwon.com/1393.html Elasticsearch的备份和恢复 备份 Elasticsearch的一大特点就是使用简单,api也比较 ...

  2. Elasticsearch 5.4.3实战--Java API调用:索引mapping创建

    因为项目开发使用的是Java语言, 项目的开发架构是Spring MVC+ maven的jar包管理,  所以今天重点说说ES 5.4.3 的Java API的源码实战 1. pom.xml文件增加依 ...

  3. elasticsearch数据备份还原

    elasticsearch数据备份还原 1.在浏览器中运行http://XXX.XXX.XXX.XXX:9200/_flush,确保索引数据能保存到硬盘中. 2.原数据的备份.主要是elasticse ...

  4. ElasticSearch查询 第一篇:搜索API

    <ElasticSearch查询>目录导航: ElasticSearch查询 第一篇:搜索API ElasticSearch查询 第二篇:文档更新 ElasticSearch查询 第三篇: ...

  5. Elasticsearch入坑指南之RESTful API

    Elasticsearch入坑指南之RESTful API Tags:Elasticsearch ES为开发者提供了非常丰富的基于Http协议的Rest API,通过简单的Rest请求,就可以实现非常 ...

  6. elasticsearch数据基于snapshot的还原备份+版本升级

    前言 之前安装的是elasticsearch-6.5.0,漏洞扫描报The remote web server hosts a Java application that is vulnerable. ...

  7. ElasticSearch快照备份及恢复

    工作步骤: 1:建立备份快照数据挂载点,即共享文件目录(Shared Filesystem): 2:建立快照仓储repository: 3:建立snapshot快照备份: 4:恢复snapshot快照 ...

  8. Elasticsearch集群配置以及REST API使用

    ES安装与启动 在官网下载压缩包,解压后直接运行bin目录下的.bat文件即可.下载地址戳这里. ES配置集群 Elasticsearch配置集群很简单,只要配置一个集群的 名称 ,ES就会自动寻找并 ...

  9. 分布式搜索引擎Elasticsearch PHP类封装 使用原生api

    //官方的 php  api写的鸡肋了,下面这个类可以使用 es api 操作. <?php class ElasticSearch { public $index; function __co ...

随机推荐

  1. Issues in multiparty dialogues(科普性质)

    多人对话过程中存在的问题: 1)对于双方对话:存在明显的Speaker和Listener/addressee.但对于多人会话:就存在很多种情况.Clark[6]给出了对listener的分类

  2. 集合容器和Hash表

    集合容器 集合相当于一个容器,在我们使用Arraylist的时候添加参数相当与放了一个容器中.这里面的元素是可以重复的 在HashSet中添加元素是没有重复的,我们来写一个测试看一下 public s ...

  3. 时间模块之datatime模块、os模块、sys模块、json模块、json模块实操

    目录 一.模块的绝对导入和相对导入 二.包的概念 三.编程思想的转变 四.软件开发目录规范 五.常见的内置模块 一.时间模块之datatime模块 1.datetime.datetime.today( ...

  4. 4-4 Spring Test

    Spring Test Ⅰ.主要解决的问题 使用SpringTest前 手动加载Sping配置 手动从Spring容器中获取对象 使用SpringTest后 只需要通过注解指定Spring配置类 在S ...

  5. 超小体积单键/1路1感应通道触摸触控检测IC-VKD233HS DFN6 2*2mm,常用于TWS蓝牙耳机入耳检测、运动手环等小体积单键触摸产品

    产品品牌:永嘉微电/VINKA 产品型号:VKD233HS 封装形式:DFN6 产品年份:新年份 概述: VKD233HS  DFN6具有1个触摸按键,可用来检测外部触摸按键上人手的触摸动作.该芯片具 ...

  6. CF222C Reducing Fractions

    题目大意: 给出两个集合,第一个集合数的乘积是分子,第二个集合的数的乘积是分母,要求够造一个同样的集合,但是得到的分数是最简分数. 分析: 寻找思路并不复杂,对两个集合的每个数进行质因数分解,然后统计 ...

  7. 方法引用_通过this引用本类的成员方法和方法引用_类的构造器(构造方法)引用和数组的构造器引用

    package com.yang.Test.ThisMethodReference; /** * 通过this引用本类的成员方法 */ public class Husband { //定义一个买房子 ...

  8. 1000-ms-HashMap 线程安全安全问题

    问题: HashMap是否是线程安全 详解 http://www.importnew.com/21396.html 有源码分析 和代码性能比较 CHM性能最好 HashMap不是线程安全的:Hasht ...

  9. Nginx 配置静态资源防盗链

    # 什么是静态资源盗链: # 你服务器上的一张图片,127.0.0.1/images/a.png # 别人的html页面可以直接通过<img src="127.0.0.1/images ...

  10. 大数据工作流任务调度--有向无环图(DAG)之拓扑排序

    点击上方蓝字关注DolphinScheduler(海豚调度) |作者:代立冬 |编辑:闫利帅 回顾基础知识: 图的遍历 图的遍历是指从图中的某一个顶点出发,按照某种搜索方法沿着图中的边对图中的所有顶点 ...