你的ES数据备份了吗?
前言:
无论使用哪种存储软件,定期的备份数据都是重中之重,在使用ElasticSearch的时候,随着数据日益积累,存放es数据的磁盘空间也捉襟见肘,
此时对于业务功能使用不到的索引数据,又不能直接删除,将它迁移到线下数据盘存储就变得十分必要。
下面就记录一下在docker中部署的单节点以月份索引的es数据的备份和迁移过程。
一:docker安装ES
1:docker的安装:Docker-常用基建的安装与部署
2:下载es镜像:
docker pull elasticsearch:5.6.8
3:elasticsearch.yml 配置:
http.host: 0.0.0.0 # Uncomment the following lines for a production cluster deployment
#transport.host: 0.0.0.0
#discovery.zen.minimum_master_nodes: 1
cluster.name: "elasticsearch"
http.cors.enabled: true
http.cors.allow-origin: "*"
path.repo: ["/usr/share/elasticsearch/backup"]
4:创建es容器
docker run -d --name es -p 9200:9200 -p 9300:9300
--net docker_default --ip 172.18.0.40
--memory-swappiness=0
-v /root/data/docker/es/data:/usr/share/elasticsearch/data
-v /root/data/docker/es/conf/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
-v /root/data/docker/es/logs:/user/share/elasticsearch/logs
-v /root/data/docker/es/backup:/usr/share/elasticsearch/backup
-e "discovery.type=single-node"
--restart=always elasticsearch:5.6.8
上面三步简单的创建完一个可用的es容器,接下来就用它来测试es的快照功能。
二:快照索引
snapshot
API 是ES备份、迁移数据的重要手段。它支持增量备份,支持多种类型的仓库存储。
ES的备份过程是"智能"的。你对一个索引的第一个快照会是这个索引的完整拷贝,但是所有后续的快照会保留的是已存快照和新数据之间的差异。
随着你不时的对相同索引进行快照,备份也在增量的添加和删除。这意味着后续备份会相当快速,因为它们只传输很小的数据量。
备份路径通过配置: path.repo: ["/usr/share/elasticsearch/backup"] ,注意该路径是es容器内部的,
所以我们在创建es容器时,可以通过 -v /宿主机目录:/容器目录,将宿主机目录挂载到容器内部。
1:创建一个备份仓库:my_backup
curl -XPUT 127.0.0.1:9200/_snapshot/my_backup -d '{
"type": "fs",
"settings": {
"location": "/usr/share/elasticsearch/backup/my_backup"
}
}'
共享文件系统支持的配置如下图:
如果报错:[my_backup] failed to create repository, 执行:chmod 777 /root/data/docker/es/backup
2:开始备份指定索引(close状态的索引不可以执行快照),以 nova-202102 为例:
curl -XPUT 127.0.0.1:9200/_snapshot/my_backup/nova-202102?wait_for_completion=true -d '{
"indices": "nova-202102"
}'
如果索引文件较大,可以去掉wait_for_completion=true,该命令会后台执行备份。
如果备份是后台执行的,下面命令可以查询备份的状态
curl -XGET 127.0.0.1:9200/_snapshot/my_backup/nova-202102/_status
状态值有:
INITIALIZING 分片在检查集群状态看看自己是否可以被快照。这个一般是非常快的。
STARTED 数据正在被传输到仓库。
FINALIZING 数据传输完成;分片现在在发送快照元数据。
DONE 快照完成!
FAILED 快照处理的时候碰到了错误,这个分片/索引/快照不可能完成了。检查你的日志获取更多信息。
# 取消正在备份的索引
curl -XDELETE 127.0.0.1:9200/_snapshot/my_backup/nova-202102
curl -XGET 127.0.0.1:9200/_snapshot/my_backup/nova-202102
三:快照恢复
要恢复一个快照,该索引必须是关闭状态或者已经被删除。
curl -XPOST 127.0.0.1:9200/_snapshot/my_backup/nova-202102/_restore
监控快照恢复状态
curl -XGET 127.0.0.1:9200/restored_nova-202102/_recovery
恢复过程是基于ES标准恢复机制的,因此标准的恢复监控服务可以用来监视恢复的状态。
当执行集群恢复操作时通常会进入Red状态,这是因为恢复操作是从索引的主分片开始的,在此期间主分片状态变为不可用,因此集群状态表现为Red。
一旦ES主分片恢复完成,整个集群的状态将被转换成Yellow,并且开始创建所需数量的副分片。一旦创建了所有必需的副分片,集群转换到Green状态。
四:参考文献
2:Elasticsearch源码解析与优化实战
你的ES数据备份了吗?的更多相关文章
- ES数据备份到HDFS
1.准备好HDFS(这里我是本机测试) 2.es 安装repository-hdfs插件 (如es为多节点需在每个节点都安装插件) elasticsearch-plugin install repos ...
- elasticsearch 数据备份
ES数据备份找了一些方法,发现elasticdump 这个工具不错 elasticdump --input=http://192.168.0.92:9200/hs2840 --output ./hs2 ...
- ELK数据迁移,ES快照备份迁移
通过curl命令或者kibana快照备份,恢复的方式进行数据迁移 环境介绍 之前创建的ELK 因为VPC环境的问题,需要对ELK从新部署,但是还需要保留现有的数据,于是便有了这篇文档. 10.0.20 ...
- elasticsearch数据备份与sshfs建立共享文件
1.背景: 最近公司为了适应业务的发展,利用elasticsearch搜索引擎搭建了两个节点.为了防止数据丢失的特殊情况,需要定时做数据备份,而由于elasticsearch为两个节点分别在不同的服务 ...
- elasticsearch数据备份还原
elasticsearch数据备份还原 1.在浏览器中运行http://XXX.XXX.XXX.XXX:9200/_flush,确保索引数据能保存到硬盘中. 2.原数据的备份.主要是elasticse ...
- es snapshot备份到hdfs及从hdfs恢复snapshot
snapshot可以将es整个集群,具体索引数据备份到磁盘,hdfs等.需要时,可以从磁盘,hdfs恢复数据到es. 具体参考: https://elasticsearch.cn/article/61 ...
- ElasticSearch 集群 & 数据备份 & 优化
ElasticSearch 集群相关概念 ES 集群颜色状态 ①. - 红色:数据都不完整 ②. - 黄色:数据完整,但是副本有问题 ③. - 绿色:数据和副本全都没有问题 ES 集群节点类型 ①. ...
- 实际使用Elasticdump工具对Elasticsearch集群进行数据备份和数据还原
文/朱季谦 目录 一.Elasticdump工具介绍 二.Elasticdump工具安装 三.Elasticdump工具使用 最近在开发当中做了一些涉及到Elasticsearch映射结构及数据导出导 ...
- 数据备份的OSS接口
最近在做一个新的项目,从RDS备份到OSS,进行数据备份以及后续的还原.这边对阿里云的OSS数据上传接口进行说明,先做下笔记先简单介绍下OSS: ①Object 在OSS中,用户操作的基本数据单元是O ...
随机推荐
- 双向链表(DoubleLinkList)
双向链表 有关链表的知识可以点击我上篇文章这里就不再赘述LinkedList 双向链表也叫双链表,是链表的一种,它的每个数据结点中都有两个指针,分别指向直接后继和直接前驱.所以,从双向链表中的任意一个 ...
- POJ 1873 The Fortified Forest 凸包 二进制枚举
n最大15,二进制枚举不会超时.枚举不被砍掉的树,然后求凸包 #include<stdio.h> #include<math.h> #include<algorithm& ...
- 一款好用的CRM系统为何很难被企业找到?
如果您想要照明,买个灯具就能解决问题:如果您想要沟通,买个手机就能立刻打起电话:如果您要购买好用的CRM系统,那就没有这么简单了,无论是选型过程还是使用结果都十分复杂.做为想要使用CRM的潜在用户,您 ...
- docker 搭建 redis 集群(哨兵模式)
文件结构 1. redis-sentinel 1-1. docker-compose.yml 1-2. sentinel 1-2-1 docker-compose.yml 1-2-2 sentinel ...
- 『与善仁』Appium基础 — 1、Android系统的测试环境搭建
目录 1.Android操作系统简介 (1)Android系统诞生 (2)Android系统的结构 (3)Android测试环境搭建整体思路 2.Java环境安装 (1)JDK8下载 (2)安装JDK ...
- python 模拟点击微信
from PyQt5 import QtCore,QtWidgets import win32gui, win32api, win32con # 调用win32api的模拟点击功能实现ctrl+v粘贴 ...
- 【Azure Redis 缓存】云服务Worker Role中调用StackExchange.Redis,遇见莫名异常(RedisConnectionException: UnableToConnect on xxx 或 No connection is available to service this operation: xxx)
问题描述 在Visual Studio 2019中,通过Cloud Service模板创建了一个Worker Role的角色,在角色中使用StackExchange.Redis来连接Redis.遇见了 ...
- 替代Infinity绝佳的自主开发chrome插件
最近闲来无事在好朋(da)友(shen)的帮助下开发一个chrome插件,目的是为了替换infinity主页插件, 当然在此也推荐一波infinity确实不错,界面和易用性都是非常好用的水准了. 主页 ...
- 【LeetCode】1207. 独一无二的出现次数
1207. 独一无二的出现次数 知识点:set:哈希表 题目描述 给你一个整数数组 arr,请你帮忙统计数组中每个数的出现次数. 如果每个数的出现次数都是独一无二的,就返回 true:否则返回 fal ...
- springboot-3-web开发
一.视图层技术thymeleaf 我们一般都是基于3.x版本 1.流程: 导入依赖 <!--整合thymeleaf技术--> <dependency> <groupId& ...