Elasticsearch也提供了备份集群中索引数据的策略——snapshot API.它会备份整个集群的当前状态和数据,并保存到集群中各个节点共享的仓库中.这个备份的进程是增量备份的,在第一次备份的基础上进行的第二次备份只备份新变化的数据. 创建elasticsearch快照进行备份. 1. 建立NFS文件共享服务2.修改elasticsearch配置文件elasticsearch.yml,path.repo: **共享目录挂载的路径**,3.创建快照仓库4.创建快照5.恢复快照到elasti

注册前要注意配置文件加上 path.repo: ["/data/es_backup"] 然后重启es 不然会报错doesn't match any of the locations specified by path.repo because this setting is empty" 注册一个仓库,存放快照,记住,这里不是生成快照,只是注册一个仓库 curl -XPUT 'http://*.*.*.*:9200/_snapshot/my_backup' -H 'Conte

lvm-snapshot: 基于LVM快照的备份 1.事务日志跟数据文件必须在同一个卷上          2.创建快照卷之前,要请求mysql的全局锁,在快照创建完成之后释放锁          3.在请求全局锁完成之后,做一次日志滚动:做二进制日志文件及位置标记(手动进行) 步骤:        1.请求全局锁,并滚动日志        mysql> FLUSH TABLES WITH READ LOCK;        mysql> FLUSH LOGS;        2.做二进制日志

MySQL的备份和恢复-基于LVM快照的备份(lvm-snapshot) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.什么是快照卷 如上图所示,原卷和快照卷可以不一样大,因为快照卷只保存变化中的数据,但是你得提前预估快照卷的存储空间有多大,一旦快照卷存储空间溢出就意味着快照卷的崩溃!快照卷拥有以下特点: 1>.逻辑卷快照,事实上它本身是一个逻辑卷,但是它仅仅是作为原卷的另外一个访问路径; 2>.刚刚创建快照卷时,快照卷中是没有任何数据的,所有数据都执行了原卷的数据块,

快照方式备份MySQL数据库及举例 作者: 红豆殺 日期: 2011 年 03 月 17 日发表评论7条评论查看评论   一.创建逻辑卷 依照如下连接的文档创建一个逻辑卷 http://www.178-go.com/tags/lvm 要求:物理卷20G;卷组名为vg0;逻辑卷2G,逻辑卷名为mydata 创建逻辑卷挂载点,并挂载之 # mkdir /mydata # mount /dev/vgo/mydata /mydata 二.安装MySQL数据库 如果机器已装有mysql,则此步可省略 只需

1.安装Elasticsearch插件repository-hdfs 下载地址:https://artifacts.elastic.co/downloads/elasticsearch-plugins/repository-hdfs/repository-hdfs-6.2.3.zip 将zip包放在/usr/local下 注意插件版本需要和Elasticsearch的版本对应.如果版本不匹配,在安装时会有提示 cd /usr/local/software/elasticsearch-/bin .

环境:mac   使用brew 安装elasticsearch   1.在 /usr/local/etc/elasticsearch/elasticsearch.yml 文件中配置快照地址     path.repo: ["/data/backups/my_backup"]   2.重启elasticsearch 3.注册仓库:curl -XPUT 'http://localhost:9200/_snapshot/my_backup' -d '{     "type"

该文档适用于备份使用NAS的仓库类型.所有Elasticsearch集群中的服务通过挂载NAS目录来存放备份快照数据. 1.创建备份仓库 创建一个仓库名称:backup curl -H "Content-Type: application/json" -XPUT http://10.10.18.10:9200/_snapshot/backup -d ' { "type":"fs", "settings":{"loca

创建仓库 POST http://10.10.14.201:9200/_snapshot/backup { "type": "fs", "settings": { "compress" : "true", #启动压缩 "location": "/usr/local/elasticsearch_snapshot" } } 备份快照 PUT http://10.10.14

########### ### 共享创建es官方网站就一句话 ########   1.下载 文件共享 .. rpm -i http://mirror.symnds.com/distributions/fedora-epel/6/x86_64/epel-release-6-8.noarch.rpm   2.安装 yum -y install sshfs #如果离线自己机器上安装个和服务器一样版本.修改/etc/yum/yum.conf   keepcache=1 #在 /var/cache/yu

参考文档:https://www.elastic.co/guide/en/elasticsearch/reference/5.1/modules-snapshots.html 备份数据之前,要创建一个仓库来保存数据,仓库的类型支持Shared filesystem, Amazon S3, HDFS和Azure Cloud.fs仓库示例:需要在elasticsearch.yml添加如下配置:path.repo: ["/data1/esdata/backup"]注意:这里fs是Shared

注册快照仓库 ES是通过快照的方式来实现数据备份,并且是以增量的方式,所以一般第一次做的话会花费较长的时间.为了做快照,那么就需要注册一个快照仓库,告诉ES我们的快照应该如何保存以及将快照保存到哪里. ES的快照仓库支持如下几种形式: 共享的文件系统,如NAS Amazon S3 HDFS (Hadoop Distributed File System) Azure Cloud 通常选择注册第一种形式. 任意选择一个节点,执行如下命令 $ curl -XPUT http://192.168.0.

本文由 Ceph 中国社区 -QiYu 翻译 英文出处:Using Ceph with MySQL 欢迎加入CCTG Over the last year, the Ceph world drew me in. Partly because of my taste for distributed systems, but also because I think Ceph represents a great opportunity for MySQL specifically and data

转载自:http://wenku.baidu.com/link?url=cbioiMKsfrxlzrJmoUMaztbrTelkE0FQ8F9qUHX7sa9va-BkkL4amvzCCAKg2hBv5ZmYL_ERp3Wprd1jVxG-333s6tCJn2LGqCAvFmJ6dXC Logical VolumeManager (LVM)提供了对任意一个LogicalVolume(LV)做“快照”(snapshot)的功能,以此来获得一个分区的状态一致性备份. 在某一个状态下做备份的时候,可能

1.查看磁盘数 ls /dev/ | grep sd 2.快照备份 pvcreate /dev/sdb #制作成物理卷vgcreate testvg /dev/sdblvcreate -L200M -n testlv testvg #创建逻辑卷mkfs -t ext4 /dev/testvg/testlv #格式化lvmount /dev/testvg/testlv /mnt #挂载目录 mount -t  ext3  /dev/myvg1/mylv1  /mnt/mylv1    #挂载lvm

目录1.数据库全备份2.准备LVM卷3.数据恢复到LVM卷4.基于LVM快照备份数据5.数据灾难恢复6.总结 写在前面:测试环境中已安装有mysql 5.5.36数据库,但数据目录没有存放在LVM卷,此次要演示基于LVM的数据备份和恢复,所以就把mysql的数据先迁移到LVM上再做快照卷的备份.如果innodb表基于LVM来做备份,那事务日志文件和数据文件要在同一个LVM的逻辑卷上,因为在同一时刻我们只能对一个逻辑卷做快照,如果事务日志与数据文件不在同一卷上,那做快照后会导致事务日志的事件与真正

一.实验环境 一台测试机:A(172.18.30.1) 操作系统:Centos7 操作对象数据库版本:mariadb-10.2 二.实现目的 从A机器(172.18.30.1)简单搭建数据库,创建测试数据,使用逻辑卷快照实现数据的备份,执行误操作,通过备份实现数据的还原 三.简单实验步骤 创建卷组和逻辑卷 挂载逻辑卷到指定位置 配置mysql的rpm源 A机器yum安装maraidb 配置mysql配置文件 创建测试数据 锁定数据库写操作 执行LVM的快照操作,对数据库状态进行快照 记录当前bi

ElasticSearch 集群相关概念 ES 集群颜色状态 ①. - 红色:数据都不完整 ②. - 黄色:数据完整,但是副本有问题 ③. - 绿色:数据和副本全都没有问题 ES 集群节点类型 ①. - 主节点:负责调度分配数据 ②. - 数据节点:处理分配到自己的数据 ES 集群分片类型 ①. - 主分片:存储数据,负责读写数据 ②. - 副本分片:主分片的备份 ES 集群安全保障 ①. - 数据会自动分配到多个节点 ②. - 如果主分片所在节点挂掉,副本节点的分片会自动升为主分片 ③. -

#!/bin/bashdata1=`date "+%Y%m%d"`data2="http://0.0.0.0:9200/_snapshot/my_backup/snapshot_${data1}" echo '-----------'echo $data1echo $data2echo '----------' curl -XPUT $data2 deldata1=`date -d "7 day ago" +"%Y%m%d"`

常见的数据库都会提供备份的机制,以解决在数据库无法使用的情况下,可以开启新的实例,然后通过备份来恢复数据减少损失.虽然 Elasticsearch 有良好的容灾性,但由于以下原因,其依然需要备份机制. 数据灾备.在整个集群无法正常工作时,可以及时从备份中恢复数据. 归档数据.随着数据的积累,比如日志类的数据,集群的存储压力会越来越大,不管是内存还是磁盘都要承担数据增多带来的压力,此时我们往往会选择只保留最近一段时间的数据,比如1个月,而将1个月之前的数据删除.如果你不想删除这些数据,以备后续有查