注册前要注意配置文件加上 path.repo: ["/data/es_backup"] 然后重启es 不然会报错doesn't match any of the locations specified by path.repo because this setting is empty" 注册一个仓库,存放快照,记住,这里不是生成快照,只是注册一个仓库 curl -XPUT 'http://*.*.*.*:9200/_snapshot/my_backup' -H 'Conte

背景 发现有两个mongodb环境的数据库表索引不一致,另一个数据库有索引缺失,需要将一个数据库里的所有表索引导入到另一个数据库 也可用于单独备份数据库所有表的索引 写mongo shell的js脚本可参考官方文档https://docs.mongodb.com/manual/tutorial/write-scripts-for-the-mongo-shell 导出导入索引的js脚本 // 当前脚本名为exportImportIndexes.js let joinStr = "*_*"

创建备份 MongoDB 数据转储 为了在 MongoDB 中创建数据库备份,需要使用 mongodump 命令.该命令会将服务器上的所有数据都转储到 dump 目录中.你可以使用很多选项来限制转储的数据量,或者创建远程服务器备份. 格式 mongodump 命令的基本语法格式为: >mongodump 范例 开启 mongod 服务器.假设 mongod 服务器运行在 localhost 上,端口为 27017.在命令行上输入命令,在 MongoDB 实例的 bin 目录下输入 mongodu

最近开始大面积使用ES,很多地方都是知其然不知其所以然,特地翻看了很多资料和大牛的文档,简单汇总一篇.内容多为摘抄,说是深入其实也是一点浅尝辄止的理解.希望大家领会精神. 首先学习要从官方开始地址如下. es官网原文:https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-index_.html#index-refresh 索引(Index) ES将数据存储于一个或多个索引中,索引是具有类似特性的文档的集合.类比传

参考文档:https://www.elastic.co/guide/en/elasticsearch/reference/5.1/modules-snapshots.html 备份数据之前,要创建一个仓库来保存数据,仓库的类型支持Shared filesystem, Amazon S3, HDFS和Azure Cloud.fs仓库示例:需要在elasticsearch.yml添加如下配置:path.repo: ["/data1/esdata/backup"]注意:这里fs是Shared

备份和还原,为什么elasticsearch还需要备份呢,明明可以设置副本做到高可用,那怕啥呢? 其实在实际的生产环境中,一般最终的结果数据都是要备份的,这样的做的目的,就是能够以最快的速度还原数据,找回数据.明明mysql可以有主从,es有副本,备份干啥呢?不就是为了万无一失吗,生产环境有时候压力会很大,像mysql频繁的插入和删除数据也会导致binlog日志同步延迟,有时候就不一定能够做到同步,还有就是误操作删除了一些有用的数据呢,对吧,这个叫做有备无患.es也同样,万一一波操作猛如虎,一把

Percona Xtrabackup可以说是一个完美的数据备份工具.特别是当数据库的容量达到了一定数量级的时候且存在单表达到几十G的数据量, 很难容忍一些逻辑备份的漫长时间.如单个数据库约200G,单表最大为120G,mysqldump逻辑备份的时间长达20多小时.除此之外,也不好验证逻辑备份的可用性与数据的一致性.去年就层简单使用过了Xtrabackup,但是一直没有用于生成环境.最近的一个集群需要搭建一主多从,数量约130G,也不能影响主库的正常工作,Xtrabackup作为了首选的备份工具

Xtrabackup每周增量备份脚本程序(含附件)   程序描述 本程序是一个对percona xtrabackup使用的脚本,它完成了MySQL每周的备份. 程序结构 此程序包含了4个目录(bin.conf.log.var): bin:存放运行备份的主脚本程序(*.sh). conf:存放着程序运行的配置文件变量(*.conf). log:存放的是备份时xtrabackup的输出内容(*.log). var:存放了索引文件(*.index)和错误记录文件(*.err). *.index:每当备

Percona XtraBackup 安装介绍篇已经对Percona XtraBackup的功能和安装做了比较详细的介绍,那么本篇我们直接进入主题,如何使用XtraBackup做备份.还原,下面主要介绍XtraBackup备份还原操作的细节和场景,疏漏之处难免存在,如有不足,敬请指出.本篇暂时不做原理介绍,后续篇章"Percona XtraBackup 原理分析篇"再做介绍.   XtraBackup完整备份   备份的权限 使用XtraBack做备份,需要连接到数据库服务器并在服务器

1.基本概念 1)Elastic和RDMS对比 RDMS Elastic 数据库database 索引index 表table 类型type 行row 文档document 列column 字段field 表结构scheme 映射Mapping select * from…… GET http:// update table set  PUT http:// delete  DELETE http:// 2.核心概念 1)集群 2)节点 3)索引 4)类型 5)文档 6)分片:超大文件存储硬盘不

常见的数据库都会提供备份的机制,以解决在数据库无法使用的情况下,可以开启新的实例,然后通过备份来恢复数据减少损失.虽然 Elasticsearch 有良好的容灾性,但由于以下原因,其依然需要备份机制. 数据灾备.在整个集群无法正常工作时,可以及时从备份中恢复数据. 归档数据.随着数据的积累,比如日志类的数据,集群的存储压力会越来越大,不管是内存还是磁盘都要承担数据增多带来的压力,此时我们往往会选择只保留最近一段时间的数据,比如1个月,而将1个月之前的数据删除.如果你不想删除这些数据,以备后续有查

前言 elasticsearch官方并没有提供合适的备份工具,然而生产场景中备份却是的确需要的. 本文介绍了使用自己写的php脚本以及第三方工具来进行索引的备份,恢复以及删除等操作. 全量备份 elasticdump --input  http://127.0.0.1:9200/logstash-postback --output  logstash-postback_2017.01.17.json --limit 1000   elasticdump安装方法在下面 恢复 命令例子 elasti

问题描写叙述 随着应用的不断升级,索引中的类型也会越来越多,新添加的类型中势必会使用到一些自己定义的Analyzer.可是通过_settings端点的更新API不能直接在已经存在的索引上使用. 在sense中进行更新时会抛出异常: PUT /symbol { "settings": { "analysis": { "filter": { "edgengram": { "type": "edgeNG

非原创,只是留作自己查询使用,转自http://keenwon.com/1393.html Elasticsearch的备份和恢复 备份 Elasticsearch的一大特点就是使用简单,api也比较强大,备份也不例外.简单来说,备份分两步:1.创建一个仓库.2.备份指定索引.下面一步一步来: 1.创建一个仓库(creating the repository) 假如共享文件存储介质挂载在/mount/backups/my_backup目录下,需要在elasticsearch.yml添加如下配置:

该文档适用于备份使用NAS的仓库类型.所有Elasticsearch集群中的服务通过挂载NAS目录来存放备份快照数据. 1.创建备份仓库 创建一个仓库名称:backup curl -H "Content-Type: application/json" -XPUT http://10.10.18.10:9200/_snapshot/backup -d ' { "type":"fs", "settings":{"loca

vim /etc/elasticsearch/elasticsearch.yml path.repo: ["/data/backups/es_backup"] #备份目录,根据自己情况进行填写 systemctl restart elasticsearch.service mkdir -pv /data/backups/es_backup /data/backups/es_backup chown elasticsearch:elasticsearch /data/backups/es

文/朱季谦 目录 一.Elasticdump工具介绍 二.Elasticdump工具安装 三.Elasticdump工具使用 最近在开发当中做了一些涉及到Elasticsearch映射结构及数据导出导入的工作,怕以后会把这过程忘记,可谓好记性不如烂笔头,故而记录成一篇博文. 玩Elasticsearch的童鞋大概都会遇到这样一个问题,如何快速地将Elasticsearch里的索引结构映射和对应数据快速地进行备份和数据还原. 这时,就可以通过Elasticsearch的导入导出工具Elasticd

起因 elastic做文本索引,match_all目标索引超过10000条时,出错 { "error": { "root_cause": [ { "type": "illegal_argument_exception", "reason": "Result window is too large, from + size must be less than or equal to: [10000]

前言: 无论使用哪种存储软件,定期的备份数据都是重中之重,在使用ElasticSearch的时候,随着数据日益积累,存放es数据的磁盘空间也捉襟见肘, 此时对于业务功能使用不到的索引数据,又不能直接删除,将它迁移到线下数据盘存储就变得十分必要. 下面就记录一下在docker中部署的单节点以月份索引的es数据的备份和迁移过程. 一:docker安装ES 1:docker的安装:Docker-常用基建的安装与部署 2:下载es镜像: docker pull elasticsearch:5.6.8 3

Mongodb 备份与还原 Mongodb 备份与还原 文件快照 快照备份 快照直接还原 从压缩文件还原 复制文件 备份文件 从文件还原 mongodump mongodump备份 mongodump还原 问题及解决方法 文件快照 利用Linux LVM 逻辑卷管理,制作快照后,将快照映像挂载到文件系统上并从快照复制数据.生成的备份包含所有数据的完整副本,从而达到备份数据库. 注意:Mongodb数据与日志目录需要启动在逻辑卷挂载到目录中 快照备份 db.fsyncLock(); # 锁定数据库