elasticsearch集群中一次删除kibana索引引发的血案

1.问题发生的过程：
早上的时候有某个索引无法看到报表数据，于是就点该报表多次，估计集群被点挂了，报错：Elasticsearch is still initializing the kibana index

当时有点慌估计是昏了头，直接根据baidu某篇博文的提示进行了操作
curl -XDELETE http://localhost:9200/.kibana

这下悲剧发生了，kibana控制台没有东西了，业务部门无法查询报表。。。

后面在http://stackoverflow.com/上搜索到了老外的解释，会丢失所有的配置、索引、图形和报表：

the curl -XDELETE http://localhost:9200/.kibana command works fine, however you lost all your kibana' settings (indexes, graphs, dashboards)

2.解决思路
之前有5个节点部署在阿里云其中有两个节点因为磁盘空间不足扩容，扩容前做了镜像，抱着试试的态度新买服务器挂接上之前的镜像，
找到之前的操作记录：

发现 .kibana索引的uuid为E9kS4THKREKR36IuPICPIA，大小大约有179k，如下

# curl '10.26.241.237:9200/_cat/indices?v'

health status index               uuid                   pri rep docs.count docs.deleted store.size pri.store.size

green  open   .kibana             E9kS4THKREKR36IuPICPIA   1   1         41            5    179.3kb         89.6kb

green  open   voice:user:login    VMpfcIiFS9OixB-J7-ZLWw   5   1  695465821            0    323.4gb        162.3gb

green  open   voice:user:logout   W8MAAbp7RO6ZYYx7FcfcVA   5   1  686515590            0      279gb        138.3gb

green  open   push:task:result    qWs38E_eQbCicgB312PE8w   5   1   91340303            0     22.1gb         10.9gb

yellow open   push:user:req       wqJi6jTFT-a0ZN-57Z63Yw   5   1 8476340396            0      5.4tb          3.4tb

green  open   voice:mic:used      pdZZr8mdSwirBGSAYTvIwg   5   1    8925004            0      3.5gb          1.7gb

green  open   user:register       LZ_DwUpDRAyc0gfsFlCdGA   5   1   64626999            0     22.4gb         11.1gb

green  open   push:user:app       0ivr0VubTCG5mFM0yoq34w   5   1  138403810            0    305.4gb        152.2gb

green  open   voice:send:text     rrS8Kd4nRlim7wEOMqJ1wA   5   1      27960            0     21.6mb         10.8mb

green  open   voice:mic:lose      iUhw676hTTSsyJnv3K0s6Q   5   1    2847952            0      1.7gb          902mb

green  open   user:login          C-qSmB0ST2CrMkb7snrbKQ   5   1 2623263965            0    606.4gb        304.1gb

green  open   push:user:task      7XPBJeBWRbas5t1XwiKt2Q   5   1   53518658            0       21gb         10.5gb

green  open   speech:voice:result 7wISjRCeQZSY4SsCNunh8w   5   1  650234559            0      578gb        289.6gb

green  open   script:user:info    qTZEpjkmRiSyyL1WBpMS5g   5   1          0            0      1.4kb           766b

green  open   speech:voice:upload VBrFZq8QScOFYN1jsCkN4A   5   1 4469453923            0      1.9tb        973.5gb

发现虽然有kibana的索引但是只有在es的数据目录/data/es/data/nodes/0/indices下查找，发现只有不到30k明显不是我们需要的数据

将这台服务器退掉，重新再次购买了一台服务器，挂载上另外一台之前保存的镜像，发现此时的大小为212k左右，和没有出问题之前差不多大小，估计这个就是我们需要的东西了，有点运气成分在吧，5台服务器每个索引有两份，直接将这个数据拷贝到目标服务器发现不行(直接就被es删除掉了)
于是在网上搜索到了elasticdump工具，可以通过这个工具将索引导出然后倒入到目标服务器

原服务器：10.30.138.62
目标服务器：10.26.241.237

3.安装elasticdump工具

yum install epel-release -y
  
yum install nodejs -y
  
yum install nodejs npm -y
  
npm install elasticdump -y

4.导出具体配置信息

# node_modules/elasticdump/bin/elasticdump --ignore-errors=true  --scrollTime=120m  --bulk=true --input=http://10.30.138.62:9200/.kibana   --output=data.json  --type=data
Fri, 10 Mar 2017 08:17:45 GMT | starting dump
Fri, 10 Mar 2017 08:17:45 GMT | got 40 objects from source elasticsearch (offset: 0)
Fri, 10 Mar 2017 08:17:45 GMT | sent 40 objects to destination file, wrote 40
Fri, 10 Mar 2017 08:17:45 GMT | got 0 objects from source elasticsearch (offset: 40)
Fri, 10 Mar 2017 08:17:45 GMT | Total Writes: 40
Fri, 10 Mar 2017 08:17:45 GMT | dump complete

导出mapping信息
# /root/node_modules/elasticdump/bin/elasticdump --ignore-errors=true  --scrollTime=120m  --bulk=true --input=http://10.30.138.62:9200/.kibana   --output=mapping.json  --type=mapping
Fri, 10 Mar 2017 08:19:11 GMT | starting dump
Fri, 10 Mar 2017 08:19:11 GMT | got 1 objects from source elasticsearch (offset: 0)
Fri, 10 Mar 2017 08:19:11 GMT | sent 1 objects to destination file, wrote 1
Fri, 10 Mar 2017 08:19:11 GMT | got 0 objects from source elasticsearch (offset: 1)
Fri, 10 Mar 2017 08:19:11 GMT | Total Writes: 1
Fri, 10 Mar 2017 08:19:11 GMT | dump complete

5.恢复到目标服务器中

直接在安装了elasticdump工具的服务器上操作，节省在目标服务器上安装工具的时间

导入mapping
# node_modules/elasticdump/bin/elasticdump --input=mapping.json  --output=http://10.26.241.237:9200/.kibana --type=mapping
Fri, 10 Mar 2017 08:23:08 GMT | starting dump
Fri, 10 Mar 2017 08:23:08 GMT | got 1 objects from source file (offset: 0)
Fri, 10 Mar 2017 08:23:08 GMT | sent 1 objects to destination elasticsearch, wrote 7
Fri, 10 Mar 2017 08:23:08 GMT | got 0 objects from source file (offset: 1)
Fri, 10 Mar 2017 08:23:08 GMT | Total Writes: 7
Fri, 10 Mar 2017 08:23:08 GMT | dump complete

导入具体的kibana配置信息

# node_modules/elasticdump/bin/elasticdump --input=data.json  --output=http://10.26.241.237:9200/.kibana --type=data
Fri, 10 Mar 2017 08:23:25 GMT | starting dump
Fri, 10 Mar 2017 08:23:25 GMT | got 40 objects from source file (offset: 0)
Fri, 10 Mar 2017 08:23:25 GMT | sent 40 objects to destination elasticsearch, wrote 40
Fri, 10 Mar 2017 08:23:25 GMT | got 0 objects from source file (offset: 40)
Fri, 10 Mar 2017 08:23:25 GMT | Total Writes: 40
Fri, 10 Mar 2017 08:23:25 GMT | dump complete

总结，通过elasicdump可以方便的备份kibana配置，或是迁移

操作之前一定要测试或者明白操作的结果，不能乱操作，特别是生产环境和自己慌乱的情况下
记录是个好习惯
阿里云的镜像功能不错，可以使用它做镜像策略，例如每天备份一次，数据量大可以2天备份一次，以防万一

elasticsearch5.0.1集群一次误删除kibana索引引发的血案的更多相关文章

  1. elasticsearch5.0.1集群排错的几个思路总结

    1.首先查看集群整体健康状态 # curl -XGET http://10.27.35.94:9200/_cluster/health?pretty { "cluster_name" ...

  2. elasticsearch5.0.1集群索引分片丢失的处理

    elasticdump命令安装 yum install npm npm install elasticdump -g 命令安装完毕,可以测试. 可能会报出nodejs的版本之类的错误,你需要升级一下版 ...

  3. ElasticSearch-5.3.1集群环境搭建，安装ElasticSearch-head插件，安装错误解决

    说起来甚是惭愧,博主在写这篇文章的时候,还没有系统性的学习一下ES,只知道可以拿来做全文检索,功能很牛逼,但是接到了任务不想做也不行, leader让我搭建一下分布式的ES集群环境,用来支持企业信用数 ...

  4. Redis-4.0.11集群配置

    版本:redis-3.0.5 redis-3.2.0  redis-3.2.9  redis-4.0.11 参考:http://redis.io/topics/cluster-tutorial. 集群 ...

  5. Redis-5.0.5集群配置

    版本:redis-5.0.5 参考:http://redis.io/topics/cluster-tutorial. 集群部署交互式命令行工具:https://github.com/eyjian/re ...

  6. Redis 3.0 Cluster集群配置

    Redis 3.0 Cluster集群配置 安装环境依赖 安装gcc:yum install gcc 安装zlib:yum install zib 安装ruby:yum install ruby 安装 ...

  7. 分布式存储 CentOS6.5虚拟机环境搭建FastDFS-5.0.5集群（转载-2）

    原文:http://www.cnblogs.com/PurpleDream/p/4510279.html 分布式存储 CentOS6.5虚拟机环境搭建FastDFS-5.0.5集群 前言:       ...

  8. 菜鸟玩云计算之十九：Hadoop 2.5.0 HA 集群安装第2章

    菜鸟玩云计算之十九:Hadoop 2.5.0 HA 集群安装第2章 cheungmine, 2014-10-26 在上一章中,我们准备好了计算机和软件.本章开始部署hadoop 高可用集群. 2 部署 ...

  9. 菜鸟玩云计算之十八：Hadoop 2.5.0 HA 集群安装第1章

    菜鸟玩云计算之十八:Hadoop 2.5.0 HA 集群安装第1章 cheungmine, 2014-10-25 0 引言 在生产环境上安装Hadoop高可用集群一直是一个需要极度耐心和体力的细致工作 ...

随机推荐

  1. 离线安装.NET 3.5

    最近为系统新增一个功能,写完以后进行部署,发现在IIS7上部署没有问题,但是IIS6上部署会出现未知情况,具体表现为取不到数据,估计是IIS6和IIS7直接的差异导致程序异常退出. 为了重现异常,在本 ...

  2. [luogu2114][起床困难综合症]

    luogu2114 思路 因为位运算对于每一位是独立的,所以对每一位都对这n个数进行操作,然后观察最后得出的是1还是0.并且保证每一位拼起来之后要比m小. 代码 #include<cstdio& ...

  3. 解决FLASH遮住层的问题 IE,Firefox都适用！

    <object classid="clsid:D27CDB6E-AE6D-11cf-96B8-444553540000" codebase="http://down ...

  4. TCHAR和CHAR类型的互转

    http://blog.csdn.net/ahjxly/article/details/8494217 http://blog.csdn.net/b_h_l/article/details/75815 ...

  5. Python基础学习（六）

    前几天一直在练手廖雪峰老师的python课程,接下来继续学习,由于面向对象编程这一课相对理论便不在此练手,直接上手面向对象高级编程. 一.使用 __slots__ 一般情况下一个class是可以绑定一 ...

  6. Linux用户密码策略

    使用Linux快三年了,从未想过Linux用户密码策略,从未把一本Linux的书从头看到尾(上学时的教材除外),故不知书上有无介绍,直到最近参加公司的信息安全稽核会议后才开始考虑Linux用户密码策略 ...

  7. 在同一个类中，一个方法调用另外一个有注解（比如@Async，@Transational）的方法，注解失效的原因和解决方法

    参考原贴地址:https://blog.csdn.net/clementad/article/details/47339519 在同一个类中,一个方法调用另外一个有注解(比如@Async,@Trans ...

  8. Frame size of 257 MB larger than max allowed 100 MB

    ActiveMQ有时会报类似Frame size of 257 MB larger than max allowed 100 MB的错误,意思是单条消息超过了预设的最大值,在配置文件中 <tra ...

  9. cdqz2017-test10-加帕里图书馆（区间DP & 简单容斥）

    给定一个由小写字母组成的字符串,输出有多少重复的回文子序列 #include<cstdio> #include<cstring> using namespace std; #d ...

  10. PHP7 学习笔记（五）安装event扩展（libevent）

    一.描述:有效安排I/O,时间和信号的扩展 使用可用于特定平台的最佳I/O通知机制的事件,是PHP基础设施的libevent端口. 二.下载地址:http://pecl.php.net/package ...