基于ElasticSearch多实例架构，实现资源合理分配、冷热数据分离

作者：“发颠的小狼”，欢迎转载与投稿

目录

▪ 用途

▪ 架构

▪ 192.168.1.51 elasticsearch-data部署双实例

▪ 192.168.1.52 elasticsearch-data部署双实例

▪ 192.168.1.53 elasticsearch-data部署双实例

▪ 测试

用途

前情提要：

▷ 在第一篇《EFK教程 - 快速入门指南》中，阐述了EFK的安装部署，其中ES的架构为三节点，即master、ingest、data角色同时部署在三台服务器上。

▷ 在第二篇《EFK教程 - ElasticSearch高性能高可用架构》中，阐述了EFK的data/ingest/master角色的用途及分别部署三节点，在实现性能最大化的同时保障高可用

前两篇文章，ES集群中只存在一个实例，而在本文中，将在一个集群中部署多个ES实例，来实现资源合理分配。例如data服务器存在SSD与SAS硬盘，可以将热数据存放到SSD，而冷数据存放到SAS，实现数据冷热分离。

在本文中，将为data服务器创建2个实例，分别基于SSD和基于SAS硬盘，将nginx的9月份索引放在SAS盘上，其它的全放在SSD盘上

架构

架构图

服务器配置

192.168.1.51 elasticsearch-data部署双实例

索引迁移（此步不能忽略）：将192.168.1.51上的索引放到其它2台data节点上

  1. curl -X PUT "192.168.1.31:9200/*/_settings?pretty" -H 'Content-Type: application/json' -d'
  2. {
  3.   "index.routing.allocation.include._ip": "192.168.1.52,192.168.1.53"
  4. }'

确认当前索引存储位置：确认所有索引不在192.168.1.51节点上

  1. curl "http://192.168.1.31:9200/_cat/shards?h=n"

停掉192.168.1.51的进程，修改目录结构及配置：请自行按SSD和SAS硬盘挂载好数据盘

  1. # 安装包下载和部署请参考第一篇《EFK教程 - 快速入门指南》
  2. cd /opt/software/
  3. tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz
  4. mv /opt/elasticsearch /opt/elasticsearch-SAS
  5. mv elasticsearch-7.3.2 /opt/
  6. mv /opt/elasticsearch-7.3.2 /opt/elasticsearch-SSD
  7. chown elasticsearch.elasticsearch /opt/elasticsearch-* -R
  8. rm -rf /data/SAS/*
  9. chown elasticsearch.elasticsearch /data/* -R
  10. mkdir -p /opt/logs/elasticsearch-SAS
  11. mkdir -p /opt/logs/elasticsearch-SSD
  12. chown elasticsearch.elasticsearch /opt/logs/* -R

SAS实例/opt/elasticsearch-SAS/config/elasticsearch.yml配置

  1. cluster.name: my-application
  2. node.name: 192.168.1.51-SAS
  3. path.data: /data/SAS
  4. path.logs: /opt/logs/elasticsearch-SAS
  5. network.host: 192.168.1.51
  7. http.port: 9200
  8. transport.port: 9300
  9. # discovery.seed_hosts和cluster.initial_master_nodes 一定要带上端口号，不然会走http.port和transport.port端口
  10. discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]
  11. cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]
  12. http.cors.enabled: true
  13. http.cors.allow-origin: "*"
  15. node.master: false
  16. node.ingest: false
  17. node.data: true
  19. # 本机只允行启2个实例
  20. node.max_local_storage_nodes: 2

SSD实例/opt/elasticsearch-SSD/config/elasticsearch.yml配置

  1. cluster.name: my-application
  2. node.name: 192.168.1.51-SSD
  3. path.data: /data/SSD
  4. path.logs: /opt/logs/elasticsearch-SSD
  5. network.host: 192.168.1.51
  7. http.port: 9201
  8. transport.port: 9301
  9. # discovery.seed_hosts和cluster.initial_master_nodes 一定要带上端口号，不然会走http.port和transport.port端口
  10. discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]
  11. cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]
  12. http.cors.enabled: true
  13. http.cors.allow-origin: "*"
  15. node.master: false
  16. node.ingest: false
  17. node.data: true
  19. # 本机只允行启2个实例
  20. node.max_local_storage_nodes: 2

SAS实例和SSD实例启动方式

  1. sudo -u elasticsearch /opt/elasticsearch-SAS/bin/elasticsearch
  2. sudo -u elasticsearch /opt/elasticsearch-SSD/bin/elasticsearch

确认SAS和SSD已启2实例

  1. curl "http://192.168.1.31:9200/_cat/nodes?v"

192.168.1.52 elasticsearch-data部署双实例

索引迁移（此步不能忽略）：将192.168.1.52上的索引放到其它2台data节点上

  1. curl -X PUT "192.168.1.31:9200/*/_settings?pretty" -H 'Content-Type: application/json' -d'
  2. {
  3.   "index.routing.allocation.include._ip": "192.168.1.51,192.168.1.53"
  4. }'

确认当前索引存储位置： 确认所有索引不在192.168.1.52节点上

  1. curl "http://192.168.1.31:9200/_cat/shards?h=n"

停掉192.168.1.52的进程，修改目录结构及配置：请自行按SSD和SAS硬盘挂载好数据盘

  1. # 安装包下载和部署请参考第一篇《EFK教程 - 快速入门指南》
  2. cd /opt/software/
  3. tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz
  4. mv /opt/elasticsearch /opt/elasticsearch-SAS
  5. mv elasticsearch-7.3.2 /opt/
  6. mv /opt/elasticsearch-7.3.2 /opt/elasticsearch-SSD
  7. chown elasticsearch.elasticsearch /opt/elasticsearch-* -R
  8. rm -rf /data/SAS/*
  9. chown elasticsearch.elasticsearch /data/* -R
  10. mkdir -p /opt/logs/elasticsearch-SAS
  11. mkdir -p /opt/logs/elasticsearch-SSD
  12. chown elasticsearch.elasticsearch /opt/logs/* -R

SAS实例/opt/elasticsearch-SAS/config/elasticsearch.yml配置

  1. cluster.name: my-application
  2. node.name: 192.168.1.52-SAS
  3. path.data: /data/SAS
  4. path.logs: /opt/logs/elasticsearch-SAS
  5. network.host: 192.168.1.52
  7. http.port: 9200
  8. transport.port: 9300
  9. # discovery.seed_hosts和cluster.initial_master_nodes 一定要带上端口号，不然会走http.port和transport.port端口
  10. discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]
  11. cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]
  12. http.cors.enabled: true
  13. http.cors.allow-origin: "*"
  15. node.master: false
  16. node.ingest: false
  17. node.data: true
  19. # 本机只允行启2个实例
  20. node.max_local_storage_nodes: 2

SSD实例/opt/elasticsearch-SSD/config/elasticsearch.yml配置

  1. cluster.name: my-application
  2. node.name: 192.168.1.52-SSD
  3. path.data: /data/SSD
  4. path.logs: /opt/logs/elasticsearch-SSD
  5. network.host: 192.168.1.52
  7. http.port: 9201
  8. transport.port: 9301
  9. # discovery.seed_hosts和cluster.initial_master_nodes 一定要带上端口号，不然会走http.port和transport.port端口
  10. discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]
  11. cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]
  12. http.cors.enabled: true
  13. http.cors.allow-origin: "*"
  15. node.master: false
  16. node.ingest: false
  17. node.data: true
  19. # 本机只允行启2个实例
  20. node.max_local_storage_nodes: 2

SAS实例和SSD实例启动方式

  1. sudo -u elasticsearch /opt/elasticsearch-SAS/bin/elasticsearch
  2. sudo -u elasticsearch /opt/elasticsearch-SSD/bin/elasticsearch

确认SAS和SSD已启2实例

  1. curl "http://192.168.1.31:9200/_cat/nodes?v"

192.168.1.53 elasticsearch-data部署双实例

索引迁移（此步不能忽略）：一定要做这步，将192.168.1.53上的索引放到其它2台data节点上

  1. curl -X PUT "192.168.1.31:9200/*/_settings?pretty" -H 'Content-Type: application/json' -d'
  2. {
  3.   "index.routing.allocation.include._ip": "192.168.1.51,192.168.1.52"
  4. }'

确认当前索引存储位置：确认所有索引不在192.168.1.52节点上

  1. curl "http://192.168.1.31:9200/_cat/shards?h=n"

停掉192.168.1.53的进程，修改目录结构及配置：请自行按SSD和SAS硬盘挂载好数据盘

  1. # 安装包下载和部署请参考第一篇《EFK教程 - 快速入门指南》
  2. cd /opt/software/
  3. tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz
  4. mv /opt/elasticsearch /opt/elasticsearch-SAS
  5. mv elasticsearch-7.3.2 /opt/
  6. mv /opt/elasticsearch-7.3.2 /opt/elasticsearch-SSD
  7. chown elasticsearch.elasticsearch /opt/elasticsearch-* -R
  8. rm -rf /data/SAS/*
  9. chown elasticsearch.elasticsearch /data/* -R
  10. mkdir -p /opt/logs/elasticsearch-SAS
  11. mkdir -p /opt/logs/elasticsearch-SSD
  12. chown elasticsearch.elasticsearch /opt/logs/* -R

SAS实例/opt/elasticsearch-SAS/config/elasticsearch.yml配置

  1. cluster.name: my-application
  2. node.name: 192.168.1.53-SAS
  3. path.data: /data/SAS
  4. path.logs: /opt/logs/elasticsearch-SAS
  5. network.host: 192.168.1.53
  7. http.port: 9200
  8. transport.port: 9300
  9. # discovery.seed_hosts和cluster.initial_master_nodes 一定要带上端口号，不然会走http.port和transport.port端口
  10. discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]
  11. cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]
  12. http.cors.enabled: true
  13. http.cors.allow-origin: "*"
  15. node.master: false
  16. node.ingest: false
  17. node.data: true
  19. # 本机只允行启2个实例
  20. node.max_local_storage_nodes: 2

SSD实例/opt/elasticsearch-SSD/config/elasticsearch.yml配置

  1. cluster.name: my-application
  2. node.name: 192.168.1.53-SSD
  3. path.data: /data/SSD
  4. path.logs: /opt/logs/elasticsearch-SSD
  5. network.host: 192.168.1.53
  7. http.port: 9201
  8. transport.port: 9301
  9. # discovery.seed_hosts和cluster.initial_master_nodes 一定要带上端口号，不然会走http.port和transport.port端口
  10. discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]
  11. cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]
  12. http.cors.enabled: true
  13. http.cors.allow-origin: "*"
  15. node.master: false
  16. node.ingest: false
  17. node.data: true
  19. # 本机只允行启2个实例
  20. node.max_local_storage_nodes: 2

SAS实例和SSD实例启动方式

  1. sudo -u elasticsearch /opt/elasticsearch-SAS/bin/elasticsearch
  2. sudo -u elasticsearch /opt/elasticsearch-SSD/bin/elasticsearch

确认SAS和SSD已启2实例

  1. curl "http://192.168.1.31:9200/_cat/nodes?v"

测试

将所有索引移到SSD硬盘上

  1. # 下面的参数会在后面的文章讲解，此处照抄即可
  2. curl -X PUT "192.168.1.31:9200/*/_settings?pretty" -H 'Content-Type: application/json' -d'
  3. {
  4.   "index.routing.allocation.include._host_ip": "",
  5.   "index.routing.allocation.include._host": "",
  6.   "index.routing.allocation.include._name": "",
  7.   "index.routing.allocation.include._ip": "",
  8.   "index.routing.allocation.require._name": "*-SSD"
  9. }'

确认所有索引全在SSD硬盘上

  1. curl "http://192.168.1.31:9200/_cat/shards?h=n"

将nginx9月份的日志索引迁移到SAS硬盘上

  1. curl -X PUT "192.168.1.31:9200/nginx_*_2019.09/_settings?pretty" -H 'Content-Type: application/json' -d'
  2. {
  3.   "index.routing.allocation.require._name": "*-SAS"
  4. }'

确认nginx9月份的日志索引迁移到SAS硬盘上

  1. curl "http://192.168.1.31:9200/_cat/shards"

EFK教程(3) - ElasticSearch冷热数据分离的更多相关文章

  1. EFK教程(4) - ElasticSearch集群TLS加密通讯

    基于TLS实现ElasticSearch集群加密通讯 作者:"发颠的小狼",欢迎转载 目录 ▪ 用途 ▪ ES节点信息 ▪ Step1. 关闭服务 ▪ Step2. 创建CA证书 ...

  2. ELK冷热数据分离

      通常情况下,我们使用ELK日志分析平台最常用的数据时间为1周或一个月(因业务场景不同,可能存在差别),时间比较长的数据没有特殊情况可能我们就没有必要再进行查询了,但是因业务需求或者作为凭证,这些日 ...

  3. elasticsearch 冷热数据的读写分离

    步骤 一.冷热分离集群配置 比如三个机器共六个node的es集群. 每个机器上各挂载一个ssd 和 一个sata.每个机器需要启动两个es进程.每个进程对应不同类型的磁盘. 关键配置: node.ma ...

  4. [elk]elasticsearch实现冷热数据分离

    本文以最新的elasticsearch-6.3.0.tar.gz为例,为了节约资源,本文将副本调为0, 无client角色 https://www.elastic.co/blog/hot-warm-a ...

  5. EFK教程(5) - ES集群开启用户认证

    基于ES内置及自定义用户实现kibana和filebeat的认证 作者:"发颠的小狼",欢迎转载 目录 ▪ 用途 ▪ 关闭服务 ▪ elasticsearch-修改elastics ...

  6. ElasticSearch实战系列十: ElasticSearch冷热分离架构

    前言 本文主要介绍ElasticSearch冷热分离架构以及实现. 冷热分离架构介绍 冷热分离是目前ES非常火的一个架构,它充分的利用的集群机器的优劣来实现资源的调度分配.ES集群的索引写入及查询速度 ...

  7. ElasticSearch——冷热(hot&warm)架构部署

    背景 最近在做订单数据存储到ElasticSearch,考虑到数据量比较大,采用冷热架构来存储,每月建立一个新索引,数据先写入到热索引,通过工具将3个月后的索引自动迁移到冷节点上. ElasticSe ...

  8. 分布式mysql 和 zk ( zookeeper )的分布式的区别 含冷热数据讨论

    zk ( zookeeper )的分布式仅仅指的是备份模式. 分布式 mysql 不仅仅要关注备份(从以往的半主,主主,到 paxos). (mysql 比 hbase 的region成熟, hdfs ...

  9. elasticsearch 索引数据多了怎么办，如何调优，部署 ?

    面试官:想了解大数据量的运维能力. 解答:索引数据的规划,应在前期做好规划,正所谓"设计先行,编码在后", 这样才能有效的避免突如其来的数据激增导致集群处理能力不足引发的线上客户 ...

随机推荐

  1. liunux中的标准输出。以及常用的 2>dev/null 命令的含义

    了解Linux怎样处理输入和输出是非常重要的.一旦我们了解其原理以后,我们就可以正确熟练地使用脚本把内容输出到正确的位置.同样我们也可以更好地理解输入重定向和输出重定向. 首先我们来了解一下linux ...

  2. javascript学习 first-day

    1.javascript是一种客户端语言,设计它的目的是在用户的机器上而不是服务器上执行任务. 1.1 javascript不允许写服务器机器上的语言:   1.2 Javascript不能关闭不是由 ...

  3. 五分钟后，你将学会在SpringBoot项目中如何集成CAT调用链

    买买买结算系统 一年一度的双十一购物狂欢节就要到了,又到剁手党们开始表演的时刻了.当我们把种草很久的商品放入购物车以后,点击"结算"按钮时,就来到了买买买必不可少的结算页面了.让我 ...

  4. 实用脚本awk

    非常实用的awk 有时候需要去服务器下载几个日志 日志太多,翻滚起来很麻烦,操作又慢又复杂. 可以使用这个下载最新的两个文件 ls -lt | head -3 | awk -F ' ' '{if(NR ...

  5. CentOS7.5模板机配置

    CentOS7.5模板机配置 标签(空格分隔): linux学习知识整理 Mr.Wei's notes! 人一定要有梦想,没有梦想那根咸鱼有什么区别: 即便自己成为了一条咸鱼,也要成为咸鱼里最咸的那一 ...

  6. 全方面讲解TensorFlow

    任何曾经试图在 Python 中只利用 NumPy 编写神经网络代码的人都知道那是多么麻烦.编写一个简单的一层前馈网络的代码尚且需要 40 多行代码,当增加层数时,编写代码将会更加困难,执行时间也会更 ...

  7. token和session

    什么是token? token是服务端生成的一串字符串,目的是作为客户端进行请求的一个令牌.当第一次登录后,服务器生成一个token(一串字符串),并将此token返回给客户端,此后页面接收到请求后, ...

  8. API gateway 之 kong 基本操作 （三）

    一.演示环境准备 1.nginx配置 [root@nginx conf.d]# pwd /etc/nginx/conf.d [root@nginx conf.d]# ls conf_bak kong_ ...

  9. 暑期集训20190807 游戏(game)

    [问题描述] 小A 拿到了 n 个数,

  10. 《吊打面试官》系列-Redis哨兵、持久化、主从、手撕LRU

    你知道的越多,你不知道的越多 点赞再看,养成习惯 前言 Redis在互联网技术存储方面使用如此广泛,几乎所有的后端技术面试官都要在Redis的使用和原理方面对小伙伴们进行360°的刁难.作为一个在互联 ...