【7.1.1】ELK集群搭建 之 ES集群
写在前边
昨天晚上就已经完成这篇博客了,就是在测试这块是否正常跑起来,晚上没搞完,上班前把电脑关机带着,结果没保存!基本上昨天写的东西都丢了,好在博客园的图片url还在。
为了让大家都轻松些,我轻松写,你轻松看。打算把文章的篇幅缩小,拆分成多个部分,这样更新频率会提高,写起来看起来也不会那么累,也不会再出现一次性丢那么多稿的问题……
本文记述Elasticsearch集群部分,下边会有说明具体的结构
部署架构
整体图
本文部分结构图
node 1~3为集群的数据节点,同时竞争master,tribe-node为部落节点,负责Logstash与Kibana的连接
好处是无需指明master节点,不用多启动一个只负责协调的节点,减少资源浪费。
环境准备
- GNU/Debian Stretch 9.9 linux-4.19
- elasticsearch-7.1.1-linux-x86_64.tar.gz
本文为了模拟,使用Docker的centos7,文中不会出现Docker操作部分,与正常主机无异
开始搭建
1.root权限编辑/etc/security/limits.conf sudo vim /etc/security/limits.conf
添加如下内容:
* soft memlock unlimited
* hard memlock unlimited
其中
*
可替换为启动es的linux用户名
保存退出. 生效需要重启
2.[可选] 禁用swap分区 # echo "vm.swappiness=1" >> /etc/sysctl.conf
,配置性能大大提高
3.重启系统
不重启有些配置无法生效,启动es后报错依旧
4.为各主机添加用户和组
sudo groupadd elasticsearch #添加elasticsearch组
sudo usermod -aG elasticsearch 用户名 #添加elasticsearch用户
5.解压elasticsearch-7.1.1-linux-x86_64.tar.gz
,复制到各主机/home/elasticsearch
下
6.分别为每个主机的/home/elasticsearch/elasticsearch-7.1.1/config/elasticsearch.yml
内容最后追加配置
es-node-1
# ======================== Elasticsearch Configuration =========================
cluster.name: es-cluster
node.name: node-1
node.attr.rack: r1
bootstrap.memory_lock: true
http.port: 9200
network.host: 172.17.0.2
transport.tcp.port: 9300
discovery.seed_hosts: ["172.17.0.3:9300","172.17.0.4:9300","172.17.0.5:9300"]
cluster.initial_master_nodes: ["node-1", "node-2", "node-3"]
gateway.recover_after_nodes: 2
es-node-2
# ======================== Elasticsearch Configuration =========================
cluster.name: es-cluster
node.name: node-2
node.attr.rack: r1
bootstrap.memory_lock: true
http.port: 9200
network.host: 172.17.0.3
transport.tcp.port: 9300
discovery.seed_hosts: ["172.17.0.2:9300","172.17.0.4:9300","172.17.0.5:9300"]
cluster.initial_master_nodes: ["node-1", "node-2", "node-3"]
gateway.recover_after_nodes: 2
es-node-3
# ======================== Elasticsearch Configuration =========================
cluster.name: es-cluster
node.name: node-3
node.attr.rack: r1
bootstrap.memory_lock: true
http.port: 9200
network.host: 172.17.0.4
transport.tcp.port: 9300
discovery.seed_hosts: ["172.17.0.3:9300","172.17.0.2:9300","172.17.0.5:9300"]
cluster.initial_master_nodes: ["node-1", "node-2", "node-3"]
gateway.recover_after_nodes: 2
es-tribe-node
# ======================== Elasticsearch Configuration =========================
cluster.name: es-cluster
node.name: tribe-node
node.master: false
node.data: false
node.attr.rack: r1
bootstrap.memory_lock: true
http.port: 9200
network.host: 172.17.0.5
transport.tcp.port: 9300
discovery.seed_hosts: ["172.17.0.3:9300","172.17.0.4:9300","172.17.0.2:9300"]
cluster.initial_master_nodes: ["node-1", "node-2", "node-3"]
gateway.recover_after_nodes: 2
各参数说明放到文末,请自行参考
7.使用命令启动各节点ES_JAVA_OPTS="-Xms512m -Xmx512m" bin/elasticsearch
注意:
- 这里只能用非root用户,即文章最开始部分的创建的账号
- 本命令相对es的解压目录的路径
- JVM参数堆大小可自行调节
查看效果
这里使用浏览器查看
此图中的tribe-node节点不是mdi,是我之前忘加
node.data: false
的图,现在是i
可以看出node-3
是master节点,最近发现了个好用的elasticsearch查看工具cerebro
使用cerebro查看 cerebro github
图片看不清可以右键新标签页打开看大图
点nodes,查看各节点状态
还可以通过more来修改集群设置,功能好强大
elasticsearch.yml参数配置的解释
cluster.name: es-cluster #指定es集群名
node.name: xxxx #指定当前es节点名
node.data: false #非数据节点
node.master: false #非master节点
node.attr.rack: r1 #自定义的属性,这是官方文档中自带的
bootstrap.memory_lock: true #开启启动es时锁定内存
network.host: 172.17.0.5 #当前节点的ip地址
http.port: 9200 #设置当前节点占用的端口号,默认9200
discovery.seed_hosts: ["172.17.0.3:9300","172.17.0.4:9300","172.17.0.2:9300"] #启动当前es节点时会去这个ip列表中去发现其他节点,此处不需配置自己节点的ip,这里支持ip和ip:port形式,不加端口号默认使用ip:9300去发现节点
cluster.initial_master_nodes: ["node-1", "node-2", "node-3"] #可作为master节点初始的节点名称,tribe-node不在此列
gateway.recover_after_nodes: 2 #设置集群中N个节点启动时进行数据恢复,默认为1。可选
path.data: /path/to/path #数据保存目录
path.logs: /path/to/path #日志保存目录
transport.tcp.port: 9300 #设置集群节点发现的端口
这里的
discovery.seed_hosts
在之前几个版本中叫discovery.zen.ping.unicast.hosts
配置我发现个比较全的,只是有些现在已经不用了,还是很有借鉴价值, elasticsearch配置文件详解
遗留问题
- 最后就是本次测试的时候,没有考虑脑裂问题,如有需要请自行添加修改,比如用tribe-node当master,不存数据;又比如加一个
node.master: true
的节点,修改cluster.initial_master_nodes
只有这一个master节点 - 文中为了简单,没有的把数据存储目录挂载出去,生产环境请勿必挂载出去
本文系原创文章,禁止转载
【7.1.1】ELK集群搭建 之 ES集群的更多相关文章
- 搭建ELK日志分析平台(上)—— ELK介绍及搭建 Elasticsearch 分布式集群
笔记内容:搭建ELK日志分析平台(上)-- ELK介绍及搭建 Elasticsearch 分布式集群笔记日期:2018-03-02 27.1 ELK介绍 27.2 ELK安装准备工作 27.3 安装e ...
- mongodb 3.4 集群搭建升级版 五台集群
最新版mongodb推荐使用yaml语法来做配置,另外一些旧的配置在最新版本中已经不在生效,所以我们在生产实际搭建mongodb集群的时候做了一些改进.如果大家不熟悉什么是分片.副本集.仲裁者的话请先 ...
- mongodb3.6集群搭建:分片+副本集
mongodb是最常用的noSql数据库,在数据库排名中已经上升到了前五.这篇文章介绍如何搭建高可用的mongodb(分片+副本)集群. 在搭建集群之前,需要首先了解几个概念:路由,分片.副本集.配置 ...
- 分布式实时日志系统(一)环境搭建之 Jstorm 集群搭建过程/Jstorm集群一键安装部署
最近公司业务数据量越来越大,以前的基于消息队列的日志系统越来越难以满足目前的业务量,表现为消息积压,日志延迟,日志存储日期过短,所以,我们开始着手要重新设计这块,业界已经有了比较成熟的流程,即基于流式 ...
- 基于Dokcer搭建Redis集群搭建(主从集群)
最近陆陆续续有不少园友加我好友咨询 redis 集群搭建的问题,我觉得之前写的这篇 <基于Docker的Redis集群搭建> 文章一定是有问题了,所以我花了几分钟浏览之前的文章总结了下面几 ...
- Kubernetes集群搭建之Etcd集群配置篇
介绍 etcd 是一个分布式一致性k-v存储系统,可用于服务注册发现与共享配置,具有以下优点. 简单 : 相比于晦涩难懂的paxos算法,etcd基于相对简单且易实现的raft算法实现一致性,并通过g ...
- ELK+kafka+filebeat搭建生产ELFK集群
文章原文 ELK 架构介绍 集群服务版本 服务 版本 java 1.8.0_221 elasticsearch 7.10.1 filebeat 7.10.1 kibana 7.10.1 logstas ...
- ELK介绍及搭建 Elasticsearch 分布式集群
上:https://blog.51cto.com/zero01/2079879 下:https://blog.51cto.com/zero01/2082794
- MongoDB 3.6.9 集群搭建 - 切片+副本集
1. 环境准备 在Mongo的官网下载Linux版本安装包,然后解压到对应的目录下:由于资源有限,我们采用Replica Sets + Sharding方式来配置高可用.结构图如下所示: 这里我说明下 ...
随机推荐
- 【01】npm/cnpm安装
包安装相关信息: 1.node_modules文件夹 node_modules文件夹在nodejs中是一个特殊的文件夹,通过它的名字就可以看出,该文件夹也是用于存放node模块.如果一个模块表达式不是 ...
- 支付宝APP支付IOS手机端java后台版
版权声明:http://blog.csdn.net/u012131769/article/details/76639527#t8 转载:http://blog.csdn.net/u012131769/ ...
- Repeater控件实现一行显示多条数据 Asp.net
原文发布时间为:2009-05-11 -- 来源于本人的百度文章 [由搬家工具导入] asp.net中Repeater控件可以很方便显示数据库的数据,使用传统的Table来布局,只能实现 ...
- C 语言调用python 脚本函数
刚好几个月前做过,C++ 函数里面先加载python 脚本,再调用 里面的 def 函数,我把代码贴出来,你在main 函数里面,调用getDataByScript 函数,另外相同目录下放一个 fuc ...
- [wxPython学习]wx.CallAfter和wx.FutureCall
[wxPython学习]wx.CallAfter和wx.FutureCall 今天才学到的两个wxPython中的函数:wx.CallAfter和wx.FutureCall.这是两个无关的函数,但又多 ...
- Virtualbox 设置虚拟机上网并和主机互通(如ping等)
我的主机是Ubuntu12.04, 安装virtualbox虚拟了一个xp系统.把xp作为一个开发用的机器,需要上网,并且和主机以及虚拟机之间互相访问. 1. 在virtual设置界面,将xp系统的网 ...
- Glide图片加载回调
1.方法一:设置图片中监听 使用的是SimpleTarget类,他继承自BaseTarget,需要重写onResourceReady方法,onResourceReady方法表示加载完成后的回调,下面列 ...
- JS-JavaScript String 对象-string对象方法2: indexOf()、lastIndexOf()、charAt()
1.indexOf():可返回某个指定的字符串值在字符串中首次出现的位置. 1).语法:string.indexOf(searchvalue,start): searchvalue:必需.规定 ...
- HDU 6227.Rabbits-规律 (2017ACM/ICPC亚洲区沈阳站-重现赛(感谢东北大学))
Rabbits Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 262144/262144 K (Java/Others)Total S ...
- (2)Django-pycharm部署
pycharm 1.新建一个Django工程 2.部署 在pycharm下方的terminal终端中输入命令: python manage.py startapp app1 生成“app1”文件夹 3 ...