ELK5+redhat7.4配置elasticsearch集群
ELK介绍
ELK是三个开源软件的缩写,即elasticsearch、logstack、kibana。
Elasticsearch:开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。(搜索引擎)
Logstash:主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。(日志搜集器)
Kibana :一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。(可视化)
利用ELK可替代原始的MySQL/Oracle + ECharts方案,极大减少人工成本。
背景
elasticsearch-5.5.2 rpm 包
5台机器搭建,IP分别为:
192.168.33.232 node4
192.168.33.233 node5
192.168.33.235 node7
192.168.33.236 node8
192.168.33.230 node11
其中 node4为主节点,结构为1主5从。
硬件:4C6G
软件:redhat7.4 jdk1.8.0_144
1. 系统设置(5台机器统一)
sed -e '$a vm.max_map_count = 262144' -i /etc/sysctl.conf
sysctl -p
echo "ulimit -SHn 1048576" >> /etc/rc.local
sed -e '$a DefaultLimitCORE=infinity\nDefaultLimitNOFILE=1048576\nDefaultLimitNPROC=1048576' -i /etc/systemd/system.conf
cat >> /etc/security/limits.conf << EOF
* soft nofile 1048576
* hard nofile 1048576
* soft nproc 1048576
* hard nproc 1048576
EOF
sed -i 's/4096/1048576/' /etc/security/limits.d/20-nproc.conf
sed -e '/root soft nproc unlimited/a\* soft nofile 1048576\n* hard nofile 1048576' -i /etc/security/limits.d/20-nproc.conf
- 修改elasticsearch.yml文件
192.168.33.232 node4
#-----
cluster.name: es-application
node.name: node-1 #其他节点用另外的名称
network.host: 192.168.33.232 #其他节点写上对应的ip
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true #其他节点改成false
node.data: true
discovery.zen.ping.unicast.hosts: ["192.168.33.232", "192.168.33.233","192.168.33.235","192.168.33.236","192.168.33.230"]#其他节点也写这个ip
bootstrap.system_call_filter: false
#----
192.168.33.233 node5
#-----
cluster.name: es-application
node.name: node-2 #其他节点用另外的名称
network.host: 192.168.33.233 #其他节点写上对应的ip
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true #其他节点改成false
node.data: true
discovery.zen.ping.unicast.hosts: ["192.168.33.232", "192.168.33.233","192.168.33.235","192.168.33.236","192.168.33.230"]#其他节点也写这个ip
bootstrap.system_call_filter: false
#----
192.168.33.235 node7
#-----
cluster.name: es-application
node.name: node-3 #其他节点用另外的名称
network.host: 192.168.33.235 #其他节点写上对应的ip
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true #其他节点改成false
node.data: true
discovery.zen.ping.unicast.hosts: ["192.168.33.232", "192.168.33.233","192.168.33.235","192.168.33.236","192.168.33.230"]#其他节点也写这个ip
bootstrap.system_call_filter: false
#----
192.168.33.236 node8
#-----
cluster.name: es-application
node.name: node-4 #其他节点用另外的名称
network.host: 192.168.33.236 #其他节点写上对应的ip
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true #其他节点改成false
node.data: true
discovery.zen.ping.unicast.hosts: ["192.168.33.232", "192.168.33.233","192.168.33.235","192.168.33.236","192.168.33.230"]#其他节点也写这个ip
bootstrap.system_call_filter: false
#----
192.168.33.230 node11
#-----
cluster.name: es-application
node.name: node-5 #其他节点用另外的名称
network.host: 192.168.33.230 #其他节点写上对应的ip
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true #其他节点改成false
node.data: true
discovery.zen.ping.unicast.hosts: ["192.168.33.232", "192.168.33.233","192.168.33.235","192.168.33.236","192.168.33.230"]#其他节点也写这个ip
bootstrap.system_call_filter: false
#----
至此,超级简单版本的elasticsearch1主5从的分布式集群搭建完毕。
测试:
-->查看集群监看状态
curl '192.168.33.232:9200/_cat/health?v'
-->查看集群节点
curl '192.168.33.232:9200/_cat/nodes?v'
-->查看所有索引
curl '192.168.33.232:9200/_cat/indices?v'
界面:
ELK5+redhat7.4配置elasticsearch集群的更多相关文章
- 配置 Elasticsearch 集群
Elasticsearch 的安装非常简单,笔者在前文<单机部署 ELK>中已经介绍过了,本文主要介绍集群的配置,并解释常见配置参数的含义. 要配置集群,最简单的情况下,设置下面几个参数就 ...
- ES2:ElasticSearch 集群配置
ElasticSearch共有两个配置文件,都位于config目录下,分别是elasticsearch.yml和logging.yml,其中,elasticsearch.yml 用来配置Elastic ...
- Elasticsearch集群搭建教程及生产环境配置
Elasticsearch 是一个极其强大的搜索和分析引擎,其强大的部分在于能够对其进行扩展以获得更好的性能和稳定性. 本教程将提供有关如何设置 Elasticsearch 集群的一些信息,并将添加一 ...
- 我的ElasticSearch集群部署总结--大数据搜索引擎你不得不知
摘要:世上有三类书籍:1.介绍知识,2.阐述理论,3.工具书:世间也存在两类知识:1.技术,2.思想.以下是我在部署ElasticSearch集群时的经验总结,它们大体属于第一类知识“techknow ...
- 01篇ELK日志系统——升级版集群之elasticsearch集群的搭建
[ 前言:以前搭了个简单的ELK日志系统,以我个人的感觉来说,ELK日志系统还是非常好用的.以前没有弄这个ELK日志系统的时候,线上的项目出了bug,报错了,要定位错误是什么,错误出现在哪个java代 ...
- Ubuntu 14.04中Elasticsearch集群配置
Ubuntu 14.04中Elasticsearch集群配置 前言:本文可用于elasticsearch集群搭建参考.细分为elasticsearch.yml配置和系统配置 达到的目的:各台机器配置成 ...
- Elasticsearch集群配置以及REST API使用
ES安装与启动 在官网下载压缩包,解压后直接运行bin目录下的.bat文件即可.下载地址戳这里. ES配置集群 Elasticsearch配置集群很简单,只要配置一个集群的 名称 ,ES就会自动寻找并 ...
- elasticsearch 集群配置
2015-10-10 09:56 by 轩脉刃, 999 阅读, 1 评论, 收藏, 编辑 elasticsearch 集群 搭建elasticsearch的集群 现在假设我们有3台es机器,想要把他 ...
- Elasticsearch集群节点配置详解
注意:如果是在局域网中运行elasticsearch集群也是很简单的,只要cluster.name设置一致,并且机器在同一网段下,启动的es会自动发现对方,组成集群. 2.elasticsearch- ...
随机推荐
- js知识点——1
onload 事件会在页面或图像加载完成后立即发生. document.write("内容")将在加载页面时输出 内容可以是什么,可以是一个标签,它输出的文件不能自动换行: < ...
- Python 入门之 内置模块 -- os模块
Python 入门之 内置模块 -- os模块 1.os os是和操作系统做交互,给操作发指令 os模块是与操作系统交互的一个接口,它提供的功能多与工作目录,路径,文件等相关 (1)工作路径 prin ...
- 如何创建并发布一个 vue 组件
步骤 创建 vue 的脚手架 npm install -g @vue/cli vue init webpack 绑定 git 项目 cd existing_folder git init git re ...
- [.net core]3. Project 文件简介
这是一个C#的空的.net core web app .net frame work的.csproj 要编辑的话,得先卸载项目, .net core的.csproje不必要, .csproj 的文件 ...
- SVM支持向量机(1)
一.SVM模型 1.函数间隔与几何间隔,哪一条线是最好的? (1)公式化问题. 分类模型:当里面的值小于0的时候就是-1,当里面的值是大于等于0的时候就是1 函数间隔:前面乘以y(i),是为了保持数值 ...
- 列举java语言中反射的常用方法
package review;/*12:43 2019/7/21*/ import model.AnotherClass; import model.OneClassMore; import mode ...
- Android多渠道打包且根据不同产品打包不同的assets资源目录
因为项目中存在多种环境,既要区分bebug与release版本,release又要区分测试环境与生产上线环境,每次打包都得浪费不少的等待时间:并且哪个版本有问题还得去切换环境一个个打包,关键是还得牢记 ...
- Qt Creator 4.9 发布
Qt Creator 4.8中引入了语言服务器协议支持,允许Qt Creator通过利用此标准轻松支持更多编程语言,使IDE和其他编程工具可以轻松地获得通用编程语言支持的交换格式.使用Qt Creat ...
- JavaScript双重排序
前言:正好这两天正在做一个功能,需要在前台进行排序展示,因为是动态的,后台排序不能搞定,只能咋前台通过JS来进行排序展示,所以我们用sort()来解决这个问题,sort不仅能给数组,对象,集合进行简单 ...
- 跨域 (1) jsonp 跨域
jsonp 的例子 <!DOCTYPE html> <html lang="en"> <head> <meta charset=" ...