ELK介绍

ELK是三个开源软件的缩写,即elasticsearch、logstack、kibana。

Elasticsearch:开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。(搜索引擎)

Logstash:主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。(日志搜集器)

Kibana :一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。(可视化)

利用ELK可替代原始的MySQL/Oracle + ECharts方案,极大减少人工成本。

背景

elasticsearch-5.5.2 rpm 包

5台机器搭建,IP分别为:

192.168.33.232   node4

192.168.33.233   node5

192.168.33.235   node7

192.168.33.236   node8

192.168.33.230   node11

其中 node4为主节点,结构为1主5从。

硬件:4C6G

软件:redhat7.4 jdk1.8.0_144

1. 系统设置(5台机器统一)

sed -e '$a vm.max_map_count = 262144' -i /etc/sysctl.conf

sysctl -p

echo "ulimit -SHn 1048576" >> /etc/rc.local

sed -e '$a DefaultLimitCORE=infinity\nDefaultLimitNOFILE=1048576\nDefaultLimitNPROC=1048576' -i /etc/systemd/system.conf

cat >> /etc/security/limits.conf << EOF

*           soft   nofile       1048576

*           hard   nofile       1048576

*           soft   nproc        1048576

*           hard   nproc        1048576

EOF

sed -i 's/4096/1048576/' /etc/security/limits.d/20-nproc.conf

sed -e '/root       soft    nproc     unlimited/a\*           soft   nofile       1048576\n*           hard   nofile       1048576' -i /etc/security/limits.d/20-nproc.conf

  1. 修改elasticsearch.yml文件

192.168.33.232   node4

#-----

cluster.name: es-application

node.name: node-1 #其他节点用另外的名称

network.host: 192.168.33.232 #其他节点写上对应的ip

http.port: 9200

http.cors.enabled: true

http.cors.allow-origin: "*"

node.master: true #其他节点改成false

node.data: true

discovery.zen.ping.unicast.hosts: ["192.168.33.232", "192.168.33.233","192.168.33.235","192.168.33.236","192.168.33.230"]#其他节点也写这个ip

bootstrap.system_call_filter: false

#----

192.168.33.233   node5

#-----

cluster.name: es-application

node.name: node-2 #其他节点用另外的名称

network.host: 192.168.33.233 #其他节点写上对应的ip

http.port: 9200

http.cors.enabled: true

http.cors.allow-origin: "*"

node.master: true #其他节点改成false

node.data: true

discovery.zen.ping.unicast.hosts: ["192.168.33.232", "192.168.33.233","192.168.33.235","192.168.33.236","192.168.33.230"]#其他节点也写这个ip

bootstrap.system_call_filter: false

#----

192.168.33.235   node7

#-----

cluster.name: es-application

node.name: node-3 #其他节点用另外的名称

network.host: 192.168.33.235 #其他节点写上对应的ip

http.port: 9200

http.cors.enabled: true

http.cors.allow-origin: "*"

node.master: true #其他节点改成false

node.data: true

discovery.zen.ping.unicast.hosts: ["192.168.33.232", "192.168.33.233","192.168.33.235","192.168.33.236","192.168.33.230"]#其他节点也写这个ip

bootstrap.system_call_filter: false

#----

192.168.33.236   node8

#-----

cluster.name: es-application

node.name: node-4 #其他节点用另外的名称

network.host: 192.168.33.236 #其他节点写上对应的ip

http.port: 9200

http.cors.enabled: true

http.cors.allow-origin: "*"

node.master: true #其他节点改成false

node.data: true

discovery.zen.ping.unicast.hosts: ["192.168.33.232", "192.168.33.233","192.168.33.235","192.168.33.236","192.168.33.230"]#其他节点也写这个ip

bootstrap.system_call_filter: false

#----

192.168.33.230   node11

#-----

cluster.name: es-application

node.name: node-5 #其他节点用另外的名称

network.host: 192.168.33.230 #其他节点写上对应的ip

http.port: 9200

http.cors.enabled: true

http.cors.allow-origin: "*"

node.master: true #其他节点改成false

node.data: true

discovery.zen.ping.unicast.hosts: ["192.168.33.232", "192.168.33.233","192.168.33.235","192.168.33.236","192.168.33.230"]#其他节点也写这个ip

bootstrap.system_call_filter: false

#----

至此,超级简单版本的elasticsearch1主5从的分布式集群搭建完毕。

测试:

-->查看集群监看状态

curl '192.168.33.232:9200/_cat/health?v'

-->查看集群节点

curl '192.168.33.232:9200/_cat/nodes?v'

-->查看所有索引

curl '192.168.33.232:9200/_cat/indices?v'

界面:

ELK5+redhat7.4配置elasticsearch集群的更多相关文章

  1. 配置 Elasticsearch 集群

    Elasticsearch 的安装非常简单,笔者在前文<单机部署 ELK>中已经介绍过了,本文主要介绍集群的配置,并解释常见配置参数的含义. 要配置集群,最简单的情况下,设置下面几个参数就 ...

  2. ES2:ElasticSearch 集群配置

    ElasticSearch共有两个配置文件,都位于config目录下,分别是elasticsearch.yml和logging.yml,其中,elasticsearch.yml 用来配置Elastic ...

  3. Elasticsearch集群搭建教程及生产环境配置

    Elasticsearch 是一个极其强大的搜索和分析引擎,其强大的部分在于能够对其进行扩展以获得更好的性能和稳定性. 本教程将提供有关如何设置 Elasticsearch 集群的一些信息,并将添加一 ...

  4. 我的ElasticSearch集群部署总结--大数据搜索引擎你不得不知

    摘要:世上有三类书籍:1.介绍知识,2.阐述理论,3.工具书:世间也存在两类知识:1.技术,2.思想.以下是我在部署ElasticSearch集群时的经验总结,它们大体属于第一类知识“techknow ...

  5. 01篇ELK日志系统——升级版集群之elasticsearch集群的搭建

    [ 前言:以前搭了个简单的ELK日志系统,以我个人的感觉来说,ELK日志系统还是非常好用的.以前没有弄这个ELK日志系统的时候,线上的项目出了bug,报错了,要定位错误是什么,错误出现在哪个java代 ...

  6. Ubuntu 14.04中Elasticsearch集群配置

    Ubuntu 14.04中Elasticsearch集群配置 前言:本文可用于elasticsearch集群搭建参考.细分为elasticsearch.yml配置和系统配置 达到的目的:各台机器配置成 ...

  7. Elasticsearch集群配置以及REST API使用

    ES安装与启动 在官网下载压缩包,解压后直接运行bin目录下的.bat文件即可.下载地址戳这里. ES配置集群 Elasticsearch配置集群很简单,只要配置一个集群的 名称 ,ES就会自动寻找并 ...

  8. elasticsearch 集群配置

    2015-10-10 09:56 by 轩脉刃, 999 阅读, 1 评论, 收藏, 编辑 elasticsearch 集群 搭建elasticsearch的集群 现在假设我们有3台es机器,想要把他 ...

  9. Elasticsearch集群节点配置详解

    注意:如果是在局域网中运行elasticsearch集群也是很简单的,只要cluster.name设置一致,并且机器在同一网段下,启动的es会自动发现对方,组成集群. 2.elasticsearch- ...

随机推荐

  1. js知识点——1

    onload 事件会在页面或图像加载完成后立即发生. document.write("内容")将在加载页面时输出 内容可以是什么,可以是一个标签,它输出的文件不能自动换行: < ...

  2. Python 入门之 内置模块 -- os模块

    Python 入门之 内置模块 -- os模块 1.os os是和操作系统做交互,给操作发指令 os模块是与操作系统交互的一个接口,它提供的功能多与工作目录,路径,文件等相关 (1)工作路径 prin ...

  3. 如何创建并发布一个 vue 组件

    步骤 创建 vue 的脚手架 npm install -g @vue/cli vue init webpack 绑定 git 项目 cd existing_folder git init git re ...

  4. [.net core]3. Project 文件简介

    这是一个C#的空的.net core web app .net frame work的.csproj 要编辑的话,得先卸载项目,  .net core的.csproje不必要, .csproj 的文件 ...

  5. SVM支持向量机(1)

    一.SVM模型 1.函数间隔与几何间隔,哪一条线是最好的? (1)公式化问题. 分类模型:当里面的值小于0的时候就是-1,当里面的值是大于等于0的时候就是1 函数间隔:前面乘以y(i),是为了保持数值 ...

  6. 列举java语言中反射的常用方法

    package review;/*12:43 2019/7/21*/ import model.AnotherClass; import model.OneClassMore; import mode ...

  7. Android多渠道打包且根据不同产品打包不同的assets资源目录

    因为项目中存在多种环境,既要区分bebug与release版本,release又要区分测试环境与生产上线环境,每次打包都得浪费不少的等待时间:并且哪个版本有问题还得去切换环境一个个打包,关键是还得牢记 ...

  8. Qt Creator 4.9 发布

    Qt Creator 4.8中引入了语言服务器协议支持,允许Qt Creator通过利用此标准轻松支持更多编程语言,使IDE和其他编程工具可以轻松地获得通用编程语言支持的交换格式.使用Qt Creat ...

  9. JavaScript双重排序

    前言:正好这两天正在做一个功能,需要在前台进行排序展示,因为是动态的,后台排序不能搞定,只能咋前台通过JS来进行排序展示,所以我们用sort()来解决这个问题,sort不仅能给数组,对象,集合进行简单 ...

  10. 跨域 (1) jsonp 跨域

    jsonp 的例子 <!DOCTYPE html> <html lang="en"> <head> <meta charset=" ...