docker-compose部署ELK
本章基于
https://www.cnblogs.com/lirunzhou/p/10550675.html
在此基础上将ELK系统docker-compose.yml化。
其docker-compose 需要注意
1.不要把 docker 当做数据容器来使用,数据一定要用 volumes 放在容器外面
2.不要把 docker-compose 文件暴露给别人, 因为上面有你的服务器信息
3.多用 docker-compose 的命令去操作, 不要用 docker 手动命令&docker-compose 去同时操作
4.写一个脚本类的东西,自动备份docker 映射出来的数据。
5.不要把所有服务都放在一个 docker 容器里面
准备环境:
管理节点10.191.51.44
数据节点 10.191.51.45/46/47
具体文件:
es docker-compose.yml
version: ''
services:
elasticsearch:
container_name: ES
environment :
- ES_JAVA_OPTS=-Xms4G -Xmx4G
image: 10.191.51.5/elk/elasticsearch:6.5.
volumes:
- ./config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
- ./data:/usr/share/elasticsearch/data
ports:
- "9200:9200"
- "9300:9300"
管理节点 elasticsearch.yml
cluster.name: elasticsearch-cluster
node.name: es-node1
network.bind_host: 0.0.0.0
network.publish_host: 10.191.51.44
http.port:
transport.tcp.port:
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: false
node.data: false
node.ingest: true
discovery.zen.ping.unicast.hosts: ["10.191.51.44:9300","10.191.51.45:9300","10.191.51.46:9300","10.191.51.47:9300"]
discovery.zen.minimum_master_nodes:
数据节点 elasticsearch.yml
cluster.name: elasticsearch-cluster
node.name: es-node2
network.bind_host: 0.0.0.0
network.publish_host: 10.191.51.45
http.port:
transport.tcp.port:
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true
node.data: true
discovery.zen.ping.unicast.hosts: ["10.191.51.44:9300","10.191.51.45:9300","10.191.51.46:9300","10.191.51.47:9300"]
discovery.zen.minimum_master_nodes:
kafka docker-compose.yml (其中environment需要配置)
version: ''
services:
kafka:
container_name: kafka0
environment:
- KAFKA_BROKER_ID=
- KAFKA_ZOOKEEPER_CONNECT=10.191.51.44:
- KAFKA_DEFAULT_REPLICATION_FACTOR=
- KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092
- KAFKA_ADVERTISED_HOST_NAME=kafka1
- KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.191.51.45:9092
- KAFKA_delete_topic_enable=true
image: 10.191.51.5/elk/wurstmeister/kafka:2.1.
ports:
- "9092:9092"
logstash docker-compose.yml
version: ''
services:
logstash:
container_name: logstash
image: 10.191.51.5/elk/logstash:6.5.
volumes:
- ./config/:/usr/share/logstash/config/
- ./pipeline/:/usr/share/logstash/pipeline/
ports:
- "5044:5044"
- "9600:9600"
pipeline/logstash.conf
kafka{
bootstrap_servers => ["10.191.51.45:9092,10.191.51.46:9092,10.191.51.47:9092"]
client_id => "logstash-garnet"
group_id => "logstash-garnet"
consumer_threads =>
decorate_events => true
topics => ["garnet_garnetAll_log"]
type => "garnet_all_log"
}
}
filter{ if[type]=="garnet_all_log"{
mutate{
gsub => ["message", "@timestamp", "sampling_time"]
}
json{
source=>"message"
}
grok{
match=>{
"message"=>[ "%{TIMESTAMP_ISO8601:log_time}\s+\[(?<thread_name>[a-zA-Z0-9\-\s]*)\]\s+%{LOGLEVEL:log_level}\s+\[(?<class_name>[a-zA-Z0-9.]*)\]\s+%{GREEDYDATA:msg_info}parameters=%{GREEDYDATA:msg_json_info}",
"%{TIMESTAMP_ISO8601:log_time}\s+\[(?<thread_name>[a-zA-Z0-9\-\s]*)\]\s+%{LOGLEVEL:log_level}\s+\[(?<class_name>[a-zA-Z0-9.]*)\]\s+%{GREEDYDATA:msg_info}" ]
}
}
if [msg_json_info]{
json{
source=>"msg_json_info"
}
}
}
}
output { if[type] == "garnet_all_log"{
elasticsearch{
hosts => ["10.191.51.45:9200","10.191.51.46:9200","10.191.51.47:9200"]
index => "garnet_all-%{+YYYY.MM.dd}"
}
}
}
config/pipeline.yml
- pipeline.id: pipeline_1
pipeline.batch.size:
pipeline.batch.delay:
path.config: /usr/share/logstash/pipeline
config/logstash.yml
log.level: warn
xpack.license.self_generated.type: basic
xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: "http://10.191.51.44:9200"
config/jvm.options 修改
-Xms4g
-Xmx4g
docker-compose部署ELK的更多相关文章
- 使用Docker Compose部署基于Sentinel的高可用Redis集群
使用Docker Compose部署基于Sentinel的高可用Redis集群 https://yq.aliyun.com/articles/57953 Docker系列之(五):使用Docker C ...
- Docker Compose 部署前后端分离应用
部署前后端分离应用 容器化 Abp 应用 关于 Abp 应用的容器化,其实和普通的 ASP.NET Core 应用差不多,大家可以参考我此前的文章. 唯一需要注意的是:因为 Abp 解决方案中有多个项 ...
- 使用Docker快速部署ELK分析Nginx日志实践(二)
Kibana汉化使用中文界面实践 一.背景 笔者在上一篇文章使用Docker快速部署ELK分析Nginx日志实践当中有提到如何快速搭建ELK分析Nginx日志,但是这只是第一步,后面还有很多仪表盘需要 ...
- Docker Compose部署项目到容器-基于Tomcat和mysql的项目yml配置文件代码
场景 Docker-Compose简介与Ubuntu Server 上安装Compose: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/deta ...
- 在Windows Server 2019通过Docker Compose部署Asp.Net Core
一.安装Docker Enterprise 安装文档是: https://docs.docker.com/install/windows/docker-ee/ 安装完成后,如下图 二.首先,拉取一个W ...
- 使用Docker Compose 部署Nexus后初次登录账号密码不正确,并且在nexus-data下没有admin,password
场景 Ubuntu Server 上使用Docker Compose 部署Nexus(图文教程): https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/ ...
- Ubuntu Server 上使用Docker Compose 部署Nexus(图文教程)
场景 Docker-Compose简介与Ubuntu Server 上安装Compose: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/deta ...
- Docker Compose部署Nexus3时的docker-compose,yml代码
场景 Docker-Compose简介与Ubuntu Server 上安装Compose: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/deta ...
- Docker Compose部署GitLab服务,搭建自己的代码托管平台(图文教程)
场景 Docker-Compose简介与Ubuntu Server 上安装Compose: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/deta ...
- 使用Docker Compose 部署Nexus后提示:Unable to create directory /nexus-data/instance
场景 Ubuntu Server 上使用Docker Compose 部署Nexus(图文教程): https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/ ...
随机推荐
- 【刷题】【LeetCode】007-整数反转-easy
[刷题][LeetCode]总 用动画的形式呈现解LeetCode题目的思路 参考链接-空 007-整数反转 方法: 弹出和推入数字 & 溢出前进行检查 思路: 我们可以一次构建反转整数的一位 ...
- Docker 核心技术之数据管理
Docker 数据卷简介 为什么用数据卷 宿主机无法直接访问容器中的文件 容器中的文件没有持久化,导致容器删除后,文件数据也随之消失 容器之间也无法直接访问互相的文件 为解决这些问题,docker加入 ...
- XML的几种转换
package com.qbskj.project.util; import java.io.ByteArrayOutputStream; import java.util.ArrayList; im ...
- 【MongoDB异常】Exception authenticating MongoCredential解决方法
我们通过ideal编辑器编辑 springboot时候,出现这个错误: com.mongodb.MongoSecurityException: Exception authenticating Mon ...
- WebSocket群聊与单聊
一 . WebSocket实现群聊 py文件代码 # py文件 from flask import Flask, render_template, request from geventwebsock ...
- MySQL 的数据目录
MySQL里面有4个数据库是属于MySQL自带的系统数据库: mysql 这个数据库贼核心,它存储了MySQL的用户账户和权限信息,一些存储过程.事件的定义信息,一些运行过程中产生的日志信息,一些帮助 ...
- 一、Subversion服务
Subversion是优秀的版本控制工具简称SVN,搭建SVN服务器,通过TortoiseSVN进行版本管理. 一.管理SVN服务的VisualSVN和TSVN两种Visual Studio扩展工具 ...
- Oracle篇 之 数据操作
一.DML 数据操作语言(Data Manipulation Language) 1.insert insert into student values(1,'briup1',20,'Male'); ...
- python学习day21 面向对象(三)嵌套/特殊方法
1.嵌套 类/方法/对象都可以当做变量或嵌套到其他类型中. 函数的参数可以是任意类型. 可哈希(不可变)数据类型可以做字典的key. 类和对象可以做字典的key. 2.特殊方法(8) __init__ ...
- crontab语法
* * * * * command minute hour day month week ...