案例:使用logstash收集游戏服务器日志,输出到kafka消息队列中,然后存入ES
- gamelogs2kafka.conf
input {
file {
codec => plain {
charset => "UTF-8"
}
path => "/root/logserver/GameLog.txt"
discover_interval => 5
start_position => "beginning"
}
}
output {
kafka {
topic_id => "gamelogs-prj"
codec => plain {
format => "%{message}"
charset => "UTF-8"
}
bootstrap_servers => "192.168.8.101:9092,192.168.8.102:9092,192.168.8.103:9092"
}
}
启动:[root@CentOS-01 /opt/logstash]# bin/logstash -f config/gamelogs2kafka.conf
- kafka2es.conf
input {
kafka {
type => "gamelogs-prj"
auto_offset_reset => "earliest"
codec => "plain"
group_id => "elas-prj"
topics => ["gamelogs-prj"]
bootstrap_servers => "192.168.8.101:9092,192.168.8.102:9092,192.168.8.103:9092"
}
}
filter {
if [type] == "gamelogs-prj" {
mutate {
split => { "message" => "|" }
add_field => {
"event_type" => "%{message[0]}"
"current_time" => "%{message[1]}"
"user_ip" => "%{message[2]}"
"user" => "%{message[3]}"
}
remove_field => [ "message" ]
}
}
}
output {
if [type] == "gamelogs-prj" {
elasticsearch {
index => "gamelogs-prj"
codec => plain {
charset => "UTF-16BE"
}
hosts => ["192.168.8.101:9200", "192.168.8.***:9200", "192.168.8.103:9200"]
}
}
}
启动:[root@CentOS-02 /opt/logstash]# bin/logstash -f config/kafka2es.conf
- 数据格式
3|2018年2月16日,星期二,15:53:45|175.***.97.31|ewrdf|武士|男|26|0|3133/800000000
3|2018年2月16日,星期二,15:53:45|175.16***3.235|丶糖豆|道士|女|29|0|165351/800000000
3|2018年2月16日,星期二,15:53:45|10.51***62|冷漠的风|道士|男|42|148|11114810/800000000
3|2018年2月16日,星期二,15:53:45|58.16***.38|自由风|法师|男|33|0|44562/800000000
3|2018年2月16日,星期二,15:53:45|10.11***135|十年戎马孤单|法师|男|26|0|102539/800000000
3|2018年2月16日,星期二,15:53:45|27.19***.55|不要诱拐我哦|法师|女|26|0|202557/800000000
3|2018年2月16日,星期二,15:53:45|106.***102|放火烧你|法师|男|43|0|7117158/800000000
3|2018年2月16日,星期二,15:53:45|10.***143.28|非常道|道士|男|26|0|165177/800000000
3|2018年2月16日,星期二,15:53:45|122.***137.99|名字神马操|道士|男|41|12|665009/800000000
3|2018年2月16日,星期二,15:53:45|115.1***5.20|多弗朗·明哥|道士|男|41|0|41531/800000000
3|2018年2月16日,星期二,15:53:46|10.11***4.57|DongKe小雨|法师|女|45|0|3455916/800000000
案例:使用logstash收集游戏服务器日志,输出到kafka消息队列中,然后存入ES的更多相关文章
- logstash收集TCP端口日志
logstash收集TCP端口日志官方地址:https://www.elastic.co/guide/en/logstash-versioned-plugins/current/index.html ...
- logstash收集nginx访问日志
logstash收集nginx访问日志 安装nginx #直接yum安装: [root@elk-node1 ~]# yum install nginx -y 官方文档:http://nginx.org ...
- ELK收集windows服务器日志笔记
一.软件版本 1.jdk-8u211-linux-x64.rpm 2.elasticsearch-6.8.1.rpm 3.logstash-6.8.1.rpm 4.kibana-6.8.1-x86_6 ...
- flume从log4j收集日志输出到kafka
1. flume安装 (1)下载:wget http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.1.tar.gz (2)解压:ta ...
- Logstash收集nginx访问日志和错误日志
1.收集访问日志 1).首先是要在nginx里面配置日志格式化输出 log_format main "$http_x_forwarded_for | $time_local | $reque ...
- salt收集windows服务器日志时间
定义收集时间区间: time.ps1 $a = get-date $b = $a.adddays(-) $c = $b.tostring('yyyy-MM-dd') $d = get-date -fo ...
- 用Kibana和logstash快速搭建实时日志查询、收集与分析系统
Logstash是一个完全开源的工具,他可以对你的日志进行收集.分析,并将其存储供以后使用(如,搜索),您可以使用它.说到搜索,logstash带有一个web界面,搜索和展示所有日志. kibana ...
- 用ElasticSearch,LogStash,Kibana搭建实时日志收集系统
用ElasticSearch,LogStash,Kibana搭建实时日志收集系统 介绍 这套系统,logstash负责收集处理日志文件内容存储到elasticsearch搜索引擎数据库中.kibana ...
- ELK-logstash案例实战之读取日志输出到elasticsearch
简介:从日志文件中读取日志,输出到elasticsearch集群中 $ cd /home/es/logstash-/config $ vim test3_es.conf $ cd /home/es/l ...
随机推荐
- SQOOP的使用方法
Sqoop是个命令行工具,用来在Hadoop和rdbms之间传输数据. 以Hadoop的角度看待数据流向,从rdbms往Hadoop是导入用sqoop import命令,反之从hadoop往rdbms ...
- pymysql 增删改 查 索引
pymysql 模块的使用 pip install pymysql username = input ("请输入用户") pwd = input ("请输入密码" ...
- 使用cookiecutter创建django项目
使用cookiecutter创建django项目 下载安装: pip install cookiecutter cookiecutter https://github.com/pydanny/cook ...
- axios get及post方法代码示例&&方法封装
axios get及post方法代码示例 get方法: show: function(){ //get方式 //赋值给变量self var self = this; var url = "h ...
- 2019南昌网络赛I:Yukino With Subinterval(CDQ) (树状数组套主席树)
题意:询问区间有多少个连续的段,而且这段的颜色在[L,R]才算贡献,每段贡献是1. 有单点修改和区间查询. 思路:46min交了第一发树套树,T了. 稍加优化多交几次就过了. 不难想到,除了L这个点, ...
- webpack 的安装与使用
这里使用webpack4.41.2 为例 一.安装webpack 1.本地安装,安装最新版本或特定版本 npm install --save-dev webpack npm install --sav ...
- 用JSON.parse(JSON.stringify(itemData))序列化反序列化实现‘深度复制’
还可以用来去除值不具有JSON 表示形式(数字.字符串.逻辑值.数组.对象.null)的属性,也就是说像undefined和function这样的属性值.
- 自用ftp上传脚本
#!/bin/sh backupserver=$1 #localdir=ftp_result_tmp username=$3 password=$4 #remodir='./Log/2018-01-2 ...
- gnome3 调整标题栏高度
适用于:gtk 3.20 + 1. 在用户主目录 -/.config/gtk3.0/ 下新建gtk.css文件: 2. 复制如下css值: headerbar.default-decoration { ...
- python基础_格式化输出(%用法和format用法)(转载)
python基础_格式化输出(%用法和format用法) 目录 %用法 format用法 %用法 1.整数的输出 %o -- oct 八进制%d -- dec 十进制%x -- hex 十六进制 &g ...