一、安装与启动

Logstash 依赖 Java 8 或者 Java 11，需要先安装 JDK

1.1 下载

curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-7.7.0.rpm

1.2 安装

sudo rpm -i logstash-7.7.0.rpm

Logstash 的目录结构见：Directory Layout of Debian and RPM Packages

1.3 修改配置(根据需要执行)

修改 /etc/logstash/logstash.yml 配置：

config.reload.automatic : true

这样修改配置文件后，不需要重启 Logstash

1.4 启动

sudo systemctl start logstash.service

1.5 测试启动

cd /usr/share/logstash

sudo bin/logstash -e 'input { stdin { } } output { stdout {} }'

然后输入：hello world，可以看到下面的输出：

{

      "@version" => "1",

          "host" => "localhost.localdomain",

       "message" => "hello world",

    "@timestamp" => 2020-05-29T23:16:52.686Z

}

二、使用

2.1 新建配置文件

cd /etc/logstash/conf.d/

vi weblog.conf

weblog.conf 的内容为：

input {

  tcp {

    port => 9900

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

}

配置文件的含义是监听 9900 端口的输入，并保存到 /project/logs/logstashtest.log

2.2 使用

echo 'hello logstash' | nc localhost 9900

`

查看 /usr/local/logstash/test.log 的内容，可以看到类似如下内容：

{

    "message":"hello logstash",

    "@timestamp":"2020-05-30T19:08:34.043Z",

    "host":"localhost",

    "port":47332,

    "@version":"1"

}

三、过滤器

先下载测试使用的数据：weblog-sample.log，内容是一个 log 文件，格式如下：

14.49.42.25 - - [12/May/2019:01:24:44 +0000] "GET /articles/ppp-over-ssh/ HTTP/1.1" 200 18586 "-" "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5"

3.1 grok

修改配置文件 weblog.conf：

input {

  tcp {

    port => 9900

  }

}

filter {

  grok {

    match => { "message" => "%{COMBINEDAPACHELOG}" }

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

}

%{COMBINEDAPACHELOG} 是 Logstash 自带的匹配模式，读入 weblog-sample.log 的第一行数据：

head -n 1 weblog-sample.log | nc localhost 9900

得到输出类似如下：

{

    "request":"/articles/ppp-over-ssh/",

    "@timestamp":"2020-05-30T22:31:37.309Z",

    "port":47428,

    "host":"localhost",

    "timestamp":"12/May/2019:01:24:44 +0000",

    "response":"200",

    "referrer":"\"-\"",

    "ident":"-",

    "@version":"1",

    "verb":"GET",

    "clientip":"14.49.42.25",

    "message":"14.49.42.25 - - [12/May/2019:01:24:44 +0000] \"GET /articles/ppp-over-ssh/ HTTP/1.1\" 200 18586 \"-\" \"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\"",

    "auth":"-",

    "httpversion":"1.1",

    "bytes":"18586",

    "agent":"\"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\""

}

通过 grok 使用正则表达式将非结构化的数据转换为结构化的数据

3.2 geoip

input {

  tcp {

    port => 9900

  }

}

filter {

  grok {

    match => { "message" => "%{COMBINEDAPACHELOG}" }

  }

  geoip {

    source => "clientip"

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

}

读入 weblog-sample.log 的第一行数据：

head -n 1 weblog-sample.log | nc localhost 9900

得到输出类似如下：

{

    "geoip":{

        "longitude":126.97409999999999,

        "ip":"14.49.42.25",

        "country_name":"South Korea",

        "country_code3":"KR",

        "country_code2":"KR",

        "location":{

            "lon":126.97409999999999,

            "lat":37.5112

        },

        "latitude":37.5112,

        "continent_code":"AS",

        "timezone":"Asia/Seoul"

    },

    "request":"/articles/ppp-over-ssh/",

    "@timestamp":"2020-05-30T22:44:17.084Z",

    "port":47436,

    "host":"localhost",

    "timestamp":"12/May/2019:01:24:44 +0000",

    "response":"200",

    "referrer":"\"-\"",

    "ident":"-",

    "@version":"1",

    "verb":"GET",

    "clientip":"14.49.42.25",

    "message":"14.49.42.25 - - [12/May/2019:01:24:44 +0000] \"GET /articles/ppp-over-ssh/ HTTP/1.1\" 200 18586 \"-\" \"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\"",

    "auth":"-",

    "httpversion":"1.1",

    "bytes":"18586",

    "agent":"\"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\""

}

geoip 将 IP 地址转换为地理位置等信息

Kibana 自带了 grok 调试工具，可以在 Dev Tools 中 Grok Debugger 调试

3.3 useragent

input {

  tcp {

    port => 9900

  }

}

filter {

  grok {

    match => { "message" => "%{COMBINEDAPACHELOG}" }

  }

  geoip {

    source => "clientip"

  }

  useragent {

    source => "agent"

    target => "useragent"

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

}

读入 weblog-sample.log 的第一行数据：

head -n 1 weblog-sample.log | nc localhost 9900

得到输出类似如下：

{

    "geoip":{

        "longitude":126.97409999999999,

        "ip":"14.49.42.25",

        "country_name":"South Korea",

        "country_code3":"KR",

        "country_code2":"KR",

        "location":{

            "lon":126.97409999999999,

            "lat":37.5112

        },

        "latitude":37.5112,

        "continent_code":"AS",

        "timezone":"Asia/Seoul"

    },

    "request":"/articles/ppp-over-ssh/",

    "@timestamp":"2020-05-30T22:58:17.848Z",

    "port":47444,

    "host":"localhost",

    "timestamp":"12/May/2019:01:24:44 +0000",

    "response":"200",

    "referrer":"\"-\"",

    "ident":"-",

    "useragent":{

        "minor":"6",

        "major":"3",

        "build":"",

        "device":"Other",

        "os_name":"Windows",

        "patch":"b1",

        "name":"Firefox Beta",

        "os":"Windows"

    },

    "@version":"1",

    "verb":"GET",

    "clientip":"14.49.42.25",

    "message":"14.49.42.25 - - [12/May/2019:01:24:44 +0000] \"GET /articles/ppp-over-ssh/ HTTP/1.1\" 200 18586 \"-\" \"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\"",

    "auth":"-",

    "httpversion":"1.1",

    "bytes":"18586",

    "agent":"\"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\""

}

useragent 解析浏览器及操作系统信息

3.4 date

Logstash 将事件时间存储在 @timestamp 字段中，但 weblog-sample.log 创建时间在 timestamp 字段中，该字段的格式不是 ISO8601，可以使用 date 过滤器将此字段转换为日期类型

input {

  tcp {

    port => 9900

  }

}

filter {

  grok {

    match => { "message" => "%{COMBINEDAPACHELOG}" }

  }

  geoip {

    source => "clientip"

  }

  useragent {

    source => "agent"

    target => "useragent"

  }

  date {

    match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

}

读入 weblog-sample.log 的第一行数据：

head -n 1 weblog-sample.log | nc localhost 9900

得到输出类似如下：

{

    "geoip":{

        "longitude":126.97409999999999,

        "ip":"14.49.42.25",

        "country_name":"South Korea",

        "country_code3":"KR",

        "country_code2":"KR",

        "location":{

            "lon":126.97409999999999,

            "lat":37.5112

        },

        "latitude":37.5112,

        "continent_code":"AS",

        "timezone":"Asia/Seoul"

    },

    "request":"/articles/ppp-over-ssh/",

    "@timestamp":"2019-05-12T01:24:44.000Z",

    "port":47450,

    "host":"localhost",

    "timestamp":"12/May/2019:01:24:44 +0000",

    "response":"200",

    "referrer":"\"-\"",

    "ident":"-",

    "useragent":{

        "minor":"6",

        "major":"3",

        "build":"",

        "device":"Other",

        "os_name":"Windows",

        "patch":"b1",

        "name":"Firefox Beta",

        "os":"Windows"

    },

    "@version":"1",

    "verb":"GET",

    "clientip":"14.49.42.25",

    "message":"14.49.42.25 - - [12/May/2019:01:24:44 +0000] \"GET /articles/ppp-over-ssh/ HTTP/1.1\" 200 18586 \"-\" \"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\"",

    "auth":"-",

    "httpversion":"1.1",

    "bytes":"18586",

    "agent":"\"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\""

}

四、输出

将数据输出到 Elasticsearch：

input {

  tcp {

    port => 9900

  }

}

filter {

  grok {

    match => { "message" => "%{COMBINEDAPACHELOG}" }

  }

  geoip {

    source => "clientip"

  }

  useragent {

    source => "agent"

    target => "useragent"

  }

  date {

    match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

  elasticsearch {

    hosts => ["localhost:9200"]

  }

}

读入 weblog-sample.log 的第一行数据：

head -n 1 weblog-sample.log | nc localhost 9900

打开 Kibana 在 Dev Tools 输入命令：

GET logstash/_search

可以看到从 Logstash 导入的数据

参考

浅尝 Elastic Stack (二) Logstash的更多相关文章

浅尝 Elastic Stack (三) Logstash + Beats
本文使用 Filebeat,如果没有安装需要安装: curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat- ...
浅尝 Elastic Stack (五) Logstash + Beats + Kafka
在 Elasticsearch.Kibana.Beats 安装中讲到推荐架构: 本文基于 Logstash + Beats 读取 Spring Boot 日志将其改为上述架构如果没有安装 Kaf ...
浅尝 Elastic Stack (四) Logstash + Beats 读取 Spring Boot 日志
一.Spring Boot 日志配置采用 Spring Boot 默认的 Logback: <?xml version="1.0" encoding="UTF-8 ...
浅尝 Elastic Stack (一) Elasticsearch、Kibana、Beats 安装
Elastic Stack 包括 Elasticsearch.Kibana.Beats 和 Logstash,也称为 ELK Stack.能够安全可靠地获取任何来源.任何格式的数据,然后实时地对数据进 ...
Elastic Stack之Logstash进阶
Elastic Stack之Logstash进阶作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.使用GeoLite2和logstash 过滤插件的geoip案例 1>. ...
浅尝Java（二、代码折叠插件的使用）
主题:eclipse代码折叠插件的使用. 工作中在使用eclipse开发Java项目时,我们会写很多if,for循环啊什么的,这使得我们的项目代码会有很多很多行.写完后要想检查或者查看,就要从头一行一 ...
Elastic Stack核心产品介绍-Elasticsearch、Logstash和Kibana
Elastic Stack 是一系列开源产品的合集,包括 Elasticsearch.Kibana.Logstash 以及 Beats 等等,能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地 ...
Elastic Stack（ElasticSearch 、 Kibana 和 Logstash）实现日志的自动采集、搜索和分析
Elastic Stack 包括 Elasticsearch.Kibana.Beats 和 Logstash(也称为 ELK Stack).能够安全可靠地获取任何来源.任何格式的数据,然后实时地对数据 ...
浅尝key-value数据库（二）——MongoDB的优与劣
浅尝key-value数据库(二)——MongoDB的优与劣 MongoDB的名字取自英文单词"humongous"的中间五个字母,是一个C++开发的基于分布式文件存储的数据库开源 ...

随机推荐

02_tcp_deadlock
# 这个程序我们是测试客户端和服务端在进行通信的过程中,可能会产生死锁的情况. # 这是因为缓冲区,和TCP协议的可靠性连接导致的. # 在程序中我们可以看到,客户端先向服务端发送数据,然后服务端就收 ...
os00
- 运行状态:占用处理机资源运行,处于此状态的进程数小于等于CPU数# 操作系统* 进程和线程 * [进程和线程有什么区别?](#进程和线程有什么区别) * [进程间通信有哪些方式?](# ...
C++实现管理系统
概述系统中需要实现的功能如下: 添加联系人:向通讯录中添加新人,信息包括(姓名.性别.年龄.联系电话.家庭住址)最多记录1000人显示联系人:显示通讯录中所有的联系人信息删除联系人:按照姓名进行 ...
wpf 全局异常捕捉+错误日志记录+自动创建桌面图标
/// /// 创建桌面图标 /// public static void CreateShortcutOnDesktop(string LnkName) { String shortcutPath ...
使用RD Client来远程桌面
使用RD Client来远程桌面可能你会觉得奇怪,team viewer和向日葵之类的难道不香吗?看起来他们两个都是实现了远程桌面的功能,好像没必要特地用Windows自带的RD Client进行内 ...
MongoDB基础教程（安装、操作、配置）
MongoDB 下载安装简易安装 # redhat, centOS sudo yum install -y mongodb # debian, ubuntu sudo apt install -y ...
c++ 11字符串与string转换常用函数
这里主要介绍一下string to int 其他方法与这个类似,可到头文件 <string> 中查看 @_Str 转换的字符串 @_Idx 转换的长度(位数) @_Base 进制 doub ...
通过lseek产生空洞文件
//off_t lseek(int fd,off_t offset, int base) 偏移量搜索的起始位置(文件头(SEEK_SET),当前指针位置(SEEK_CUR),文件尾(SEEK_END ...
《.NET 5.0 背锅案》第6集-案发现场回顾：故障情况下 Kubernetes 的部署表现
第1集:验证 .NET 5.0 正式版 docker 镜像问题第2集:码中的小窟窿,背后的大坑,发现重要嫌犯 EnyimMemcachedCore 第3集-剧情反转:EnyimMemcachedCo ...
linux 图解笔记

浅尝 Elastic Stack (二) Logstash

一、安装与启动

1.1 下载

1.2 安装

1.3 修改配置(根据需要执行)

1.4 启动

1.5 测试启动

二、使用

2.1 新建配置文件

2.2 使用

三、过滤器

3.1 grok

3.2 geoip

3.3 useragent

3.4 date

四、输出

浅尝 Elastic Stack (二) Logstash的更多相关文章

随机推荐

热门专题