使用docker部署filebeat和logstash

想用filebeat读取项目的日志，然后发送logstash。logstash官网有相关的教程，但是docker部署的教程都太简洁了。自己折腾了半天，踩了不少坑，总算是将logstash和filebeat用docker部署好了，这儿简单记录一下

部署logstash

1. 编写logstash配置文件logstasgh.conf

输入是从filebeat中获取的，输出配置的是一个http端

input {
    beats {
        port => ""
    }
}
# The filter part of this file is commented out to indicate that it is
# optional.
# filter {
#
# }
output {
     http {
         http_method => "post"
         url => "http://127.0.0.1/log"
         format => "json"
    }

    stdout { codec => rubydebug }
}

2. 获取logstash的docker镜像

docker pull docker.elastic.co/logstash/logstash:7.1.

3. 通过dokcer启动logstash

docker run -p : --name logstash -d \
    -v /path/to/logstash.conf:/usr/share/logstash/pipeline/logstash.conf \
    docker.elastic.co/logstash/logstash:7.1.

部署filebeat

1. 编写filebeat的配置文件filebeat.yml

filebeat.inputs:
- type: log
  paths:
    # 容器内的路径，可以不用修改，映射到这个路径就可以
    - /val/log/

  fields:
    # 额外添加的字段
    project-name: your_project_name

  # 需要排除和包括的行（正则表达式）
  exclude_lines: ['INFO']

  include_lines: ['ERROR']

  # 这个是用来处理异常产生多行数据时，将多行数据当作一条日志处理，根据自己的异常日志的格式做修改
  multiline.pattern: '^\['
  multiline.negate: true
  multiline.match: after

  ignore_older: 168h

  tail_files: true

output.logstash:
  hosts: ["127.0.0.1:5044"]

2. 获取filebeat的docker镜像

docker pull docker.elastic.co/beats/filebeat:7.1.

3. 通过dokcer启动filebeat

docker run --name filebeat -d \
    -v /path/to/:/var/log/:ro \
    -v /path/to/filebeat.yml:/usr/share/filebeat/filebeat.yml \
    docker.elastic.co/beats/filebeat:7.1.