Beats: Filebeat和pipleline processors

简要来说：

使用filebeat读取log日志，在filebeat.yml中先一步处理日志中的个别数据，比如丢弃某些数据项，增加某些数据项。

按照之前的文档，是在filebeat.yml中操作的，具体设置如下：

filebeat.inputs:
- type: log
  enabled: true
  fields:
    apache: true
  tags: ["my-service", "hardware", "test"]
  paths:
    - /Users/liuxg/data/apache-daily-access.log
processors: # 注意这几行,表示的是删除日志中的ecs这一项
  - drop_fields:
      fields: ["ecs"]
output.elasticsearch:
  hosts: ["localhost:9200"]

现在不采用直接在filebet.yml文件中修改的方法，直接使用创建单独的pipeline，在output.elasticsearch中引用这个pipeline从而达到上述效果：

定义一个Pipleline：

PUT _ingest/pipeline/my_pipeline_id
{
  "description": "Drop ECS field and add one new field",
  "processors": [
    {
      "remove": { # 移除日志中的ecs
        "field": "ecs"
      },
      "set": { # 新增加一个，默认值是0
        "field": "added_field",
        "value": 0
      }
    }
  ]
}

这里my-pipleline-id是我们自己命令的在该cluster唯一标识是的pipleline ID

引用这个

filebeat.inputs:
- type: log
  enabled: true
  fields:
    apache: true
  paths:
    - /Users/liuxg/data/apache-daily-access.log
output.elasticsearch:
    hosts: ["localhost:9200"]
    pipeline: "my_pipeline_id" # 注意这一行

感觉采用后者的方式比采用前者的方式功能更强大，可配置灵活性更好