elasticsearch+kibana+fluentd 日志搜集集群搭建

使用fluentd来搜集Nginx日志，准备3台服务器，列表如下

node1	elasticsearch/kibana/td-agent
node2	td-agent/nginx
node3	td-agent/nginx

1.下载相关软件

http://packages.treasuredata.com.s3.amazonaws.com/3/redhat/7/x86_64/td-agent-3.4.1-0.el7.x86_64.rpm
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.2.0-x86_64.rpm
https://artifacts.elastic.co/downloads/kibana/kibana-7.2.0-x86_64.rpm

2.在node1安装elasticsearch和kibana并启动

yum install -y elasticsearch-7.2.-x86_64.rpm kibana-7.2.0-x86_64.rpm

3.在每台机器上安装td-agent

yum install -y td-agent-3.4.-.el7.x86_64.rpm

4.在node1安装elasticsearch插件

td-agent-gem install fluent-plugin-elasticsearch

5.在node1修改td-agent配置并启动

vim /etc/td-agent/td-agent.conf

#td-agent.conf

<system>

  workers

</system>

@include /etc/td-agent/conf.d/*.conf

vim /etc/td-agent/conf.d/source.conf

<source>

  @type forward

  port

  bind 0.0.0.0

</source>

vim /etc/td-agent/conf.d/match.conf

#match.conf

<match nginx.access>

  @type elasticsearch

  host localhost

  port

  #user elastic #如果有安全认证则需要设置

  #password password

  logstash_format true

  logstash_prefix fluentd.${tag}      # index名称

</match>

6.在其他两个节点修改td-agent配置并启动

vim /etc/td-agent/td-agent.conf

#td-agent.conf

<system>

  workers

</system>

@include /etc/td-agent/conf.d/*.conf

vim /etc/td-agent/conf.d/source.conf

#source.conf

<source>

  @type tail

  path /var/log/openresty/*access.log
  path_key file_path

  tag nginx.access

  pos_file /var/log/td-agent/nginx-access.log.pos

  # parse

  <parse>

    @type regexp

    #根据自己的Nginx日志规则调整

    expression /^(?<remote_addr>[^ ]*) (?<white>[^ ]*) (?<remote_user>[^ ]*) \[(?<time_local>[^\]]*)\] "(?<method>\S+)(?: +(?<url_path>[^\"][A-Za-z0-9$.+!*'(){},~:;=@#%&_\-\/]*)(?:\?(?<url_param>[^\"]*))? +\S*)?" (?<response_code>[^ ]*) (?<body_bytes_sent>[^ ]*)(?: "(?<http_referer>[^\"]*)" "(?<http_user_agent>[^\"]*)" "(?<http_x_forwarded_for>[^\"]*)" "(?<request_body>[^\"]*)" "(?<upstream_addr>[^\"]*)" "(?<uri>[^\"]*)" "(?<upstream_response_time>[^\"]*)" "(?<upstream_http_name>[^\"]*)" "(?<upstream_http_host>[^\"]*)" "(?<upstream_cache_status>[^\"]*)" "(?<request_time>[^\"]*)")?/

    types body_bytes_sent:integer,request_time:float,upstream_response_time:float

    time_format %d/%b/%Y:%H:%M:%S %z

  </parse>

</source>

vim /etc/td-agent/conf.d/filter.conf

#filter.conf

<filter nginx.access>

  @type record_transformer

  <record>

    hostname "#{Socket.gethostname}"

    tag ${tag}

  </record>

</filter>

vim /etc/td-agent/conf.d/match.conf

#match.conf

<match nginx.access>

  @type forward

  send_timeout 60s

  recover_wait 10s

  hard_timeout 60s

  <server>

    name td-

    host node1

    port

    weight

  </server>
  #配置主备
  #<server>
  #  name td-1
  #  host node2
  #  port 24224
  #  weight 60
  #</server>

</match>

7.安装X-PACK实现安全认证

X-Pack是一个Elastic Stack的扩展，将安全，警报，监视，报告和图形功能包含在一个易于安装的软件包中

在6.3版本及之后，已经默认集成，无需额外安装，基础安全属于付费黄金版内容。从7 .1版本开始，基础安全免费。

修改/etc/elasticsearch/elasticsearch.yml开启安全认证

xpack.security.enabled: true

xpack.security.transport.ssl.enabled: true

设置密码

/usr/share/elasticsearch/bin/elasticsearch-setup-passwords interactive

修改/etc/kibana/kibana.yml

elasticsearch.username: "elastic"

elasticsearch.password: "yourpassword"

重启es、kibana服务后，需要认证

登录后在management->users可以查看所有的用户

8.其他插件介绍

logstash和filebeat：

　　都具有日志收集功能，filebeat更轻量，占用资源更少，但logstash 具有filter功能，能过滤分析日志。一般结构都是filebeat采集日志，然后发送到消息队列，redis，kafaka。然后logstash去获取，利用filter功能过滤分析，然后存储到elasticsearch中。

Curator：

　　是elasticsearch 官方的一个索引管理工具，可以删除、创建、关闭、段合并等等功能。

Cerebro：

　　是一款es比较好用的开源监控软件，主要是scala写的，修改源码方便。可以通过修改源码屏蔽掉一些像DELETE等危险操作。从而给更多人包括运维人员使用。

Bigdesk：

　　是elasticsearch的一个集群监控工具，可以通过它来查看es集群的各种状态，如：cpu、内存使用情况，索引数据、搜索情况，http连接数等。

Metricbeat：

　　是一个轻量级代理，在服务器上安装，以定期从操作系统和服务器上运行的服务收集指标。Metricbeat提供多种内部模块，用于从服务中收集指标，例如 Apache、NGINX、MongoDB、MySQL、PostgreSQL、Prometheus、Redis 等等。

Packetbeat：

　　抓取网路包数据
　　自动解析网络包协议，如： ICMP DNS、HTTP、Mysql/PgSQL/MongoDB、Memcache、Thrift、TLS等。

Heartbeat：

　　是一个轻量级守护程序，可以安装在远程服务器上，定期检查服务状态并确定它们是否可用。与Metricbeat不同，Metricbeat仅确定服务器是启动还是关闭，Heartbeat会确认服务是否可访问。

Marvel：

　　工具可以帮助使用者监控elasticsearch的运行状态，不过这个插件需要收费，只有开发版是免费，我们学习不影响我们使用。它集成了head以及bigdesk的功能，是官方推荐产品。

Auditbeat：

　　是一个轻量级代理，可以在审核服务器系统上用户和进程的活动。例如，可以使用Auditbeat从Linux Audit Framework收集和集中审核事件，还可以使用Auditbeat检测关键文件（如二进制文件和配置文件）的更改，并识别潜在的安全策略违规。

参考：

https://yq.aliyun.com/articles/484403

https://blog.csdn.net/hxpjava1/article/details/80338844