1. 为什么用到ELK

  一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获取自己想要的信息。但是规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理,所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问。

  一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露的关键信息,定位到具体的服务器和服务模块,构建一套集中式日志系统,可以提高定位问题的效率。

一个完整的集中式日志系统,需要包含以下几个主要特点:

收集--能够采集多种来源的日志数据

传输--能够稳定的把日志数据传输到中央系统

存储--如何存储日志数据

分析--可以支持UI分析

警告--能够提供错误报告,监控机制 ELK 提供了一整套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用。目前主流的一种日志系统。

2. ELK简介

ELK 是三个开源软件的缩写,分别表示:Elasticsearch、Logstash、Kibana,它们都是都是开源软件。新增了一个FileBeat,他是一个轻量级的日志收集处理工具(Agent),FileBeat占用资源少,适合于在各个服务器上收集日志后传输给Logstash,官方也推荐此工具。

Elasticsearch 是个开源分布式搜索引擎,提供收集、分析、存储数据三大功能。它的特点有:分布式、零配置、自动发现、索引自动分片、索引副本机制、restful 风格接口、多数据源、自动搜索负载等。

Logstash 主要是用来日志的收集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s 架构,客户(client)端安装在需要收集日志的主机上,server 端负责将收集到的各节点日志进行过滤、修改等操作再一起并发到 Elassticseaarch 上去。

Kibana 也是一个开源和免费的工具,Kibana 可以成为Logstash 和Elasticsearch 提供的日志分析友好的web界面,可以帮助汇总、分析和搜索重要数据日志。

FileBeat 隶属于 Beats。目前Beats 包含四种工具:

Packetbeat (搜集网络流量数据)

Topbeat(搜集系统、进程和文件系统级别的CPU 和内存使用情况等数据)

FileBeat(搜集文件数据)

Winlogbeat(搜集windows 事件日志数据)

3. 实验部署

本次部署的是filebeats(客户端),logstash+elasticsearch+kibana(服务端)组成的架构。

 业务请求到达nginx-server 机器上nginx,nginx 响应请求,并在access.log 文件中在增加访问记录;FileBeat 搜集数据的日志,通过Logstash 的5044 端口上传日志;Logstash 将日志信息通过本机的9200 端口传入到elasticsearch;搜集日志的用户通过浏览器访问 Kibana,服务器端口是5601;Kibana 通过9200 端口访问 Elasticsearch;

实验环境:

本次部署的是单点ELK 用了两台机器(Centos7)

ELK 服务端:192.168.80.130

Nginx 客户端:192.168.80.132

3.1 准备工作

配置网络yum源

[root@localhost /etc/yum.repos.d]# wget http://mirrors.aliyun.com/repo/Centos-7.repo
[root@localhost /etc/yum.repos.d]# wget http://mirrors.aliyun.com/repo/epel-7.repo

关闭SELinux

[root@localhost ~]# vim /etc/sysconfig/selinux 

SELINUX=disabled

开放防火墙端口

firewall-cmd --zone=public --add-port=/tcp
firewall-cmd --zone=public --add-port=/tcp --permanent
firewall-cmd --zone=public --add-port=/tcp
firewall-cmd --zone=public --add-port=/tcp --permanent
firewall-cmd --zone=public --add-port=/tcp
firewall-cmd --zone=public --add-port=/tcp --permanent

3.2 下载并安装软件包

[root@localhost ~]# mkdir /elk
[root@localhost ~]# cd /elk/
[root@localhost /elk]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.3.tar.gz
[root@localhost /elk]# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.3.tar.gz
[root@localhost /elk]# wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.3-linux-x86_64.tar.gz

3.3 安装JDK

[root@localhost ~]# yum -y install java-1.8*

3.4 配置elasticsearch

1)新建 elasticsearch 用户并启动(使用elasticsearch 普通用户启动)

[root@localhost /usr/local]# useradd elasticsearch
[root@localhost /usr/local]# chown -R elasticsearch:elasticsearch /usr/local/elasticsearch-6.2./
[root@localhost /usr/local]# su - elasticsearch
[elasticsearch@localhost ~]$ cd /usr/local/elasticsearch-6.2./
[elasticsearch@localhost ~]$ ./bin/elasticsearch -d

2)查看进程是否正常启动(等待一会)

[elasticsearch@localhost ~]$ netstat -antp

3)若启动出错可查看日志

[elasticsearch@localhost ~]$ cat /usr/local/elasticsearch-6.2./logs/elasticsearch.log

4)测试是否可以正常访问

[root@localhost /usr/local]# curl localhost:
{
"name" : "ezNB3lt",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "CDnRSJwDRbOLwOMEX5U0MA",
"version" : {
"number" : "6.2.3",
"build_hash" : "c59ff00",
"build_date" : "2018-03-13T10:06:29.741383Z",
"build_snapshot" : false,
"lucene_version" : "7.2.1",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}

3.5 配置Logstash

Logstash 收集nginx 日志使用 grok 过滤插件解析日志。grok 作为一个 Logstash 的过滤插件,支持根据模式解析文本日志行,拆成字段。

1)logstash 中 grok 的正则匹配

[root@localhost /usr/local/logstash-6.2.]# vim vendor/bundle/jruby/2.3./gems/logstash-patterns-core-4.1./patterns/grok-patterns
#在最后添加以下内容
#nginx
WZ ([^ ]*)
NGINXACCESS %{IP:remote_ip} \- \- \[%{HTTPDATE:timestamp}\] "%{WORD:method} %{WZ:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:status} %{NUMBER:bytes} %{QS:referer} %{QS:agent} %{QS:xforward}

2)创建 logstash 配置文件

[root@localhost /usr/local/logstash-6.2.]# vim /usr/local/logstash-6.2./default.conf
input {
beats {
port => ""
}
}
#数据过滤
filter {
grok {
match => { "message" => "%{NGINXACCESS}" }
}
geoip {
#nginx客户端ip
source => "192.168.80.132"
}
}
#输出配置为本机的9200端口,这是elasticsearch 服务的监听端口
output {
elasticsearch {
hosts => ["127.0.0.1:9200"]
}
}

3)进入到/usr/local/logstash-6.2.3 目录下,并执行下列命令

后台启动logstash:nohup bin/logstash -f default.conf &
查看启动日志:tail -f nohup.out
查看端口是否启动:netstat -antp |grep

3.6 配置 Kibana

1) 打开Kibana 配置文件 /usr/local/kibana-6.2.3-linux-x86_64/config/kibana.yml,找到下面这行并修改

vim /usr/local/kibana-6.2.-linux-x86_64/config/kibana.yml
#server.host: "localhost"
修改为
server.host: "192.168.80.130"
这样其他电脑就能用浏览器访问Kibana 的服务

2)进入Kibana 的目录:cd /usr/local/kibana-6.2.3-linux-x86_64/

执行启动命令:nohup bin/kibana &
查看启动日志:tail -f nohup.out
查看端口是否启动:netstat -napt|grep

3)测试:

在浏览器访问 192.168.80.130:5601

至此,ELK 部署完成

3.7 nginx 客户端配置

1)安装nginx

yum -y install nginx

2)下载filebeat并解压到/usr/local/

[root@localhost ~]# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.3-linux-x86_64.tar.gz
[root@localhost ~]# tar -zxvf filebeat-6.2.-linux-x86_64.tar.gz -C /usr/local/

3)vim /usr/local/filebeat-6.2.3-linux-x86_64/filebeat.yml,找到如下内容,修改

enabled: false            #修改为true
/var/log/*.log #修改为/var/log/nginx/*.log
#output.elasticsearch: #将此行注释掉
#hosts: ["localhost:9200"] #将此行注释掉
output.logstash: #此行取消注释
hosts: ["192.168.80.130:5044"] #此行取消注释并修改IP地址为ELK服务器地址

4)切换到/usr/local/filebeat-6.2.3-linux-x86_64 目录

cd /usr/local/filebeat-6.2.-linux-x86_64/
后台启动:nohup ./filebeat -e -c filebeat.yml &
查看日志:tail -f nohup.out

5)通过浏览器多访问几次nginx服务,这样可以多制造一些访问日志,访问地址:https://192.168.80.132

6)访问 Kibana:https://192.168.80.130:5601,点击左上角的Discover,就可以看到访问日志已经被ELk收集,然后按照以下步骤完成设置

  a. 输入logstash-*,点击"Next step"

  b. 选择time filter,再点击"Create index pattern"

  c. 然后自行创建日志内容查询规则

 

ELK日志分析的更多相关文章

  1. ELK 日志分析体系

    ELK   日志分析体系 ELK 是指 Elasticsearch.Logstash.Kibana三个开源软件的组合. logstash                       负责日志的收集,处 ...

  2. ELK 日志分析实例

    ELK 日志分析实例一.ELK-web日志分析二.ELK-MySQL 慢查询日志分析三.ELK-SSH登陆日志分析四.ELK-vsftpd 日志分析 一.ELK-web日志分析 通过logstash ...

  3. 浅谈ELK日志分析平台

    作者:珂珂链接:https://zhuanlan.zhihu.com/p/22104361来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 小编的话 “技术干货”系列文章 ...

  4. ELK日志分析系统简单部署

    1.传统日志分析系统: 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安 ...

  5. elk日志分析与发掘深入分析

    elk日志分析与挖掘深入分析 1 为什么要做日志采集? 2 挖财自己的日志采集和分析体系应该怎么建? 2.1 日志的采集 2.2 日志的汇总与过滤 2.3 日志的存储 2.4 日志的分析与查询 3 需 ...

  6. Rsyslog+ELK日志分析系统

    转自:https://www.cnblogs.com/itworks/p/7272740.html Rsyslog+ELK日志分析系统搭建总结1.0(测试环境) 因为工作需求,最近在搭建日志分析系统, ...

  7. 十分钟搭建和使用ELK日志分析系统

    前言 为满足研发可视化查看测试环境日志的目的,准备采用EK+filebeat实现日志可视化(ElasticSearch+Kibana+Filebeat).题目为“十分钟搭建和使用ELK日志分析系统”听 ...

  8. ELK日志分析系统-Logstack

    ELK日志分析系统 作者:Danbo 2016-*-* 本文是学习笔记,参考ELK Stack中文指南,链接:https://www.gitbook.com/book/chenryn/kibana-g ...

  9. elk 日志分析系统Logstash+ElasticSearch+Kibana4

    elk 日志分析系统 Logstash+ElasticSearch+Kibana4 logstash 管理日志和事件的工具 ElasticSearch 搜索 Kibana4 功能强大的数据显示clie ...

  10. ELK日志分析 学习笔记

    (贴一篇之前工作期间整理的elk学习笔记) ELK官网 https://www.elastic.co   ELK日志分析系统 学习笔记 概念:ELK = elasticsearch + logstas ...

随机推荐

  1. first-child、last-child误解

    MDN解释兄弟元素中的第一个元素 然后今天写的时候这样想出现了问题 并没有加上边框 W3C解释 尝试去掉h3,发现span加上了边框 E:first-child含义 父元素中第一个元素且第一个元素是E ...

  2. Spring Boot 知识笔记(整合Mybatis续-补充增删改查)

    续上篇,补充数据库增删改查的其他场景. 一.Mapper中添加其他场景操作 package net.Eleven.demo.Mapper; import net.Eleven.demo.domain. ...

  3. es6 Decorator修饰器

    1.类的修饰: 修饰器(Decorator)函数,用来修改类的行为.修饰器是一个对类进行处理的函数.修饰器函数的第一个参数,就是所要修饰的目标类. @testable class MyTestable ...

  4. pycharm社区办找不到View-->Tool Windows->DataBase的解决办法

    File->Settings->Plugins->Database Navigator 安装

  5. Python协程介绍(转)

    原文:https://www.liaoxuefeng.com/wiki/897692888725344/923057403198272 协程,又称微线程,纤程.英文名Coroutine. 协程的概念很 ...

  6. C++强大背后

    转自MiloYip大神的博客 [原文]http://www.cnblogs.com/miloyip/archive/2010/09/17/behind_cplusplus.html 在31年前(197 ...

  7. Spring AOP动态代理实现,解决Spring Boot中无法正常启用JDK动态代理的问题

    Spring AOP底层的动态代理实现有两种方式:一种是JDK动态代理,另一种是CGLib动态代理. JDK动态代理 JDK 1.3版本以后提供了动态代理,允许开发者在运行期创建接口的代理实例,而且只 ...

  8. 【转】socket通信-C#实现tcp收发图片音视频等字节流数据

    在日常碰到的项目中,经常碰到需要收发二进制数据的场景.比如要发送一张图片,要发送一首音频,要发送一个压缩包,要发送一个视频等等.这些数据并非字符串,而是二进制字节流数据.那么如何如何使用SharpSo ...

  9. 2019 中钢网java面试笔试题 (含面试题解析)

      本人5年开发经验.18年年底开始跑路找工作,在互联网寒冬下成功拿到阿里巴巴.今日头条.中钢网等公司offer,岗位是Java后端开发,因为发展原因最终选择去了中钢网,入职一年时间了,也成为了面试官 ...

  10. AWS EC2 在WINDOWS平台使用FSX

    最近在使用AWS FSX产品 折腾了很久才解决,记录下,防止下次再入坑: 使用FSX 必须要使用AD(Active Directory),而一般很少公司会在AWS 把自己公司的域控部署上去. 为了解决 ...