ELK

E: ElasticSearch 搜索引擎 存储 https://www.elastic.co/cn/downloads/elasticsearch

L: Logstash 日志收集 https://www.elastic.co/cn/downloads/logstash

K: kibana 展示 https://www.elastic.co/cn/downloads/kibana

ElasticSearch

  • 下载解压

  • tar -zxvf elasticsearch-7.3.1-linux-x86_64.tar.gz
  • 在es下创建数据和日志文件夹,修改配置文件

  • #对应配置里的数据和日志文件目录
    mkdir /usr/local/src/elasticsearch/elasticsearch-7.3.1/data
    mkdir /usr/local/src/elasticsearch/elasticsearch-7.3.1/logs
    vim config/elasticsearch.yml

    cluster.name: my-application

    node.name: node-10

    path.data: /usr/local/src/elasticsearch/elasticsearch-7.3.1/data

    path.logs: /usr/local/src/elasticsearch/elasticsearch-7.3.1/logs

  • 新建elkuser用户(注意不能使用root用户启动es)

  • #创建用户
    useradd elkuser
    #修改用户组和用户
    chown -R elkuser:elkuser elasticsearch-7.3.1
    #切换用户
    su elkuser
  • 启动

  • ./bin/elasticsearch

Nginx

安装PCRE

  • 安装编译工具及库文件

  • yum -y install make zlib zlib-devel gcc-c++ libtool  openssl openssl-devel
  • 首先要安装 PCRE(作用是让 Nginx 支持 Rewrite 功能)

  • #下载
    wget http://downloads.sourceforge.net/project/pcre/pcre/8.35/pcre-8.35.tar.gz
    #解压安装包
    tar -zxvf pcre-8.35.tar.gz
    #进入安装包目录
    cd pcre-8.35
    #编译安装
    ./configure
    make && make install
    #查看pcre版本
    pcre-config --version

安装Nginx

  • #下载
    wget http://nginx.org/download/nginx-1.6.2.tar.gz
    #解压安装包
    tar -zxvf nginx-1.6.2.tar.gz
    #进入安装包目录
    cd nginx-1.6.2/
    #编译安装(注意pcre路径)
    ./configure --prefix=/usr/local/webserver/nginx --with-http_stub_status_module --with-http_ssl_module --with-pcre=/usr/local/src/nginx/pcre-8.35
    make && make install
    #查看pcre版本
    /usr/local/webserver/nginx/sbin/nginx -v

  • 检查

  • #检查配置文件nginx.conf的正确性命令
    /usr/local/webserver/nginx/sbin/nginx -t
  • 启动 Nginx

  • /usr/local/webserver/nginx/sbin/nginx
    #查看进程
    ps -ef |grep nginx
  • Nginx 其他命令

  • /usr/local/webserver/nginx/sbin/nginx -s reload            # 重新载入配置文件
    /usr/local/webserver/nginx/sbin/nginx -s reopen # 重启 Nginx
    /usr/local/webserver/nginx/sbin/nginx -s stop # 停止 Nginx
  • 浏览器访问站点

Logstash

  • 下载解压

  • tar -zxvf logstash-7.3.1.tar.gz
  • 创建一个配置文件

  • vim logstash-nginx-access-log.conf

    input {

    path => "/usr/local/webserver/nginx/logs/*.log"

    start_position => "beginning"

    }

    }

    192.168.192.1 - - [12/Sep/2019:15:47:37 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36" "-"

    filter {

    grok {

    match => {

    "message" => '%{IPORHOST:remote_ip} - %{DATA:user_name} [%{HTTPDATE:time}] "%{WORD:request_action} %{DATA:request} HTTP/%{NUMBER:http_version}" %{NUMBER:response} %{NUMBER:bytes} "%{DATA:referrer}" "%{DATA:agent}"' } }

    date {

    match => [ "time" , "dd/MMM/yyyy:HH:mm:ss Z" ]

    locale => cn

    }

    }

    output {

    elasticsearch {

    hosts => ["192.168.192.10:9200"]

    index => "logstash-nginx-access-log"

    }

    stdout { codec => rubydebug }

    }

  • 启动

  • bin/logstash -f logstash-nginx-access-log.conf
  • 访问nginx页面

kibana

  • 下载解压

  • tar -zxvf kibana-7.3.1-linux-x86_64.tar.gz
    #进入kibana配置下
    cd kibana-7.3.1-linux-x86_64/config
    #修改配置文件
    vim kibana.yml

    server.host: "localhost"

    elasticsearch.hosts: ["http://localhost:9200"]

  • 启动(kibana不建议以root用户启动,如果用root启动,需要加--allow-root)

  • bin/kibana
  • 访问5601端口

  • 创建日志索引

  • 查看日志量等信息

ELK部署检测nginx日志demo的更多相关文章

  1. ELK+redis搭建nginx日志分析平台

    ELK+redis搭建nginx日志分析平台发表于 2015-08-19   |   分类于 Linux/Unix   |  ELK简介ELKStack即Elasticsearch + Logstas ...

  2. 使用elk+redis搭建nginx日志分析平台

    elk+redis 搭建nginx日志分析平台 logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢?首先,架构方面,nginx是有日志文件的,它的每个请求的状态 ...

  3. elk实战分析nginx日志文档

    elk实战分析nginx日志文档 架构: kibana <--- es-cluster <--- logstash <--- filebeat 环境准备:192.168.3.1 no ...

  4. ELK Stack (2) —— ELK + Redis收集Nginx日志

    ELK Stack (2) -- ELK + Redis收集Nginx日志 摘要 使用Elasticsearch.Logstash.Kibana与Redis(作为缓冲区)对Nginx日志进行收集 版本 ...

  5. 使用elk+redis搭建nginx日志分析平台(引)

    http://www.cnblogs.com/yjf512/p/4199105.html elk+redis 搭建nginx日志分析平台 logstash,elasticsearch,kibana 怎 ...

  6. elk平台分析nginx日志的基本搭建

    一.elk套件介绍 ELK 由 ElasticSearch . Logstash 和 Kiabana 三个开源工具组成.官方网站: https://www.elastic.co/products El ...

  7. ELK+Redis 解析Nginx日志

    一.ELK简介 Elk是指logstash,elasticsearch,kibana三件套,我们一般使用它们做日志分析. ELK工作原理图: 简单来讲ELK具体的工作流程就是客户端的logstash ...

  8. ELKBR部署检测项目日志

    ELK filebeat:具有日志收集功能,相比logstash,+filebeat更轻量,占用资源更少,适合客户端使用. redis消息队列选型:Redis 服务器通常都是用作 NoSQL 数据库, ...

  9. elk 入门 - 分析nginx日志 + json格式 + 有调试的意识 + elk7.2.0

    1.本次采用的一台主机,将所有的软件安装一台上进行测试工作. 2.安装部署:https://blog.51cto.com/hwg1227/2299995 3.简单调试 输出rubydebug inpu ...

随机推荐

  1. hdu 3068 最长回文 (Manacher算法求最长回文串)

    参考博客:Manacher算法--O(n)回文子串算法 - xuanflyer - 博客频道 - CSDN.NET 从队友那里听来的一个算法,O(N)求得每个中心延伸的回文长度.这个算法好像比较偏门, ...

  2. 通过Ajax提交form表单来提交上传文件

    Ajax 提交form方式可以将form表单序列化 然后将数据通过data提交至后台,例如: $.ajax({      url : "http://localhost:8080/" ...

  3. 洛谷 3177 [HAOI2015] 树上染色

    题目描述 有一棵点数为 N 的树,树边有边权.给你一个在 0~ N 之内的正整数 K ,你要在这棵树中选择 K个点,将其染成黑色,并将其他 的N-K个点染成白色 . 将所有点染色后,你会获得黑点两两之 ...

  4. CODE FESTIVAL 2017 qual A B fLIP(补题)

    平时没见过这样的题目,看到后很懵逼.没想到. 思路:按下按钮的顺序并不影响结果,一个按钮要么按一次,要么不按,按多了也没用,比如:按3次和按1次没啥区别. 假设这是个M * N的矩阵,我们已经按下了k ...

  5. H3C ISDN BRI和PRI

  6. canvas实现碰壁反弹(单个小方块)

    <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...

  7. Java如何计算hashcode值

    在设计一个类的时候,很可能需要重写类的hashCode()方法,此外,在集合HashSet的使用上,我们也需要重写hashCode方法来判断集合元素是否相等. 下面给出重写hashCode()方法的基 ...

  8. poj 1920 Towers of Hanoi

    Towers of Hanoi Time Limit: 3000MS   Memory Limit: 16000K Total Submissions: 2213   Accepted: 986 Ca ...

  9. [转载] linux、Solaris下xdmcp远程桌面服务

    原文链接 http://youlvconglin.blog.163.com/blog/static/52320420106243857254/ 使用图形界面远程登录linux和Solaris,首先要在 ...

  10. SpringSecurity认证流程详解

    SpringSecurity基本原理 在之前的文章<SpringBoot + Spring Security 基本使用及个性化登录配置>中对SpringSecurity进行了简单的使用介绍 ...