ELK

E: ElasticSearch 搜索引擎 存储 https://www.elastic.co/cn/downloads/elasticsearch

L: Logstash 日志收集 https://www.elastic.co/cn/downloads/logstash

K: kibana 展示 https://www.elastic.co/cn/downloads/kibana

ElasticSearch

  • 下载解压

  • tar -zxvf elasticsearch-7.3.1-linux-x86_64.tar.gz
  • 在es下创建数据和日志文件夹,修改配置文件

  • #对应配置里的数据和日志文件目录
    mkdir /usr/local/src/elasticsearch/elasticsearch-7.3.1/data
    mkdir /usr/local/src/elasticsearch/elasticsearch-7.3.1/logs
    vim config/elasticsearch.yml

    cluster.name: my-application

    node.name: node-10

    path.data: /usr/local/src/elasticsearch/elasticsearch-7.3.1/data

    path.logs: /usr/local/src/elasticsearch/elasticsearch-7.3.1/logs

  • 新建elkuser用户(注意不能使用root用户启动es)

  • #创建用户
    useradd elkuser
    #修改用户组和用户
    chown -R elkuser:elkuser elasticsearch-7.3.1
    #切换用户
    su elkuser
  • 启动

  • ./bin/elasticsearch

Nginx

安装PCRE

  • 安装编译工具及库文件

  • yum -y install make zlib zlib-devel gcc-c++ libtool  openssl openssl-devel
  • 首先要安装 PCRE(作用是让 Nginx 支持 Rewrite 功能)

  • #下载
    wget http://downloads.sourceforge.net/project/pcre/pcre/8.35/pcre-8.35.tar.gz
    #解压安装包
    tar -zxvf pcre-8.35.tar.gz
    #进入安装包目录
    cd pcre-8.35
    #编译安装
    ./configure
    make && make install
    #查看pcre版本
    pcre-config --version

安装Nginx

  • #下载
    wget http://nginx.org/download/nginx-1.6.2.tar.gz
    #解压安装包
    tar -zxvf nginx-1.6.2.tar.gz
    #进入安装包目录
    cd nginx-1.6.2/
    #编译安装(注意pcre路径)
    ./configure --prefix=/usr/local/webserver/nginx --with-http_stub_status_module --with-http_ssl_module --with-pcre=/usr/local/src/nginx/pcre-8.35
    make && make install
    #查看pcre版本
    /usr/local/webserver/nginx/sbin/nginx -v

  • 检查

  • #检查配置文件nginx.conf的正确性命令
    /usr/local/webserver/nginx/sbin/nginx -t
  • 启动 Nginx

  • /usr/local/webserver/nginx/sbin/nginx
    #查看进程
    ps -ef |grep nginx
  • Nginx 其他命令

  • /usr/local/webserver/nginx/sbin/nginx -s reload            # 重新载入配置文件
    /usr/local/webserver/nginx/sbin/nginx -s reopen # 重启 Nginx
    /usr/local/webserver/nginx/sbin/nginx -s stop # 停止 Nginx
  • 浏览器访问站点

Logstash

  • 下载解压

  • tar -zxvf logstash-7.3.1.tar.gz
  • 创建一个配置文件

  • vim logstash-nginx-access-log.conf

    input {

    path => "/usr/local/webserver/nginx/logs/*.log"

    start_position => "beginning"

    }

    }

    192.168.192.1 - - [12/Sep/2019:15:47:37 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36" "-"

    filter {

    grok {

    match => {

    "message" => '%{IPORHOST:remote_ip} - %{DATA:user_name} [%{HTTPDATE:time}] "%{WORD:request_action} %{DATA:request} HTTP/%{NUMBER:http_version}" %{NUMBER:response} %{NUMBER:bytes} "%{DATA:referrer}" "%{DATA:agent}"' } }

    date {

    match => [ "time" , "dd/MMM/yyyy:HH:mm:ss Z" ]

    locale => cn

    }

    }

    output {

    elasticsearch {

    hosts => ["192.168.192.10:9200"]

    index => "logstash-nginx-access-log"

    }

    stdout { codec => rubydebug }

    }

  • 启动

  • bin/logstash -f logstash-nginx-access-log.conf
  • 访问nginx页面

kibana

  • 下载解压

  • tar -zxvf kibana-7.3.1-linux-x86_64.tar.gz
    #进入kibana配置下
    cd kibana-7.3.1-linux-x86_64/config
    #修改配置文件
    vim kibana.yml

    server.host: "localhost"

    elasticsearch.hosts: ["http://localhost:9200"]

  • 启动(kibana不建议以root用户启动,如果用root启动,需要加--allow-root)

  • bin/kibana
  • 访问5601端口

  • 创建日志索引

  • 查看日志量等信息

ELK部署检测nginx日志demo的更多相关文章

  1. ELK+redis搭建nginx日志分析平台

    ELK+redis搭建nginx日志分析平台发表于 2015-08-19   |   分类于 Linux/Unix   |  ELK简介ELKStack即Elasticsearch + Logstas ...

  2. 使用elk+redis搭建nginx日志分析平台

    elk+redis 搭建nginx日志分析平台 logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢?首先,架构方面,nginx是有日志文件的,它的每个请求的状态 ...

  3. elk实战分析nginx日志文档

    elk实战分析nginx日志文档 架构: kibana <--- es-cluster <--- logstash <--- filebeat 环境准备:192.168.3.1 no ...

  4. ELK Stack (2) —— ELK + Redis收集Nginx日志

    ELK Stack (2) -- ELK + Redis收集Nginx日志 摘要 使用Elasticsearch.Logstash.Kibana与Redis(作为缓冲区)对Nginx日志进行收集 版本 ...

  5. 使用elk+redis搭建nginx日志分析平台(引)

    http://www.cnblogs.com/yjf512/p/4199105.html elk+redis 搭建nginx日志分析平台 logstash,elasticsearch,kibana 怎 ...

  6. elk平台分析nginx日志的基本搭建

    一.elk套件介绍 ELK 由 ElasticSearch . Logstash 和 Kiabana 三个开源工具组成.官方网站: https://www.elastic.co/products El ...

  7. ELK+Redis 解析Nginx日志

    一.ELK简介 Elk是指logstash,elasticsearch,kibana三件套,我们一般使用它们做日志分析. ELK工作原理图: 简单来讲ELK具体的工作流程就是客户端的logstash ...

  8. ELKBR部署检测项目日志

    ELK filebeat:具有日志收集功能,相比logstash,+filebeat更轻量,占用资源更少,适合客户端使用. redis消息队列选型:Redis 服务器通常都是用作 NoSQL 数据库, ...

  9. elk 入门 - 分析nginx日志 + json格式 + 有调试的意识 + elk7.2.0

    1.本次采用的一台主机,将所有的软件安装一台上进行测试工作. 2.安装部署:https://blog.51cto.com/hwg1227/2299995 3.简单调试 输出rubydebug inpu ...

随机推荐

  1. Android Http实现文件的上传和下载

    最近做一个项目,其中涉及到文件的上传和下载功能,大家都知道,这个功能实现其实已经烂大街了,遂.直接从网上荡了一堆代码用,结果,发现网上的代码真是良莠不齐,不是写的不全面,就是有问题,于是自己重新整理了 ...

  2. 使用jQuery的 autocomplete 实现输入框 自动提示补全

    参考网址: https://www.cnblogs.com/jinzhiming/p/6768402.html 插件下载地址: 链接:https://pan.baidu.com/s/1SpP3hixZ ...

  3. 模板—tarjan求割点

    int dfn[MAXN],low[MAXN],cnt,root; bool iscut[MAXN]; void tarjan(int x) { dfn[x]=low[x]=++cnt; ; for( ...

  4. Python基础10 回顾

    从最初的"Hello World",走到面向对象,该回过头来看看,教程中是否遗漏了什么. 我们之前提到一句话,"Everything is Object".那么 ...

  5. 解决pip is configured with locations that require TLS/SSL问题

    python3.7安装, 解决pip is configured with locations that require TLS/SSL问题1.安装相关依赖 yum install gcc libff ...

  6. CSS属性Display(显示)和Visibility(可见性)

    隐藏一个元素可以通过把display属性设置为“none”,或把visibility属性设置为“hidden”.但是请注意,这两种方法会产生不同的效果. Visibility:hidden可以隐藏某个 ...

  7. H3C RARP

  8. HDU1686 Oulipo 题解 KMP算法

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=1686 题目大意:给你一个子串t和一个母串s,求s中有多少个子串t. 题目分析:KMP模板题. cal_ ...

  9. seo优化:302跳转变为301跳转

    <?php header("Location: http://www.XXX.com",TRUE,301); exit; ?> 要加exit;不加exit;还是会是30 ...

  10. H3C PPP会话流程