filebeat获取nginx的access日志配置
filebeat获取nginx的access日志配置 产生nginx日志的服务器即生产者服务器配置:
拿omp.chinasoft.com举例:
.nginx.conf主配置文件添加日志格式 log_format log_json '{ "remote_addr": "$remote_addr", '
'"remote_user": "$remote_user", '
'"time_local": "$time_local", '
'"request_url": "$scheme://$host$request_uri", '
'"status": "$status", '
'"body_bytes_sent": "$body_bytes_sent", '
'"http_referer": "$http_referer", '
'"http_user_agent": "$http_user_agent", '
'"http_x_forwarded_for": "$http_x_forwarded_for", '
'"request_time": "$request_time", '
'"timestamp": "$msec", '
'"request_method": "$request_method", '
'"root_id": "$root_id", '
'"trace_id": "$http_trace_id", '
'"span_id": "$http_span_id" '
'}'; .vhosts虚拟主机配置 a.server部分添加追踪参数
####### 添加链路追踪参数 #########
set $app_name "omp.chinasoft.com";
set $root_id $pid.$msec.$remote_addr.$connection.$connection_requests;
if ($http_root_id != "")
{
set $root_id $http_root_id;
}
.location部分添加
####### 添加链路追踪参数 ######### fastcgi_param ROOT_ID $root_id;
fastcgi_param APP_NAME $app_name; .调整日志的路径
error_log /data/www/logs/nginx_log/error/omp.chinasoft.com_error.log;
access_log /data/www/logs/nginx_log/access/omp.chinasoft.com_access.log log_json; # 具体配置
# cat /usr/local/nginx/config/vhost.d/omp.chinasoft.com
server {
listen ;
server_name omp.chinasoft.com;
return https://$server_name$request_uri;
} server {
listen ssl;
ssl_certificate /usr/local/nginx/config/cert2016/chinasoft_com.crt;
ssl_certificate_key /usr/local/nginx/config/cert2016/chinasoft_com.key;
ssl_session_cache shared:SSL1:20m;
ssl_session_timeout 60m;
ssl_protocols TLSv1 TLSv1. TLSv1.; server_name omp.chinasoft.com;
index index.html index.php;
root /var/www/vhosts/cloud_oa/public; client_max_body_size 800M; add_header Ws-From 'http/1.1 2.1.1.1 stable'; set $app_name "omp.chinasoft.com";
set $root_id $pid.$msec.$remote_addr.$connection.$connection_requests;
if ($http_root_id != "")
{
set $root_id $http_root_id;
} location / {
try_files $uri $uri/ /index.php?$query_string;
} location ~ /*\.php {
fastcgi_param ROOT_ID $root_id;
fastcgi_param APP_NAME $app_name;
include fastcgi_params;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
fastcgi_param APP_ENV "production";
fastcgi_pass unix:/tmp/php5.6-fpm.sock;
fastcgi_index index.php;
} location ~ .*\.(xml|gif|jpg|jpeg|png|bmp|swf|woff|woff2|ttf|js|css)$ {
expires 30d;
} #error_log /var/log/nginx/omp.chinasoft.com_error.log;
#access_log /var/log/nginx/omp.chinasoft.com_access.log;
error_log /data/www/logs/nginx_log/error/omp.chinasoft.com_error.log;
access_log /data/www/logs/nginx_log/access/omp.chinasoft.com_access.log log_json;
} 3.filebeat的配置 # cat /usr/local/filebeat-7.3.1-linux-x86_64/modules.d/nginx.yml
# Module: nginx
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.3/filebeat-module-nginx.html
filebeat.inputs:
# 采集nginx错误日志
- type: log
enabled: true
paths:
- /data/www/logs/nginx_log/error/*_error.log
fields:
log_type: ngx_error
fields_under_root: true
tail_files: true
multiline.pattern: '^\['
multiline.negate: true
multiline.match: after # 采集nginx访问日志
- type: log
enabled: true
paths:
- /data/www/logs/nginx_log/access/*_access.log
fields:
log_type: ngx_access
fields_under_root: true
tail_files: true
exclude_lines: ['\.(xml|gif|jpg|jpeg|png|bmp|swf|woff|woff2|ttf|js|css|svg|ico)'] # 输出
output.kafka:
hosts: ["1.1.1.1:19092"]
topic: filebeats-log # 启动filebeat命令
./filebeat -c modules.d/nginx.yml
/usr/local/filebeat-7.3.1-linux-x86_64/filebeat -c /usr/local/filebeat-7.3.1-linux-x86_64/modules.d/nginx.yml & 查看kafka日志具体内容的命令:
kafka配置路径,可以查看日志存放的路径:
config/server.config /usr/local/elk/kafka/bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files /data/kafka/logs/filebeats-log-omp-0/00000000000000000000.log --print-data-log filebeat udp监听配置
filebeat.inputs: # 监听udp
- type: udp
enabled: true
host: "0.0.0.0:9999" output.kafka:
hosts: ["10.10.18.242:9092"]
topic: filebeats-log # 采集者
processors:
- drop_fields:
fields: ["ecs", "input", "agent", "@metadata", "tags"]
filebeat获取nginx的access日志配置的更多相关文章
- CentOS6.9安装Filebeat监控Nginx的访问日志发送到Kafka
一.下载地址: 官方:https://www.elastic.co/cn/downloads/beats/filebeat 百度云盘:https://pan.baidu.com/s/1dvhqb0 二 ...
- Nginx的访问日志配置信息详解
Nginx的访问日志可以让我们知晓用户的地址,网站的那些部分最受欢迎,以及用户浏览时间等.Nginx会把每个用户的访问日志记录到指定的日志文件中. Nginx主要有两个参数来控制 log_format ...
- Nginx的Access日志记录的时机
想当然了,所以犯了一个低级的错误... nginx的access访问日志可以记录下访问到nginx的相关信息.包含请求地址,请求路径,返回码,请求的处理时间等信息.. 然后问题来了,这个日志是什么时候 ...
- Tomcat访问(access)日志配置
在tomcat的access中打印出请求的情况可以帮助我们分析问题,通常比较关注的有访问IP.线程号.访问url.返回状态码.访问时间.持续时间. 最近在跟一个图片请求超时的问题,需要在项目的acce ...
- Nginx实践:(1) Nginx安装及日志配置
1. 安装 (1) Nginx下载地址:https://nginx.org/download/nginx-1.14.0.tar.gz (2) 安装时可能出现依赖库不存在,比如prec包,可以使用y ...
- Servlet、Tomcat访问(access)日志配置、记录Post请求参数
一.运行环境: Maven:3.5.2(点击下载) ,下载页 Tomcat:8.5.29(点击下载) ,下载页 JDK:jdk1.7.0_80(点击下载) ,下载页 MavenDependency: ...
- Nginx 分析access日志文件
Nginx Access Log日志统计分析常用命令 IP相关统计 统计IP访问量 awk '{print $1}' access.log | sort -n | uniq | wc -l 查看某一时 ...
- nginx php mysql日志配置
1.编辑mysql的配置文件my.cnf,这个文件通常在/etc目录下,但我用rpm装mysql的时候这个配置文件是在/usr目录下,但我测试过,无论是放在/etc目录下,还是放在 /usr目 ...
- 【mapreudce】6.对Nginx的access日志进行数据清洗,我们提取出文件数据的ip,时间,url
1.首先我们需要一个util辅助类 package cn.cutter.demo.hadoop.mapreduce.nginxlog.util; import java.text.ParseExcep ...
随机推荐
- eclipse设置代码折叠展开快捷键
/** * 1.General->Editors->Structured Text Editors -> Enable folding 打勾 * .Java->Editors- ...
- 使用jquery.datatable.js注意事项
本文链接:https://blog.csdn.net/ylg01/article/details/76463908写在最前面的话,如果不是维护老项目或者在老项目上二次开发尽量不要用这个表格插件 为什么 ...
- gRPC应用C++
1. gRPC简述 RPC,远程方法调用,就是像调用本地方法一样调用远程方法. gRPC是Google实现的一种RPC框架,基于HTTP/2标准设计,带来诸如双向流.流控.头部压缩.单 TCP 连接 ...
- 获取ul li的value的值
<script> $(function(){ $(".month-list").find("li").click(function(){ var t ...
- Python +appium 封装desired_caps模块
使用python+appium做android的自动化测试时,首先需要启动appium服务,然后连接上手机,配置如下: desired_caps = {"platformName" ...
- String,StringBuffer,StringBuilder区别(笔记)
String类被final修饰,创建的对象为不可变对象,属于字符串常量. 而StringBuffer与StringBuilder创建的属于字符串常量. StringBuffer的方法大多用了Synch ...
- javascript一个在网页上画线的库
文章;安利一个绘制指引线的JS库leader-line 一个在网页上划线的库感觉很不错.
- [转载]Fiddler界面详解
转载地址:http://www.cnblogs.com/chengchengla1990/p/5681775.html Statistics 页签 完整页签如下图: Statistics 页签显示当前 ...
- Python 字符串正则处理实例
#coding:utf-8 ''' Created on 2017��9��6�� @author: li.liu ''' from selenium import webdriver from se ...
- 与你一起学习MS Project——理论篇:项目管理与Project
Hi,你好!我是大黄蜂,非常高兴借此机会与你一起学习微软Project的相关知识和技能.这一次的分享主要是结合本人在实际使用Project 2013过程中的一些方法技巧,其中有一些材料则来源于互联网, ...