使用正则表达式来处理Nginx 日志 一. 先对单行的日志进行分组正则匹配,返回匹配后的结果(字典格式): from datetime import datetime import re #单行日志 logline = '''183.60.212.153 - - [19/Feb/2013:10:23:29 +0800] "GET /o2o/media.html?menu=3 HTTP/1.1" 200 16691 "-" "Mozilla/5.0 (com…

Nginx访问日志 这里补充下Nginx访问日志使用的说明.一般在nginx.conf主配置文件里需要定义一种格式: log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for&qu…

一.介绍 1.概念 正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符.及这些特定字符的组合,组成一个"规则字符串",这个"规则字符串"用来表达对字符串的一种过滤逻辑. 简单的说,通过正则表达式,我们可以从一堆杂乱无章的字符串中,得到符合某种特定规则的字符串,比如说,我们从某个网站上爬取到了很多数据,而我们只想要其中的图片,这时正则表达式就可以帮助我们从这些数据中找到图片. 2.使用正则表达式进行匹配的流程: 3.正则表达式语法规则: 二.pyt…

1.前提是引入import re 匹配邮箱后缀需要写入r=r'\.com\.cn|\.com|\.cn' r=r'(\w+@\w+(\.com\.con|\.com|\.cn))'ll=re.findall(r,"ZZ@fd.com.con")print(ll)2.正则常用的函数 compile www=r'a[bcd]c'p=re.compile(www)jj=p.findall("abcd,adc,aac,acc")print(jj)3.使用match和sear…

1.今天学习的f=open("d:\testcase.xml","r")会报错 需要改成f=open("d:\\testcase.xml","r") 或者 f=open(r"d:\testcase.xml","r") 2.元字符  * 匹配元字符例子: gg=r"1\*2"kk=re.findall(gg,"01*2232321*23")print…

一.ELK安装 1.2 elk配置 logstash自定义配置文件,取名为filebeat_log.conf : input { beats { port => 5044 client_inactivity_timeout => 90 codec => json } } filter { date { match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ] target => ["…

最近在学习python,写了个脚本分析nginx日志,练练手.写得比较粗糙,但基本功能可以实现. 脚本功能:查找出当天访问次数前十位的IP,并获取该IP来源,并将分析结果发送邮件到指定邮箱. 实现前两项功能的脚本内容如下: #!/usr/bin/env python # coding:utf-8 # date:2015-12-10 # author:eivll0m import urllib import json url = 'http://ip.taobao.com/service/getI…

nginx系列友情链接:nginx高性能WEB服务器系列之一简介及安装https://www.cnblogs.com/maxtgood/p/9597596.htmlnginx高性能WEB服务器系列之二命令管理https://www.cnblogs.com/maxtgood/p/9597990.htmlnginx高性能WEB服务器系列之三版本升级https://www.cnblogs.com/maxtgood/p/9598113.htmlnginx高性能WEB服务器系列之四配置文件详解https:…

grok-patterns内置了很多基础变量的正则表达式的log解析规则,其中包括apache的log解析(同样可以用于nginx的log解析).   基于nginx日志分析配置: 1.配置nginx日志格式如下: log_format main '$remote_addr [$time_local]' ' "$request" $status $body_bytes_sent' ' "$http_referer"' ' "$request_time&qu…

自己有个tony6.com的服务器,上面挂着我的博客,web服务器是nginx. 由于最近一直在折腾python,所以简单写了个nginx日志分析工具,它可以分析出每个IP的点击数量和IP所在地. #!/usr/bin/env pypy #coding:utf8 import re import sys import urllib import json contents = sys.argv[1] url = "http://ip.taobao.com/service/getIpInfo.ph…