# 公司网站反映很慢，可能是一些页面的访问方法或者页面引起，通过程序统计nginx访问日志的页面和具体的action方法访问次数以及平均响应时间可以为程序开发的同事提供参考定位具体的代码


# 默认的nginx日志

log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';

现在加上响应时间，方便统计

log_format access '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" "$http_host" "$upstream_response_time" "$request_time"' ;

发现统计出来的响应时间$upstream_response_time无法参与计算，于是去掉引号，变为如下，方便计算：

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

             '$status $body_bytes_sent "$http_referer" '

             '"$http_user_agent" "$http_x_forwarded_for" "$http_host" $upstream_response_time $request_time';

不需要去掉双引号也可以，用python处理一下去掉两边的双引号即可，如下：

_time = _time.lstrip('"').rstrip('"')

具体的python代码

#encoding=utf-8

from decimal import Decimal

# 找到日志中的top n，日志格式如下

# 192.168.5.46 - - [01/Dec/2017:09:47:21 +0800] "GET /api_moblie_idol.php?action=get_user_guangying_comment&app_platform=android&channelId=S007&starid=6730&version=164&unique_id=A73308A15313C8E34B518CA515288A13&messageid=5a20ae347a11737a288b4738&gtui_cid=03908d9fa39c8de124aa01688109b26c&page=7&type=latest HTTP/1.0" 200 70 "-" "-" "223.89.74.82" "data.android.idol001.com" 0.050 0.052

# 统计访问网站php页面和方法的次数，并且生成响应时间

def log_analysis(log_file, dpath, topn = 10):

    path=log_file

    shandle = open(path, 'r')

    count = 1

    log_dict = {}

    log_dict2 = {}

    total_time = 0.0

    while True:
　　　　　# 最好加上strip()碰到换行就无法识别了

        line = shandle.readline().strip()

        # 如果到了文件末尾就终止

        if line == '':

            break

        nodes = line.split()

        # 192.168.9.187 - - [30/Nov/2017:18:28:35 +0800] "GET /api_moblie_idol.phpnique_id=5ACE6943 HTTP/1.0" 200 13950 "-" "idol/5900 (iPhone; iOS 10.3.2; Scale/3.00)" "171.221.169.54" "data.idol001.com" "0.144" "0.144"

        _url, _time = nodes[6], nodes[-2]

        # 使用?分割页面，获取url，通过action和&分割出action动作

        _tmp = _url.split('action')

        if len(_tmp) != 2:

            continue

        _url = _url.split('?')[0]

        _method = _tmp[1].split('&')[0]

        # print 'url:%s, method:%s, time:%s' % (_url,_method,_time)

        # 如果不是数字就跳出本次循环

        if _time == '-':

            continue

        try:

            # {(url,method):count}当做字典的key

            # 统计url,method的次数

            if (_url, _method) not in log_dict:

                log_dict[(_url, _method)] = 1

            else:

                log_dict[(_url, _method)] = log_dict[(_url, _method)] + 1

            # 统计url,method的累计时间

            if (_url, _method) not in log_dict2:

                log_dict2[(_url, _method)] = Decimal(_time)

            else:

                log_dict2[(_url, _method)] = Decimal(_time) + Decimal(log_dict2[(_url, _method)])

        except Exception,e:

            continue

    # print log_dict

    # print log_dict2

    # 关闭文件句柄

    shandle.close()

    # 对字典进行排序

    # ('/index', 'post'): 2

    rst_list = log_dict.items()

    # print rst_list

    for j in range(topn):

    # 冒泡法根据rst_list中的count排序，找出访问量最大的10个IP

        for i in range(0,len(rst_list) - 1):

            if rst_list[i][1] > rst_list[i+1][1]:

                temp = rst_list[i]

                rst_list[i] = rst_list[i+1]

                rst_list[i+1] = temp

    # 获取 topn 个数

    need_list = rst_list[-1:-topn - 1:-1]

    rt_list = []

    for _line, _num in need_list:

        _tmp_dict = {}

        _avg_time = Decimal(log_dict2[_line])/Decimal(_num)

        # print '_avg= %s' % _avg_time

        _tmp_dict['_num'] = _num

        _tmp_dict['_avg'] = _avg_time

        rt_list.append((_line,_tmp_dict))

    # print rt_list

    # 打印出top 10访问日志，并写入网页中

    title = 'nginx访问日志'

    tbody = ''

    for k,v in rt_list:

        print v['_num'],k[1],k[0],v['_avg']

        tbody += '<tr>\n<td>%s</td><td>%s</td><td>%s</td><td>%s</td>\n<tr>\n' % (v['_num'],k[1],k[0],v['_avg'])

    html_tpl = '''

    <!DOCTYPE html>

    <html>

        <head>

            <meta charset="utf-8">

            <title>{title}</title>

        </head>

        <body>

            <table border="1" cellspacing="0" cellpadding="0" color='pink'>

                <thead>

                    <tr cellspacing="0" cellpadding="0">

                        <th>访问次数</th>

                        <th>method</th>

                        <th>url</th>

                        <th>平均响应时间</th>

                    </tr>

                </thead>

                {tbody}

            </table>

        </body>

    </html>

    '''

    html_handle = open(dpath,'w')

    html_handle.write(html_tpl.format(title = title, tbody = tbody))

    html_handle.close()

# 函数入口

if __name__ == '__main__':

    # nginx日志文件

    log_file = 'access_android_idol001_com.log'

    dpath = 'top1000.html'

    # topn 表示去top多少个

    # 不传，默认10个

    topn = 1000

    log_analysis(log_file,dpath,topn)

最终的效果：

通过python统计nginx日志定位php网站响应慢的问题的更多相关文章

  1. 使用Python 统计nginx日志前十ip访问量并以柱状图显示

    脚本内容: import matplotlib.pyplot as plt # nginx_file = '10.6.11.91_access.log-2018-12-27' ip = {} #筛选n ...

  2. 统计nginx日志里流量

    用awk可以,比如,我想统计nginx日志里,今天下午3点0分,这一分钟内,访问的流量(文件的大小) grep "07/Nov/2013:15:00:"  *.log|awk '{ ...

  3. Python切割nginx日志_小组_ThinkSAAS

    Python切割nginx日志_小组_ThinkSAAS Python切割nginx日志

  4. 统计nginx日志

    .根据访问IP统计UV awk '{print $1}' access.log|sort | uniq -c |wc -l .统计访问URL统计PV awk '{print $7}' access.l ...

  5. linux统计nginx日志中请求访问量命令

    Nginx 三种分配策略:轮询.权重.ip_hash(比如你登录了一个网站,登录信息已经保存到 a 机器,但当你做后续操作时的请求会到 b 机器,那么就获取不到你原来登录的信息,此时你就需要重新登录了 ...

  6. 利用python分析nginx日志

    最近在学习python,写了个脚本分析nginx日志,练练手.写得比较粗糙,但基本功能可以实现. 脚本功能:查找出当天访问次数前十位的IP,并获取该IP来源,并将分析结果发送邮件到指定邮箱. 实现前两 ...

  7. 统计nginx日志单IP访问请求数排名

    下面是我截取一段nginx日志 /Jan/::: +] "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gec ...

  8. Grafana和influxdb监控nginx日志中的请求响应时间图形化监控

    监控效果如图: 监控方法: 通过logstash过滤nginx日志,然后解析出nginx日志中的request time字段 然后output到influxdb时序数据库中 通过grafana展示数据 ...

  9. python统计nginx脚本信息

    #!/usr/bin/env python # -*- coding: utf-8 -*- import urllib2 import json import subprocess import th ...

随机推荐

  1. js学习总结：DOM节点一（选择器，节点类型）

    DOM:document object model 文档对象模型 DOM就是整个HTML文档的关系图谱(代表整个HTML文档),可以理解为下图: 一.查看元素节点 1.document.getElem ...

  2. ASP.NET MVC 4 (十) 模型验证

    模型验证是在模型绑定时检查从HTTP请求接收的数据是否合规以保证数据的有效性,在收到无效数据时给出提示帮助用户纠正错误的数据. 显式模型验证 验证数据最直接的方式就是在action方法中对接收的数据验 ...

  3. Windows下安装Mysql5.7

    版本如下: Windows10 Mysql5.7.18 下载地址:https://dev.mysql.com/downloads/mysql/ 本人解压到了:D:\Program Files (x86 ...

  4. Java9+版本中，Interface的内容

    使用接口的注意事项: 1.接口没有静态代码块或者构造方法 2.一个类的父类是唯一的,但是一个类可以同时实现多个接口(区别) 3.如果实现类实现多个接口有重名的抽象方法,那么实现类只需要覆盖重写一个即可 ...

  5. Continuous Design

    Continuous Design https://www.martinfowler.com/ieeeSoftware/continuousDesign.pdf T he rising popular ...

  6. 【bzoj 1492】[NOI2007]货币兑换Cash

    Description 小Y最近在一家金券交易所工作.该金券交易所只发行交易两种金券:A纪念券(以下简称A券)和 B纪念券(以下简称B券).每个持有金券的顾客都有一个自己的帐户.金券的数目可以是一个实 ...

  7. 【bzoj 1143】[CTSC2008]祭祀river

    Description 在遥远的东方,有一个神秘的民族,自称Y族.他们世代居住在水面上,奉龙王为神.每逢重大庆典, Y族都会在水面上举办盛大的祭祀活动.我们可以把Y族居住地水系看成一个由岔口和河道组成 ...

  8. volatile的使用场景

    单词解释: 乱序执行:指CPU对代码的执行顺序进行乱序优化,但保证各执行代码单元的顺序按指令顺序排列.以达到充分利用处理器的各处理单元的目的.(可以理解成:一个任务有不同的执行单元,这些单元之间有一定 ...

  9. dll和lib的关系（转）

    转自http://blog.163.com/zhengjiu_520/blog/static/3559830620093583438464/ 前面有一章说编译与链接的,说得很简略,其实应该放到这一章一 ...

  10. ubuntu安装GBK编码

    1 添加GBK编码 sudo vim /var/lib/locales/supported.d/local en_US.UTF-8 UTF-8 zh_CN.UTF-8 UTF-8 zh_CN.GBK ...