公司给出一个需求,指定时间内,统计请求driver.upload.position(司机位置上报接口)中,来源是华为push(come_from=huawei_push)的数量,要求是按天统计。

看一下url格式,url中,method参数就是所请求的接口地址

api10 100.116.219.186 | - | /May/::: + | GET /rest?app_ver=5.1.2.0&appkey=&come_from=huawei_push&from=internal&
gps_timestamp=&gps_type=baidu&latitude=1.0&log_time=&longitude=1.0&mac=C8%3A94%3ABB%3A81%3AFD%3A79&
method=driver.upload.position&milli_timestamp=&model=HUAWEI-PRA-AL00&os=HUAWEI24%2C7.&status=&
timestamp=--%%3A00%3A15&token=&user=YZ52092&ver=&sig=1cce09da019def3a7ed9fe08749d07c1
HTTP/1.1 | | | - | - | 0.019 | okhttp/2.5. | 122.96.41.116 | 0.019

log目录下的列表文件

由于我们的日志是按照分钟来统计单位文件,以往的查询如果统计单天的话,一条grep语句就可以解决。

$ cat --* | grep 'driver.upload.position' | grep 'come_from=huawei_push' 

由于文件数据量比较大,每一次grep都会耗费巨大时间,如果仅仅一两天的这个稍微耐心等一下就可以了,现在是统计2018-12-01到2019-05-17号的,耗费不起。。

第一个想到的就是shell 脚本,awk啊啥的。

不了解grep啊 awk的匹配,可以看看这个文章linux sed、awk、grep同时匹配多个条(并且 or 或者)

#!/bin/sh
start_date= //开始时间
end_date= //结束时间 logdir=/data/logs/nginx_api //日志目录
i=
while true
do
oDate=`date -d "$start_date + $i day" "+%Y%m%d"`
[ $oDate -gt $end_date ] && break day=${oDate::}'-'${oDate::}'-'${oDate::}

count=`find $logdir/$day* | xargs grep -E "(come_from=huawei_push.*driver.upload.position|come_from=huawei_push.*driver.upload.position)" | wc -l`
          echo $day'总数量为:'$count >>days.txt   //写入指定文件

   let i+=
done

OK。执行脚本统计结果写入文件

这里最初想到的是,通过年份获取每个月的天数,然后各种遍历操作,不小心百度发现shell还可以获取指定开始日期到指定结束日期的所有日期,皆大欢喜~所以以上内容就是这么解决的。

补充:获取当前年份的每个月天数的shell

for m in {..}; do
date -d "$m/1 + 1 month - 1 day" "+%b - %d days";
done
//输出
[root@node122 logs]# ./test.sh
Jan - days
Feb - days
Mar - days
Apr - days
May - days
Jun - days
Jul - days
Aug - days
Sep - days
Oct - days
Nov - days
Dec - days

shell 统计nginx日志中从指定日期到结束日期之间每天指定条件匹配的总次数的更多相关文章

  1. linux统计nginx日志中请求访问量命令

    Nginx 三种分配策略:轮询.权重.ip_hash(比如你登录了一个网站,登录信息已经保存到 a 机器,但当你做后续操作时的请求会到 b 机器,那么就获取不到你原来登录的信息,此时你就需要重新登录了 ...

  2. 统计nginx日志

    .根据访问IP统计UV awk '{print $1}' access.log|sort | uniq -c |wc -l .统计访问URL统计PV awk '{print $7}' access.l ...

  3. Nginx日志中的金矿 -- 好文收藏

    转:http://www.infoq.com/cn/articles/nignx-log-goldmine Nginx(读作Engine-X)是现在最流行的负载均衡和反向代理服务器之一.如果你是一名中 ...

  4. 用shell统计访问日志里每个ip访问次数【转】

    今天,要统计一个系统的每个ip访问次数,于是我找到该系统访问日志,并写脚本实现.   访问日志情况: [root@qular ~]# cd /usr/local/nginx/logs/ [root@q ...

  5. Grafana和influxdb监控nginx日志中的请求响应时间图形化监控

    监控效果如图: 监控方法: 通过logstash过滤nginx日志,然后解析出nginx日志中的request time字段 然后output到influxdb时序数据库中 通过grafana展示数据 ...

  6. nginx日志中访问最多的100个ip及访问次数

    nginx日志中访问最多的100个ip及访问次数 awk '{print $1}' /opt/software/nginx/logs/access.log| sort | uniq -c | sort ...

  7. 统计nginx日志里流量

    用awk可以,比如,我想统计nginx日志里,今天下午3点0分,这一分钟内,访问的流量(文件的大小) grep "07/Nov/2013:15:00:"  *.log|awk '{ ...

  8. PHP:获取指定日期所在月的开始日期与结束日期

    /** * 获取指定日期所在月的开始日期与结束日期 * @param string $date * @param boolean 为true返回开始日期,否则返回结束日期 * @return arra ...

  9. jquery中使用datepicker限制开始日期小于结束日期

    这里是使用Jquery插件实现的,这段代码来自于网络.感觉很实用,就做笔记记录下来. 原文:http://blog.csdn.net/tianyacao8025/article/details/707 ...

随机推荐

  1. Wireshark分析实战:某达速递登录帐号密码提取

    - 准备工作 首先,备好Wireshark,打开,在外网网卡上抓包. 其次,用浏览器访问http://www.yundaex.com/cn/index.php,并在手机上下载安装其APP,找到登录页面 ...

  2. RunLoop的知识小记

    RunLoop字面上的意思是,运行循环: 其基本作用:保持程序的持续运行: 处理App中的各种事件(比如:触摸事件.定时器事件.Selector事件) 节省CPU资源,提高程序性能:该做事时做事,该休 ...

  3. Android自定义注解

    1.元注解   概念:用来定义其他注解的注解,自定义注解的时候,需要使用它来定义我们的注解.   在jdk 1.5之后提供了 java.lang.annotation 来支持注解功能   常见的四种元 ...

  4. apache jmeter 使用

    ======================= 插件 ======================= 在JMeter 中很多东西都是基于插件技术的, 所以扩展性非常好, 比如下面这些东西都是插件: 1 ...

  5. TCP/IP协议的分层

    T C P / I P协议族是一组不同的协议组合在一起构成的协议族.尽管通常称该协议族为 T C P / I P,但T C P和I P只是其中的两种协议而已(该协议族的另一个名字是 I n t e r ...

  6. Linux 安装并配置zsh

    1. 安装zsh,配置agnoster主题 1.1 安装zsh $ sudo apt-get install -y zsh 1.2 安装oh-my-zsh $ sh -c "$(curl - ...

  7. Windows 压缩文件到 Linux中解压文件名乱码

    问题 在Windows中将文件夹压缩后,拿到Ubuntu系统中解压,中文文件名乱码 解决 因为两个系统所使用的编码不同,Windows一般使用GBK编码,Ubuntu使用utf8编码,只需要在解压的时 ...

  8. 【第1题】 Pythonn内存管理以及垃圾回收机制

    内存管理 Python解释器由c语言开发完成,py中所有的操作最终都由底层的c语言来实现并完成,所以想要了解底层内存管理需要结合python源码来进行解释. 1. 两个重要的结构体 include/o ...

  9. 新建全色或者resize(毫无价值,只是做记录)

    import glob import os,sys import shutil import numpy as np import cv2 import matplotlib.pyplot as pl ...

  10. 前端Jquery总是提示$符未定义

    这些网上给的答案都是Jquery的js文件未成功导入 ! 我的问题是竟然是Spring的service层上面忘记加service注解了 ! 是后端的问题 !