shell 统计nginx日志中从指定日期到结束日期之间每天指定条件匹配的总次数
公司给出一个需求,指定时间内,统计请求driver.upload.position(司机位置上报接口)中,来源是华为push(come_from=huawei_push)的数量,要求是按天统计。
看一下url格式,url中,method参数就是所请求的接口地址
api10 100.116.219.186 | - | /May/::: + | GET /rest?app_ver=5.1.2.0&appkey=&come_from=huawei_push&from=internal&
gps_timestamp=&gps_type=baidu&latitude=1.0&log_time=&longitude=1.0&mac=C8%3A94%3ABB%3A81%3AFD%3A79&
method=driver.upload.position&milli_timestamp=&model=HUAWEI-PRA-AL00&os=HUAWEI24%2C7.&status=&
timestamp=--%%3A00%3A15&token=&user=YZ52092&ver=&sig=1cce09da019def3a7ed9fe08749d07c1
HTTP/1.1 | | | - | - | 0.019 | okhttp/2.5. | 122.96.41.116 | 0.019
log目录下的列表文件
由于我们的日志是按照分钟来统计单位文件,以往的查询如果统计单天的话,一条grep语句就可以解决。
$ cat --* | grep 'driver.upload.position' | grep 'come_from=huawei_push'
由于文件数据量比较大,每一次grep都会耗费巨大时间,如果仅仅一两天的这个稍微耐心等一下就可以了,现在是统计2018-12-01到2019-05-17号的,耗费不起。。
第一个想到的就是shell 脚本,awk啊啥的。
不了解grep啊 awk的匹配,可以看看这个文章linux sed、awk、grep同时匹配多个条(并且 or 或者)
#!/bin/sh
start_date= //开始时间
end_date= //结束时间 logdir=/data/logs/nginx_api //日志目录
i=
while true
do
oDate=`date -d "$start_date + $i day" "+%Y%m%d"`
[ $oDate -gt $end_date ] && break day=${oDate::}'-'${oDate::}'-'${oDate::}
count=`find $logdir/$day* | xargs grep -E "(come_from=huawei_push.*driver.upload.position|come_from=huawei_push.*driver.upload.position)" | wc -l`
echo $day'总数量为:'$count >>days.txt //写入指定文件
let i+=
done
OK。执行脚本统计结果写入文件
这里最初想到的是,通过年份获取每个月的天数,然后各种遍历操作,不小心百度发现shell还可以获取指定开始日期到指定结束日期的所有日期,皆大欢喜~所以以上内容就是这么解决的。
补充:获取当前年份的每个月天数的shell
for m in {..}; do
date -d "$m/1 + 1 month - 1 day" "+%b - %d days";
done
//输出
[root@node122 logs]# ./test.sh
Jan - days
Feb - days
Mar - days
Apr - days
May - days
Jun - days
Jul - days
Aug - days
Sep - days
Oct - days
Nov - days
Dec - days
shell 统计nginx日志中从指定日期到结束日期之间每天指定条件匹配的总次数的更多相关文章
- linux统计nginx日志中请求访问量命令
Nginx 三种分配策略:轮询.权重.ip_hash(比如你登录了一个网站,登录信息已经保存到 a 机器,但当你做后续操作时的请求会到 b 机器,那么就获取不到你原来登录的信息,此时你就需要重新登录了 ...
- 统计nginx日志
.根据访问IP统计UV awk '{print $1}' access.log|sort | uniq -c |wc -l .统计访问URL统计PV awk '{print $7}' access.l ...
- Nginx日志中的金矿 -- 好文收藏
转:http://www.infoq.com/cn/articles/nignx-log-goldmine Nginx(读作Engine-X)是现在最流行的负载均衡和反向代理服务器之一.如果你是一名中 ...
- 用shell统计访问日志里每个ip访问次数【转】
今天,要统计一个系统的每个ip访问次数,于是我找到该系统访问日志,并写脚本实现. 访问日志情况: [root@qular ~]# cd /usr/local/nginx/logs/ [root@q ...
- Grafana和influxdb监控nginx日志中的请求响应时间图形化监控
监控效果如图: 监控方法: 通过logstash过滤nginx日志,然后解析出nginx日志中的request time字段 然后output到influxdb时序数据库中 通过grafana展示数据 ...
- nginx日志中访问最多的100个ip及访问次数
nginx日志中访问最多的100个ip及访问次数 awk '{print $1}' /opt/software/nginx/logs/access.log| sort | uniq -c | sort ...
- 统计nginx日志里流量
用awk可以,比如,我想统计nginx日志里,今天下午3点0分,这一分钟内,访问的流量(文件的大小) grep "07/Nov/2013:15:00:" *.log|awk '{ ...
- PHP:获取指定日期所在月的开始日期与结束日期
/** * 获取指定日期所在月的开始日期与结束日期 * @param string $date * @param boolean 为true返回开始日期,否则返回结束日期 * @return arra ...
- jquery中使用datepicker限制开始日期小于结束日期
这里是使用Jquery插件实现的,这段代码来自于网络.感觉很实用,就做笔记记录下来. 原文:http://blog.csdn.net/tianyacao8025/article/details/707 ...
随机推荐
- 解决sublime快捷键回车换行问题
鼠标右键sublime 以管理员身份运行 打开首选项里面的按键绑定用户 将下面的代码粘贴复制 { "keys": ["enter"], "comman ...
- 关于 SONY WF1000XM3 在 Windows 10 下蓝牙连接只有 Handfree 没有 Stereo 模式
应该是驱动适配问题,目前粗暴的解决方案貌似下载安装一个 Intel APTX 驱动就可以了: https://www.dell.com/support/home/cn/zh/cndhs1/driver ...
- 使用Wireshark进行DNS协议解析
- 域名及解析过程 域名由一系列 - DNS协议报文格式 一次DNS过程包含一对请求报文和响应报文.请求和响应报文有统一的报文格式如下图: - DNS报文例子 一次DNS请求的过程: 包括请求和响应, ...
- 阿里云centos7安装python3.7.4和pip3
亲测有效,针对 阿里云 centos 7 轻量服务器 python ==> 3.7.4 pip ==> 3 一,打开python官网,找到下载Python的tgz文件,有两种方式下载 ( ...
- MySQL 部署 MHA 高可用架构 (二)
实现 MHA VIP 功能 配置 master_ip_failover 脚本(db3) 把 master_ip_failover 上传到 /iba/software 上 master_ip_failo ...
- hisi mmz模块驱动讲解
一.概述 如图所示,在海思平台上将内存分为两个部分:os内存和mmz内存.os内存指:由linux操作系统管理的内存:mmz内存:由mmz驱动模块进行管理供媒体业务单独使用的内存,在驱动加载时可以指定 ...
- [日常] gitlab创建用户并把用户加入项目
在gitlab里创建用户 默认密码是要求创建的用户自己去邮箱重置,也可以创建完成后直接点击编辑,就可以更改密码了 创建完用户,用户登录的时候需要去重置密码 创建完项目,就可以去使用了 也可以为这个项目 ...
- Could not resolve resource location pattern [classpath:com/****/mappers/*.xml]: class path resource [com/****/mappers/] cannot be resolved to URL because it does not exist的问题
这里建议先去看看路径的问题,看看application.xml的里面的导入的相应的配置文件的路径有没有问题,如下: 再者看看相应的注解有没有加上,service和controller等的注解 如果再不 ...
- pdfium ppm demo
#include "fpdfview.h" #include <iostream> #include <string> #include <strin ...
- 执行shell脚本遇到错误syntax error: unexpected "then" (expecting "}")
今天执行脚本的时候遇到错误,如下图: root@ApFree:/usr/sbin# ./conntrack_num_graph.sh ./conntrack_num_graph.sh: line : ...