二、基于hadoop的nginx访问日志分析---计算日pv
代码:
# pv_day.py
#!/usr/bin/env python
# coding=utf-8 from mrjob.job import MRJob
from nginx_accesslog_parser import NginxLineParser class PvDay(MRJob): nginx_line_parser = NginxLineParser() def mapper(self, _, line): self.nginx_line_parser.parse(line)
day, _ = str(self.nginx_line_parser.time_local).split()
yield day, 1 # 每一天的 def reducer(self, key, values):
yield key, sum(values) def main():
PvDay.run() if __name__ == '__main__':
main()
代码解释:
定义了一个集成MRJob类的job类,这个类包含定义好的steps。
一个‘step’包含一个mapper,combiner和一个reducer,这些是可选的,但是必须使用至少一个。
mapper()方法有两个参数key,value(这个例子中,key被忽略,每行日志作为一个value),并生成key-value对。
reduce()方法接受一个key和一个可迭代的values,并生成许多key-value对(这个例子中,计算每个key对应values值得和,也就是每天对应的PV)。
以不同方式执行job:
基本方式:
# python3 pv_day.py access_all.log-20161227
No configs found; falling back on auto-configuration
Creating temp directory /tmp/pv_day.root.20161228.022837.113256
Running step 1 of 1...
Streaming final output from /tmp/pv_day.root.20161228.022837.113256/output...
"2016-12-27" 47783
"2016-12-26" 299427
Removing temp directory /tmp/pv_day.root.20161228.022837.113256...
标准输入stdin方式,这种方式只接受第一个文件
# python3 pv_day.py < access_all.log-20161227
No configs found; falling back on auto-configuration
Creating temp directory /tmp/pv_day.root.20161228.024431.884434
Running step 1 of 1...
reading from STDIN
Streaming final output from /tmp/pv_day.root.20161228.024431.884434/output...
"2016-12-27" 47783
"2016-12-26" 299427
Removing temp directory /tmp/pv_day.root.20161228.024431.884434...
混合方式:
python3 pv_day.py input1.txt input2.txt - < input3.txt
分布式:
默认情况下,mrjob执行job使用单个Python进程,这里只是调试,并不是精确的分布式计算!
如果使用分布式计算,可以使用 -r/--runner选项。 使用 -r inline(默认), -r local, -r hadoop, -r emr
# python pv_day.py -r hadoop hdfs://my_home/input.txt
另一种方法:
# cat pv_day1.py
#!/usr/bin/env python
# coding=utf-8 from mrjob.job import MRJob
from mrjob.step import MRStep
from nginx_accesslog_parser import NginxLineParser class PvDay(MRJob): nginx_line_parser = NginxLineParser() def mapper(self, _, line): self.nginx_line_parser.parse(line)
day, _ = str(self.nginx_line_parser.time_local).split()
yield day, 1 # 每一天的
yield 'total', 1 # 总的 def reducer_sum(self, key, values):
yield None, (sum(values), key) def reducer_sort(self, _, values): for count, dt in sorted(values, reverse=True):
yield dt, count def steps(self): return (
MRStep(mapper=self.mapper,
reducer=self.reducer_sum),
MRStep(reducer=self.reducer_sort)
) def main():
PvDay.run() if __name__ == '__main__':
main()
执行结果:
# python3 pv_day1.py access_all.log-20161227
No configs found; falling back on auto-configuration
Creating temp directory /tmp/pv_day1.root.20161228.061455.974823
Running step 1 of 2...
Running step 2 of 2...
Streaming final output from /tmp/pv_day1.root.20161228.061455.974823/output...
"total" 347210
"2016-12-26" 299427
"2016-12-27" 47783
Removing temp directory /tmp/pv_day1.root.20161228.061455.974823...
二、基于hadoop的nginx访问日志分析---计算日pv的更多相关文章
- 三、基于hadoop的nginx访问日志分析--计算时刻pv
代码: # cat pv_hour.py #!/usr/bin/env python # coding=utf-8 from mrjob.job import MRJob from nginx_acc ...
- 一、基于hadoop的nginx访问日志分析---解析日志篇
前一阵子,搭建了ELK日志分析平台,用着挺爽的,再也不用给开发拉各种日志,节省了很多时间. 这篇博文是介绍用python代码实现日志分析的,用MRJob实现hadoop上的mapreduce,可以直接 ...
- 四、基于hadoop的nginx访问日志分析---top 10 request
代码: # cat top_10_request.py #!/usr/bin/env python # coding=utf-8 from mrjob.job import MRJob from mr ...
- 五、基于hadoop的nginx访问日志分析--userAgent和spider
useragent: 代码(不包含蜘蛛): # cat top_10_useragent.py #!/usr/bin/env python # coding=utf-8 from mrjob.job ...
- nginx访问日志分析,筛选时间大于1秒的请求
处理nginx访问日志,筛选时间大于1秒的请求 #!/usr/bin/env python ''' 处理访问日志,筛选时间大于1秒的请求 ''' with open('test.log','a+' ...
- Nginx 访问日志分析
0:Nginx日志格式配置 # vim nginx.conf ## # Logging Settings ## log_format access '$remote_addr - $remote_us ...
- Nginx访问日志分析
nginx默认的日志格式 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$sta ...
- 13 Nginx访问日志分析
#!/bin/bash export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin # Nginx 日志格式: # ...
- 利用GoAccess分析Nginx访问日志
原文链接:https://blog.csdn.net/yown/article/details/56027112 需求:及时得到线上用户访问日志分析统计结果,以便给开发.测试.运维.运营人员提供决策! ...
随机推荐
- android的消息提示(震动与提示音)
protected AudioManager audioManager; protected Vibrator vibrator; audioManager = (AudioManager)getSy ...
- C++实现DNS域名解析
一.概述 现在来搞定DNS域名解析,其实这是前面一篇文章C++实现Ping里面的遗留问题,要干的活是ping的过程中画红线的部分: cmd下域名解析的命令是nslookup,比如“nslookup w ...
- iOS字体加载三种方式
静态加载 动态加载 动态下载苹果提供的多种字体 其他 打印出当前所有可用的字体 检查某字体是否已经下载 这是一篇很简短的文章,介绍了 iOS 自定义字体加载的三种方式. 静态加载 这个可以说是最简单最 ...
- 看看C# 6.0中那些语法糖都干了些什么(终结篇)
终于写到终结篇了,整个人像在梦游一样,说完这一篇我得继续写我的js系列啦. 一:带索引的对象初始化器 还是按照江湖老规矩,先扒开看看到底是个什么玩意. 1 static void Main(strin ...
- TB6612FNG电机驱动模块的简单使用
TB6612FNG电机驱动模块的简单使用: 文 小波 QQ463431476 博客 http://www.cnblogs.com/xiaobo-Linux/
- [转载]fullPage.js中文api 配置参数~
fullPage.js中文api 配置参数 选项 类型 默认值 说明 verticalCentered 字符串 true 内容是否垂直居中 resize 布尔值 false 字体是否随着窗口缩放而缩放 ...
- [LeetCode] Pascal's Triangle II 杨辉三角之二
Given an index k, return the kth row of the Pascal's triangle. For example, given k = 3,Return [1,3, ...
- 【WPF】wpf image控件加载网络图片不显示问题,
1.加载网络图片到内存system.drawing.image对象中2.内存中的image 转Bitmap 再转适合system.windows.controls.image 的BitmapImage ...
- css:子元素div 上下左右居中方法总结
最近在面试,不停地收到了知识冲击,尤其是对于一些基础的css.html.js问题居多,所以自我也在做反思,今天就css问题,如何让一个子元素div块元素上下左右居中 (以下总结方法,都已得到验证). ...
- Alpha阶段总结
Alpha阶段的验收已经完成,8个小组都展现了他们经过连夜奋战后的成果.相比过往几届,这是第一次8个小组全部顺利演示操作完成,没有个别小组因为任务未完成而延宕演示的情况发生.Alpha演示,各组都实现 ...