[Python]程序性能分析
有些脚本发现比预期要慢的多,就需要找到瓶颈,然后做相应的优化,参考A guide to analyzing Python performance,也可以说是翻译。
指标
- 运行时间
- 时间瓶颈
- 内存使用
- 是否有内存泄漏
基本
linux time
这是个shell中自带的命令,也是最简单和方面的方法,但是得到信息太少
[root@bogon util]# time python pvsts.py
Yesterday PV/UV
PV 46300
UV is 3899
real 2m36.591s #花费时间
user 2m37.167s #用户态时间
sys 0m2.010s #内核态时间
如果 sys
+user
比 real
小的多,就要考虑io等待时间是否过长了。
使用Cprofile工具
用起来很简单,显示的东西也很多,但是对于代码
来说不是很直观
[root@bogon util]# python -m cProfile pvsts.py
Yesterday PV/UV
PV 46300
UV is 3899
502249600 function calls (502249597 primitive calls) in 250.221 CPU seconds
Ordered by: standard name
ncalls tottime percall cumtime percall filename:lineno(function)
1 0.000 0.000 250.221 250.221 <string>:1(<module>)
1 0.000 0.000 0.000 0.000 __future__.py:48(<module>)
1 0.000 0.000 0.000 0.000 __future__.py:74(_Feature)
7 0.000 0.000 0.000 0.000 __future__.py:75(__init__)
1 0.000 0.000 0.000 0.000 __init__.py:49(normalize_encoding)
1 0.000 0.000 0.000 0.000 __init__.py:71(search_function)
1 0.000 0.000 0.000 0.000 base64.py:3(<module>)
测试时间工具line_profiler
就是这个小工具,安装很simple
$ pip install line_profiler
在想要测试的函数上添加一个 @profile
装饰器(不用倒入任何包,工具会自动倒入)
@profile
def sts_uv():
#mac_list = []
mac_set = set()
with open(temp_log, 'r') as f:
for line in f.readlines():
basid, mac, ip = decode_token(str(line.strip()))
#mac_list.append(mac)
mac_set.add(mac)
#uv = len(set(mac_list))
uv = len(mac_set)
print "UV is {0}".format(uv)
return uv
得到结果:
[root@bogon util]# kernprof -l -v pvsts.py
Yesterday PV/UV
PV 46300
UV is 3899
Wrote profile results to pvsts.py.lprof
Timer unit: 1e-06 s
Total time: 450.299 s
File: pvsts.py
Function: sts_uv at line 74
Line # Hits Time Per Hit % Time Line Contents
==============================================================
74 @profile
75 def sts_uv():
76 #mac_list = []
77 1 10 10.0 0.0 mac_set = set()
78 1 59 59.0 0.0 with open(temp_log, 'r') as f:
79 42431 38556 0.9 0.0 for line in f.readlines():
80 42430 450188794 10610.2 100.0 basid, mac, ip = decode_token(str(line.strip()))
81 #mac_list.append(mac)
82 42430 71491 1.7 0.0 mac_set.add(mac)
83 #uv = len(set(mac_list))
84 1 2 2.0 0.0 uv = len(mac_set)
85 1 15 15.0 0.0 print "UV is {0}".format(uv)
86 1 1 1.0 0.0 return uv
同时还是会生成一个pvsts.py.lprof
文件
测试内存使用 pip install -U memory_profiler
安装两个工具
$ pip install -U memory_profiler
$ pip install psutil
使用上也是添加一个 ‘@profile’ 装饰器,跟上面的一样。
测试
[root@bogon util]# python -m memory_profiler pvsts.py
Yesterday PV/UV
PV 46300
UV is 3899
Filename: pvsts.py
Line # Mem usage Increment Line Contents
================================================
74 9.676 MiB 0.000 MiB @profile
75 def sts_uv():
76 #mac_list = []
77 9.676 MiB 0.000 MiB mac_set = set()
78 9.676 MiB 0.000 MiB with open(temp_log, 'r') as f:
79 15.289 MiB 5.613 MiB for line in f.readlines():
80 15.289 MiB 0.000 MiB basid, mac, ip = decode_token(str(line.strip()))
81 #mac_list.append(mac)
82 15.289 MiB 0.000 MiB mac_set.add(mac)
83 #uv = len(set(mac_list))
84 14.961 MiB -0.328 MiB uv = len(mac_set)
85 14.961 MiB 0.000 MiB print "UV is {0}".format(uv)
86 14.961 MiB 0.000 MiB return uv
声明:
本文出自 “orangleliu笔记本” 博客,转载请务必保留此出处http://blog.csdn.net/orangleliu/article/details/45934005 作者orangleliu 采用署名-非商业性使用-相同方式共享协议
[Python]程序性能分析的更多相关文章
- Python程序性能分析模块----------cProfile
cProfile分析器可以用来计算程序整个运行时间,还可以单独计算每个函数运行时间,并且告诉你这个函数被调用多少次 def foo(): pass import cProfile cProfile.r ...
- python程序性能分析
中文:http://www.cnblogs.com/zhouej/archive/2012/03/25/2379646.html 英文:https://www.huyng.com/posts/pyth ...
- Linux下的应用程序性能分析 总结
Linux下的应用程序性能分析,根据内核程序和应用程序的不同,下文分两类进行描述. 我们侧重的是应用级别的程序,推荐google perf tool/kcachegrind组合 一.和内核有关的工具 ...
- Linux程序性能分析和火焰图
Linux程序性能分析和火焰图 Linux程序的性能分析工具数量比较多,涉及到整个操作系统的方方面面,可能是开源的原因吧,相对于Windows来说丰富太多.其中应用分析性能方面Dtrace, Syst ...
- 八、jdk工具之JvisualVM、JvisualVM之二--Java程序性能分析工具Java VisualVM
目录 一.jdk工具之jps(JVM Process Status Tools)命令使用 二.jdk命令之javah命令(C Header and Stub File Generator) 三.jdk ...
- Golang程序性能分析
前言 程序性能分析我相信是每个程序员都会遇到的问题,比如说一个程序的CPU为什么占用这么高?有没有优化的空间?又比如程序出现了内存泄漏如何排查等等.如果是C++程序会借助于Google pprof c ...
- 一个python 服务器程序性能分析
该服务器为bono,启动11个进程. 1.设置cprofile 在启动服务的总入口设置cprofile if __name__=="__main__": import cProfi ...
- 转帖:Python应用性能分析指南
原文:A guide to analyzing Python performance While it’s not always the case that every Python program ...
- [golang]7种 Go 程序性能分析方法
视频信息 Seven ways to Profile Go Applicationsby Dave Cheneyat Golang UK Conf. 2016 视频:https://www.youtu ...
随机推荐
- codeforces round #405 B. Bear and Friendship Condition
B. Bear and Friendship Condition time limit per test 1 second memory limit per test 256 megabytes in ...
- NOIP 2015
Prob.1 2015 神奇的幻方 模拟就好了.(这不是noip2017的初赛题么.)代码: #include<cstdio> #include<cstring> #inclu ...
- 【Codeforces Round #431 (Div. 1) D.Shake It!】
·最小割和组合数放在了一起,产生了这道题目. 英文题,述大意: 一张初始化为仅有一个起点0,一个终点1和一条边的图.输入n,m表示n次操作(1<=n,m<=50),每次操作是任选一 ...
- [bzoj4866] [Ynoi2017]由乃的商场之旅
来自FallDream的博客,未经允许,请勿转载,谢谢, 由乃有一天去参加一个商场举办的游戏.商场派了一些球王排成一行.每个人面前有几堆球.说来也巧,由乃和你一样,觉得这游戏很无聊,于是决定换一个商场 ...
- django rest-framework 3.类 实现restful
上节提到过,REST框架分别提供了对函数和类的装饰器,之前已经都是通过函数来写视图函数的,现在来尝试使用class 类来实现视图函数 使用基于类编写API视图,允许重用常用的功能,减少代码重复. 一. ...
- mooc- 基本程序设计方法week1,week2
学习了第一单元我们几本可以写出10行左右的代码. week1:python编程之基本方法 1.从计算机到程序设计语言: 理解计算机:计算机是能够根据一组指令操作数据的机器. 功能性:可以进行数据计算 ...
- David MacKay:用信息论解释 '快速排序'、'堆排序' 本质与差异
这篇文章是David MacKay利用信息论,来对快排.堆排的本质差异导致的性能差异进行的比较. 信息论是非常强大的,它并不只是一个用来分析理论最优决策的工具. 从信息论的角度来分析算法效率是一件很有 ...
- setuptools安装和错误解决
错误解决:ImportError No module named setuptools GitHub: https://github.com/pypa/setuptools 下载安装 wget htt ...
- Printer for Me
今天,良心系部终于给我配了打印机^^. 办公室门外还挂了牌子.
- hive 存储,解析,处理json数据
hive 处理json数据总体来说有两个方向的路走 1.将json以字符串的方式整个入Hive表,然后通过使用UDF函数解析已经导入到hive中的数据,比如使用LATERAL VIEW json_tu ...