python计算非内置数据类型占用内存
getsizeof的局限
python非内置数据类型的对象无法用sys.getsizeof()获得真实的大小,例:
import networkx as nx
import sys
G = nx.Graph()
l = [i for i in xrange(10000)]
print "size of l:", sys.getsizeof(l)
G.add_nodes_from(l)
print "size of graph:", sys.getsizeof(G)
结果
size of l: 87632
size of graph: 64
分析
图graph中包含点序列l,而大小还不如l的大小,所以用getsizeof计算python的非内置类型的对象大小时是不准的。
使用psutil模块获取内存
例1:
import networkx as nx
import psutil
import sys
import os
G = nx.Graph()
l = [i for i in xrange(10000)]
print "size of l:", sys.getsizeof(l)
G.add_nodes_from(l)
print "size of graph:", sys.getsizeof(G)
process = psutil.Process(os.getpid())
max_mem = process.memory_info().rss
print 'max_mem:', max_mem
这样得到的有问题,需要把一开始系统所占的内存去掉
import psutil
import sys
import os process = psutil.Process(os.getpid()) max_mem_1 = process.memory_info().rss
print 'max_mem:', max_mem_1 G = nx.Graph()
l = [i for i in xrange(10000)]
G.add_nodes_from(l) max_mem_2 = process.memory_info().rss
print 'max_2:', max_mem_2
print 'max_mem:', max_mem_2 - max_mem_1
结果
max_mem: 23724032
max_2: 31637504
max_mem: 7913472
例2:
import psutil
import os
import sys
from datetime import datetime process = psutil.Process(os.getpid()) max_mem_1 = process.memory_info().rss / 1024.0 / 1024.0 / 1024.0
print 'max_mem 1:', max_mem_1 all_road_nx = 'a' * 1024 * 1024 * 1024 * 10;
print 'size:', sys.getsizeof(all_road_nx)/ 1024.0 / 1024.0 / 1024.0
print 'len all_road_nx:', len(all_road_nx) max_mem_2 = process.memory_info().rss / 1024.0 / 1024.0 / 1024.0
print 'max_mem 2:', max_mem_2 print 'max_mem 3:', max_mem_2 - max_mem_1
结果:
max_mem 1: 0.00862503051758
size: 10.0000000345
len all_road_nx: 10737418240
max_mem 2: 10.0086517334
max_mem 3: 10.0000267029
python模块psutil简介
psutil提供了个接口,可以用来获取信息,包括:
- 当前运行的进程
- 系统(资源使用)信息
- CPU
- 内存
- 磁盘
- 网络
- 用户
psutil实现了很多功能,包括了如下工具所具有的:
- ps
- top
- df
- kill
- free
- lsof
- free
- netstat
- ifconfig
- nice
- ionice
- iostat
- iotop
- uptime
- pidof
- tty
- who
- taskset
- pmap
psutil获取系统状态举例
#! coding:utf-8
import networkx as nx
import psutil
import sys
import os p = psutil.Process(os.getpid()) psutil.pids() #查看系统全部进程
p = psutil.Process(6241) #查看系统全部进程
print "name:", p.name() #进程名
print "bin 路径", p.exe() #进程的bin路径
print "进程绝对路径", p.cwd() #进程的工作目录绝对路径
print "进程状态", p.status() #进程状态
print "进程创建时间", p.create_time() #进程创建时间
print "进程uuid信息", p.uids() #进程uid信息
print "进程gid信息", p.gids() #进程的gid信息
print "进程的cpu时间信息", p.cpu_times() #进程的cpu时间信息,包括user,system两个cpu信息
print "get进程cpu亲和度", p.cpu_affinity() #get进程cpu亲和度,如果要设置cpu亲和度,将cpu号作为参考就好
print "进程内存利用率", p.memory_percent() #进程内存利用率
print "进程内存rss,vms信息", p.memory_info() #进程内存rss,vms信息
print "进程的IO信息", p.io_counters() #进程的IO信息,包括读写IO数字及参数
print "进程列表", p.connections() #返回进程列表
print "进程开启的线程数", p.num_threads() #进程开启的线程数
结果
name: python
bin 路径 /home/tops/bin/python2.7
进程绝对路径 /home/jihite/iu_iso_test
进程状态 sleeping
进程创建时间 1463322002.74
进程uuid信息 puids(real=124674, effective=124674, saved=124674)
进程gid信息 pgids(real=100, effective=100, saved=100)
进程的cpu时间信息 pcputimes(user=14.38, system=2.38, children_user=0.0, children_system=0.0)
get进程cpu亲和度 [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31]
进程内存利用率 0.0432284208934
进程内存rss,vms信息 pmem(rss=58548224, vms=534482944, shared=6922240, text=1536000, lib=0, data=268894208, dirty=0)
进程的IO信息 pio(read_count=4166, write_count=1192, read_bytes=0, write_bytes=0)
进程列表 [pconn(fd=3, family=2, type=1, laddr=('10.184.70.11', 57785), raddr=('10.184.70.13', 8018), status='ESTABLISHED')]
进程开启的线程数 4
python计算非内置数据类型占用内存的更多相关文章
- Python内置数据类型之Dictionary篇
1.查看函数XXX的doc string. Python的函数是有属性的,doc string便是函数的属性.所以查看函数XXX的属性的方法是模块名.XXX.__doc__ 2.模块的属性 每个模块都 ...
- Python中内置数据类型list,tuple,dict,set的区别和用法
Python中内置数据类型list,tuple,dict,set的区别和用法 Python语言简洁明了,可以用较少的代码实现同样的功能.这其中Python的四个内置数据类型功不可没,他们即是list, ...
- Python的四个内置数据类型list, tuple, dict, set
Python语言简洁明了,可以用较少的代码实现同样的功能.这其中Python的四个内置数据类型功不可没,他们即是list, tuple, dict, set.这里对他们进行一个简明的总结. List ...
- Python笔记004-Python最基本内置数据类型和运算符
第二章(1)Python编程基础概念 1. 最基本内置数据类型和运算符 每个对象都有类型,Python 中最基本的内置数据类型: 1. 整数 整数,2345 ,10 ,50 2. 浮点型 小数,3.1 ...
- Python内置数据类型总结
python的核心数据类型:(很多语言之提供了数字,字符串,文件数据类型,其他形式的数据类型都以标准库的形式表示 也就是用之前需要import ) ,但是python有很多都是内置的,不需要impor ...
- Python作业---内置数据类型
实验2 内置数据类型 实验性质:验证性 一.实验目的 1.掌握内置函数.列表.切片.元组的基本操作: 2.掌握字典.集合和列表表达式的基本操作. 二.实验预备知识 1.掌握Python内置函数的基/本 ...
- 笔记-pyton内置数据类型
笔记-pyton内置数据类型 1. 简介 The principal built-in types are numerics, sequences, mappings, classes, i ...
- 二、JAVA基本数据类型:内置数据类型,引用类型
变量的值存储在内存中,内存管理系统通过变量的类型分配存储空间,且该空间只能存储该类型数据,通过定义不同的变量,在内存中储存不同类型的数据. JAVA的两大数据类型 1. 内置数据类型 2.引用数据类型 ...
- Hive内置数据类型
Hive的内置数据类型可以分为两大类:(1).基础数据类型:(2).复杂数据类型.其中,基础数据类型包括:TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBL ...
随机推荐
- Apache Spark技术实战之1 -- KafkaWordCount
欢迎转载,转载请注明出处,徽沪一郎. 概要 Spark应用开发实践性非常强,很多时候可能都会将时间花费在环境的搭建和运行上,如果有一个比较好的指导将会大大的缩短应用开发流程.Spark Streami ...
- Solve one floodlight install problem
参考: Floodlight安装 SDNLAB Floodlight官网 Installation Guide 问题: 在follow安装教程安装Floodlight的过程中,ant编译时出现了: [ ...
- Ubuntu 开启 Crontab 计划任务日志
Ubuntu 下的 Crontab 日志功能不是自动开启的.开启日志功能的步骤是: ① 修改 rsyslog sudo vim /etc/rsyslog.d/-default.conf 找到: #cr ...
- 使用AndroidStudio自动生成JavaDoc文档
选中所需要生成的Module,找到工具栏上的 Tools,选择 Generate JavaDoc 出现如图的窗口 选择输出路径,就自动生成. 如果出现编码错误提示,则在 Other command l ...
- ThinkPHP公共配置文件与各自项目中配置文件组合的方法
ThinkPHP公共配置文件与各自项目中配置文件组合的方法 文章TAG:thinkphp 公共配置文件 时间:2014-11-25来源:www.aspku.com 作者:源码库 文章热度: 146 ℃ ...
- Front-end Developer Interview Questions
Front-end-Developer-Interview-Questions A list of helpful front-end related questions you can use to ...
- 页面静态化3 --- (伪静态+ob缓存)实现优化
要求:使用伪静态完成简单的新闻查询! 伪静态是站在SEO的角度来看的,他对应的页面不是真正存在的(而真静态的页面是事先生成的),而是每次查询数据库得到的信息!
- sql server 数据库连接配置在外面 如何读取
注意:web运行读取要把配置文件放在WEB-INF下面 Driver=com.microsoft.sqlserver.jdbc.SQLServerDriverurl=jdbc:sqlserver:// ...
- json数据交换
1.1 为什么要进行json数据交互 json数据格式在接口调用中.html页面中较常用,json格式比较简单,解析还比较方便. 比如:webservice接口,传输json数据. 1.2 s ...
- yum 安装mysql5.6
系统centos5.5 进入http://dev.mysql.com/downloads/repo/,下载RedHat Enterprise Linux 5 / Oracle Linux 5版. 点击 ...