【python原理解析】gc原理初步解析
python的gc是会用到:引用计数、标记-清除和分代收集,首先说明一下什么是引用计数
可以通过sys模块中的getrefcount()方法获取某个对象的引用计数
python本身的数据类型有基础类型和容器类型,基础类型包含:整型、布尔型、浮点型、字符串型,容器类型就是说可以将其他对象包含在其中的类型,如:list、set、dict等都是容器类型
以基础类型的整型为例:
def f11():
a = 1
b = 1
print sys.getrefcount(a)
print sys.getrefcount(b)
b = a
print sys.getrefcount(a)
print sys.getrefcount(b)
运行结果:(在当时的情况下)
150
150
150
150
增加引用计数的方式是:
(1)使用=等号赋值
(2)在容器对象中使用对象
(3)作为函数参数传递的时候
我们可以通过下面的函数看到:
def f1():
gc.set_debug(gc.DEBUG_STATS|gc.DEBUG_LEAK)
a=[]
b=[]
a.append(b)
print 'a refcount:',sys.getrefcount(a) # 2
print 'b refcount:',sys.getrefcount(b) # 3
del a
del b
print gc.collect() # 0
结果为:
那么可以看到:a和b在被赋值之后,refcount的值都变成了1,a引用了b之后,b的refcount值增加1变成了2;那么,为什么打印出来的结果分别是2和3呢?因为sys.getrefcount()的函数的时候,将a作为参数了,此时a的引用计数就会增加1,所以通过该方法打印出来的结果就是会比预期的结果多1
那么引用计数增加之后,如何减少引用计数呢?一般的方法有:
(1)使用del语句,可以减少一个计数
(2)改变引用,给变量名设置别的对象
(3)离开作用域
那么上面的def f1()中,其实可以看到:del a和b之后,可以看到这个a和b是处于0代链表的,直接清理即可;del的作用是:它不仅会移除一个对象的引用,还会移除那个名字本身。
接下来说明一下:循环引用的问题
循环引用出现在:容器类对象相互包含的情况下,
def f2():
a=[]
b=[]
a.append(b)
b.append(a)
print 'a refcount:',sys.getrefcount(a) # 3
print 'b refcount:',sys.getrefcount(b) # 3
print gc.collect()
del a
del b
print gc.collect()
例如def f2()中的结果如下:
可以看到gc.collect()在del之前和之后的结果不同,看了一下gc.collect()的含义以及返回值,(重点是:返回值是unreachable objects的数量被返回)
因此分析一下def f2()中的程序可以看出,在没有调用删除a之前,程序中没有不可达对象,删除a之后,因为a和b的循环引用,导致都变成不可达对象
那么什么是不可达对象?与之对象,可达对象是什么?是在什么情况下产生的?例如A引用B,则从A到B就会建立一个连接,从A指向B,从根节点开始(根节点一般是全局变量等)一直往下扫描,比如A引用B,B引用C,D引用C,那么A是root,则A-B-C都是可达的,但是D不是可达的,因此D就是unreachable的对象,可以释放的
我们可以看到在refcount之后,循环引用的,最终的引用计数无法=0,基于引用计数=0的清除机制无法执行,则需要通过“标记-清除”的方式来进一步将引用计数进行确定处理,“标记-清除”的执行逻辑是:
(1)对于每一个容器对象,都设置了gc_refs值,并将其设置为该对象的引用计数值
(2)对于每一个容器对象,找到所有其引用的对象,将被引用的对象的gc_refs值减1
(3)执行完(2)的所有容器对象,所有的gc_refs还大于0的对象都代表着被非容器对象引用,说明至少包含一个非循环引用,因此这些对象不能释放,就需要将其加入到另一个集合中
(4)在(3)中不能释放的对象,如果他们引用某个对象,则这些对象也不能释放,将这些对象也加入到另一个集合中
(5)经过上面步骤后,最终得到的就是不可达的对象,这些对象就是需要释放的对象
那么如何释放呢?以及释放的频率以及触发时机如何控制呢?
就要用到分代收集,在python中,会将对象分别加入到不同的收集链表中,依据规则:活的越久的对象越不是垃圾,回收的频率越低;分成了0代,1代和2代,其中越年轻的越会被清理,并且清理1代的时候0代也会清理,清理2代的时候1代和0代也会被清理
这个可以通过调用函数:gc.get_threshold()来实现
print gc.get_threshold()
打印结果如下:(700, 10, 10)
这个函数的返回值有三个,第一个返回值代表的是:从上一次收集开始,所有新增的对象减去删除的对象大于threshold0的时候就开始一次新的收集;第二个返回值代表的是:如果0代的对象被检查的次数超过了threshold1,则1代的检查就要执行;第三个返回值代表的是:1代的对象被检查超过了threshold2,则2代的检查就应该被执行
这三个值的具体含义可以通过gc.set_threshold()方法来查看:
【python原理解析】gc原理初步解析的更多相关文章
- Thrift之代码生成器Compiler原理及源码详细解析1
我的新浪微博:http://weibo.com/freshairbrucewoo. 欢迎大家相互交流,共同提高技术. 又很久没有写博客了,最近忙着研究GlusterFS,本来周末打算写几篇博客的,但是 ...
- 并发编程(十五)——定时器 ScheduledThreadPoolExecutor 实现原理与源码深度解析
在上一篇线程池的文章<并发编程(十一)—— Java 线程池 实现原理与源码深度解析(一)>中从ThreadPoolExecutor源码分析了其运行机制.限于篇幅,留下了Scheduled ...
- 并发编程(十二)—— Java 线程池 实现原理与源码深度解析 之 submit 方法 (二)
在上一篇<并发编程(十一)—— Java 线程池 实现原理与源码深度解析(一)>中提到了线程池ThreadPoolExecutor的原理以及它的execute方法.这篇文章是接着上一篇文章 ...
- 浏览器解析JavaScript原理
1.浏览器解析JavaScript原理特点: 1.跨平台 2.弱类型 javascript 定义的时候不需要定义数据类型,数据类型是根据变量值来确定的. var a = 10; 数字类型 ...
- LNP环境下Nginx与PHP配合解析的原理
正在理解中,查阅资料,加上自我理解,得出如下结论,如有错误,欢迎指正.... LNP环境,Nginx与PHP配合运行的原理解释: 以前的互联网时代我们成为web1.0时代,那时用户是被动接受网络信息, ...
- Digester解析xml原理
Tomcat内部是使用Digester来解析xml文件的,将xml转化为java对象. digester底层是基于SAX+事件驱动+栈的方式来搭建实现的,SAX主要用来解析xml,事件驱动主要是在解析 ...
- javascript解析器原理
浏览器在读取HTML文件的时候,只有当遇到<script>标签的时候,才会唤醒所谓的“JavaScript解析器”开始工作. JavaScript解析器工作步骤 1. “找一些东西”: v ...
- sqlalchemy mark-deleted 和 python 多继承下的方法解析顺序 MRO
sqlalchemy mark-deleted 和 python 多继承下的方法解析顺序 MRO 今天在弄一个 sqlalchemy 的数据库基类的时候,遇到了跟多继承相关的一个小问题,因此顺便看了一 ...
- 【转】Java 内存模型及GC原理
一个优秀Java程序员,必须了解Java内存模型.GC工作原理,以及如何优化GC的性能.与GC进行有限的交互,有一些应用程序对性能要求较高,例如嵌入式系统.实时系统等,只有全面提升内存的管理效率,才能 ...
- Python程序的执行原理(转载)
Python程序的执行原理 2013-09-17 10:35 佚名 tech.uc 1. 过程概述 Python先把代码(.py文件)编译成字节码,交给字节码虚拟机,然后虚拟机一条一条执行字节码指令 ...
随机推荐
- 第三节《Git重置》
先来看看.git/refs/heads/master文件的内容 [root@git demo]# cat .git/refs/heads/master e97f443b2d1cee7eeca7dc2e ...
- spring redis 注解实现缓存机制
1.xml配置 <bean id="poolConfigTax" class="redis.clients.jedis.JedisPoolConfig"& ...
- Devexpress Winform MVVM
归纳总结备忘 Devexpress Winform MVVM Practice 前言 MVVM Devexpress 正文 databindings及 UI Triggers Command 委托Co ...
- oracle命令1
基础查询 查询当前用户 show user; 查询当前用户下的表 select * from tab; 清屏 host cls: clear; --查询所有的员工信息 select * from e ...
- mac 中host设置方法
在开发中,有的接口为了安全考虑,只能通过指定的域名去反问,这时本地启动的 localhost 就无法获取到数据,需要去更改电脑的host文件配置,下面介绍mac 电脑的设置方法 1. 打开终端,输入一 ...
- Idea中重建maven模块,dependencies引入为空的解决办法
使用idea开发Maven项目时, Maven项目中有些模块被删除了,重新加入相同名字的模块时,dependencies为空 如下图 正常引进的项目,dependencies应如下 解决办法: ide ...
- mysql 插入更新判断 ON DUPLICATE KEY UPDATE 和 REPLACE INTO
平时我们在设计数据库表的时候总会设计 unique 或者 给表加上 primary key 的限制条件.此时 插入数据的时候 ,经常会有这样的情况:我们想向数据库插入一条记录: 若数据表中存在以相同主 ...
- 20165312 2017-2018-2 《JAVA程序设计》第6周学习总结
20165312 2017-2018-2 <JAVA程序设计>第6周学习总结 一.在本周学习过程中遇到的问题以及对上周测试的查漏补缺 编写110页代码时出现问题,主类Test中创建CPU对 ...
- Linux和Windows启动后台程序
平时很多时候,我们需要通过脚本命令调用执行程序,集成一体后方便使用快捷.但是启动脚本窗口比较碍眼,能设置为后台运行既方便又美观. Linux启动后台程序 1.后台执行 nohup方法:不挂断的运行命令 ...
- MAC地址表、ARP缓存表以及路由表
一:MAC地址表详解 说到MAC地址表,就不得不说一下交换机的工作原理了,因为交换机是根据MAC地址表转发数据帧的.在交换机中有一张记录着局域网主机MAC地址与交换机接口的对应关系的表,交换机就是根据 ...