垃圾回收

首先介绍两个画图的工具:objgraph 包和在线绘图网站 draw.io。具体的使用以后再写。

1.引用计数

Python 中,每个对象都有存有指向该对象的引用总数,即:引用计数(reference count);

可以使用 sys 包中的 getrefcount(),来查看某个对象的引用计数;

需要注意的是,当使用某个引用作为参数,传递给 getrefcount() 时,参数实际上创建了一个临时的引用。因此,getrefcount() 所得到的结果,会比期望的多 1 ;

from sys import getrefcount

a = [1, 2, 3]
print(getrefcount(a)) # 2 b = a
print(getrefcount(b)) # 3

Python的一个容器对象(container),比如表、词典等,可以包含多个对象。实际上,容器对象中包含的并不是元素对象本身,是指向各个元素对象的引用;

即使是 a = 1 这一赋值方式,实际上是让词典的一个键值 "a" 的元素引用整数对象 1。该词典对象用于记录所有的全局引用。该词典引用了整数对象 1。我们可以通过内置函数 globals() 来查看该词典。

容器对象的引用可能构成很复杂的拓扑结构。我们可以用 objgraph 包来绘制其引用关系,比如:

import objgraph

x = [1, 2, 3]
y = [x, dict(key1=x)]
z = [y, (x, y)] objgraph.show_refs([z])

两个对象可能相互引用,从而构成所谓的引用环(reference cycle):

a = []
b = [a]
a.append(b)
objgraph.show_refs([a])

即使是一个对象,只需要自己引用自己,也能构成引用环:

c = []
c.append(c)
print(getrefcount(c))
objgraph.show_refs([c])

某个对象的引用计数可能减少。比如,使用 del 关键字删除某个引用,del a

当 Python 中的对象越来越多,它们将占据越来越大的内存,并在适当的时候启动垃圾回收(garbage collection),将没用的对象清除;

2.引用计数为 0

当 Python 的某个对象的引用计数降为 0 时,说明没有任何引用指向该对象,该对象就成为要被回收的垃圾了;

然而,垃圾回收时,Python 不能进行其它的任务,频繁的垃圾回收将大大降低 Python 的工作效率;

如果内存中的对象不多,就没有必要总启动垃圾回收。所以,Python 只会在特定条件下,自动启动垃圾回收:

当 Python 运行时,会记录其中分配对象(object allocation)和取消分配对象(object deallocation)的次数。当两者的差值高于某个阈值时,垃圾回收才会启动。

可以通过 gc 模块的 get_threshold() 方法,查看该阈值:

import gc

gc.get_threshold()  # (700, 10, 10),两个10是与分代回收相关的阈值,700 是垃圾回收启动阈值;
gc.set_threshold(800, 10, 5) # 重新设置垃圾回收的相关阈值
gc.collect() # 手动启动垃圾回收, gc.collect()
3.分代回收

Python 同时采用了分代(generation)回收的策略。这一策略的基本假设是:

存活时间越久的对象,越不可能在后面的程序中变成垃圾。我们的程序往往会产生大量的对象,许多对象很快产生和消失,但也有一些对象长期被使用。出于信任和效率,对于这样一些“长寿”对象,我们相信它们的用处,所以减少在垃圾回收中扫描它们的频率。

Python 将所有的对象分为 0,1,2 三代。所有的新建对象都是 0 代对象。当某一代对象经历过垃圾回收,依然存活,那么它就被归入下一代对象。垃圾回收启动时,一定会扫描所有的 0 代对象。如果 0 代经过一定次数垃圾回收,那么就启动对 0 代和 1代 的扫描清理。当 1 代也经历了一定次数的垃圾回收后,那么会启动对 0,1,2,即对所有对象进行扫描。

(700, 10, 10)中的两个 10 代表:

每 10 次 0 代垃圾回收,会有 1 次 1 代的垃圾回收;每 10 次 1 代的垃圾回收,会有 1 次的 2 代垃圾回收;

4.孤立的引用环--标记清除法

引用环的存在会给垃圾回收机制带来很大的困难,可能构成无法使用,但引用计数不为 0 的一些对象:

"""
下面创建了两个列表对象,并引用对方,构成一个引用环;
删除了a,b引用之后,这两个对象不可能再从程序中调用,就没有什么用处了;
但是由于引用环的存在,这两个对象的引用计数都没有降到0,不会被垃圾回收;
"""
a = []
b = [a]
a.append(b) del a
del b

为了回收这样的引用环,Python 会复制每个对象的引用计数,可以记为 gc_ref。假设,每个对象 i 的引用计数为 gc_ref_i。Python会遍历所有的对象 i。对于每个对象 i 引用的对象 j,将相应的 gc_ref_j - 1;

在结束遍历后,gc_ref 不为 0 的对象,和这些对象引用的对象,以及继续更下游引用的对象,需要被保留,而其它的对象则被垃圾回收;称之为“标记清除法”.

5.dot 解析网站

objgraph.show_refs() 生成的 dot 文件解析网站 https://onlineconvertfree.com/zh/

import objgraph
a = [1,2,3]
b = [4,5,6] a.append(b)
b.append(a) objgraph.show_refs(a)
objgraph.show_refs([a])
objgraph.show_refs([b])



Python 的垃圾回收的更多相关文章

  1. 【Python】 垃圾回收机制和gc模块

    垃圾回收机制和gc模块 Py的一个大好处,就是灵活的变量声明和动态变量类型.虽然这使得学习py起来非常方便快捷,但是同时也带来了py在性能上的一些不足.其中相关内存比较主要的一点就是py不会对已经销毁 ...

  2. 详解python的垃圾回收机制

    python的垃圾回收机制 一.引子 我们定义变量会申请内存空间来存放变量的值,而内存的容量是有限的,当一个变量值没有用了(简称垃圾)就应该将其占用的内存空间给回收掉,而变量名是访问到变量值的唯一方式 ...

  3. 谈一谈python的垃圾回收机制

    [python的垃圾回收机制是怎么实现的] 在C语言时代程序员要负责内存的申请和释放,虽然这样的程序可以对资源进行精细的控制.但是它也有它的问题.这就要求程序员 要写许多与业务逻辑无关的内容在代码里面 ...

  4. python的垃圾回收机制和析构函数__del__

    析构函数__del__定义:在类里定义,如果不定义,Python 会在后台提供默认析构函数. 析构函数__del__调用: A.使用del 显式的调用析构函数删除对象时:del对象名: class F ...

  5. python之垃圾回收机制

    一.前言 Python 是一门高级语言,使用起来类似于自然语言,开发的时候自然十分方便快捷,原因是Python在背后为我们默默做了很多事情,其中一件就是垃圾回收,来解决内存管理,内存泄漏的问题. 内存 ...

  6. Python核心技术与实战——二十|Python的垃圾回收机制

    今天要讲的是Python的垃圾回收机制 众所周知,我们现在的计算机都是图灵架构.图灵架构的本质,就是一条无限长的纸带,对应着我们的存储器.随着寄存器.异失性存储器(内存)和永久性存储器(硬盘)的出现, ...

  7. Python的 垃圾回收机制

    垃圾回收 1. 小整数对象池 整数在程序中的使用非常广泛,Python为了优化速度,使用了小整数对象池, 避免为整数频繁申请和销毁内存空间. Python 对小整数的定义是 [-5, 257) 这些整 ...

  8. Python的垃圾回收机制

    Python的GC模块主要运用了“引用计数”(reference counting)来跟踪和回收垃圾.在引用计数的基础上,还可以通过“标记-清除”(mark and sweep)解决容器对象可能产生的 ...

  9. Python的垃圾回收机制(引用计数+标记清除+分代回收)

    一.写在前面: 我们都知道Python一种面向对象的脚本语言,对象是Python中非常重要的一个概念.在Python中数字是对象,字符串是对象,任何事物都是对象,而它们的核心就是一个结构体--PyOb ...

  10. python高级——垃圾回收机制

    GC作为现代编程语言的自动内存管理机制,专注于两件事:1. 找到内存中无用的垃圾资源 2. 清除这些垃圾并把内存让出来给其他对象使用.GC彻底把程序员从资源管理的重担中解放出来,让他们有更多的时间放在 ...

随机推荐

  1. GitHub pages+自定义域名(腾讯云域名)+cloudflare加速

    本人也是第一次走完整个流程,github pages当然一直有使用,创建也很简单,并且网上教程也比较多:然后是关于自定义域名的问题,自己以前使用过国外的免费域名,然后是直接修改就ok了,然后这次使用了 ...

  2. golang中float类型转换成int类型

    package main import ( "fmt" "strconv" ) func f2i(f float64) int { i, _ := strcon ...

  3. gorm中的删除

    删除 删除一条记录 删除一条记录时,删除对象需要指定主键,否则会触发 批量 Delete,例如: db.Debug().Where("id = ?", 6).Delete(new( ...

  4. python os模块 文件操作

    Python内置的os模块可以通过调用操作系统提供的接口函数来对文件和目录进行操作 os模块的基本功能: >>> import os >>> os.name 'po ...

  5. Linux定时执行.sh脚本

    因为测试ffmpeg推流用flv方式的话没有做自动断流,所以要先用.sh脚本来执行关流,降低CPU和其他资源占用 首先编写.sh文件 #! /bin/bash echo "kill ffmp ...

  6. django之集成阿里云通信(发送手机短信验证码)

    python3 + django2.0 集成 "阿里云通信" 服务: (SDK文档地址:https://help.aliyun.com/document_detail/55491. ...

  7. 在ajax请求中,contentType 和 dataType 的区别?

    一.在ajax请求中,contentType 和 dataType 的区别? 1.contentType 内容类型. 1.1默认是 "application/x-www-form-urlen ...

  8. nextcloud个人云搭建

    nextcloud个人云搭建 目录 nextcloud个人云搭建 树莓派安装系统 安装OMV5 安装dockcer 挂载硬盘进行映射(使用u盘测试的) 不足 配置数据库 使用docker拉取postg ...

  9. mapTest

    import java.util.*;public class mapTest { public static void main(String[] args) throws Exception{ L ...

  10. K8s多节点部署+负载均衡+keepalived ——囊萤映雪

    K8s多节点部署+负载均衡+keepalived --囊萤映雪 1.多节点master2 部署 2.负载均衡部署+keepalived 1.多节点master2部署: #从master01节点上拷贝证 ...