《垃圾回收的算法与实现》——Python垃圾回收

Python垃圾回收

python采用引用计数法进行垃圾回收

Python内存分配

• python在分配内存空间时，在malloc之上堆放了3个独立的分层。
• python内存分配时主要由arena、pool和block三个构成。

第0层

• 该层指glibc的malloc()这样的分配器，是对OS申请内存的部分。
• python中如果生成的对象大于256B直接调用malloc，否则直接通过第1、2层分配。

第1层

• 该层主要管理arena，arena大小固定为256KB，其中保存了arena中开头的pool的地址。
• 同时保持被分配的pool的数量、将空pool连接到单向链表的功能。
• arena是被数组arenas管理。
• unused_arena_objects单向链表连接未使用的arena，包括新生的或使用过但已废弃的。
• usable_arenas双链表，其中arena分配了可利用的pool。

第2层

• 该层主要管理pool中的block，大小固定为4KB，每个pool的开头地址按照4KB的倍数对齐，与OS的页重合。
• 在arena中将各个pool相连接。
• pool被分隔成一个个的block，在pool初始化时就决定了该pool内的block的大小，block的大小是8B的整数倍，最大不超过256B。
• Python分配时使用Best-fit，分配的block的大小最接近申请大小。
• usedpools是保持pool的数组，每个pool用双向链表相连，数组中第一个位置中的是8B的pool集合直到第32个位置中的256B的pool。
• 当usedpools中的pool的所有block被释放给arena。
• block包括已经分配、使用完毕和未使用三种状态，后两者均可以将对象分配进去。
• pool中定义了freeblock空闲表，用于链接使用完毕的block，而未使用的则在pool开头的nextoffset记录已分配的偏移。

分配

• 根据申请的大小找到usedpools的索引。
• 当usedpools中指定索引的pool被分配了则从pool中freeblock尝试获取block，不行则通过偏移取出block，如果pool内没有能分配的block则将pool从usedpools中移除。
• 如果没有block则通过new_arena将新的arena添加到usable_arensa中，如果分配失败则调用malloc。
• 初始化pool，从arena的freepools中获取一个pool插入到usedpools的开头，而后检查pool固定block大小与申请的block大小是否相同，如果不同则还需要初始化pool

释放

• 将释放对象的block连接到freeblock。
• 当pool内无已经分配的pool则将该pool连接到arena的freepools同时从usedpools中移除。
• 当arena为空，从usable_arena移除，连接到unused_arena_objects中。
• 当arena只有一个空pool时，即之前所有pool均被使用此时释放了一个pool，因此需要加入到usable_arenas。
• usable_arenas内按照空pool的数量从小到大进行排序。usedpools也是优先使用被利用最多的pool。

对象特有的分配器

• python中各种类型的对象持有各自的分配器。
• 不同的对象拥有不同的空闲链表(数组)，使用完毕的对象初始化后加入到该链表。
• 如果空闲链表满了则直接释放。

引用计数

• 对象内部有个计数器，32位环境下为int型，64位环境下为long型，指针为4的倍数因此使用这个长度还能多出两位。

循环引用垃圾回收

• 对象链表(双向链表)连接各个对象，对象的引用计数器复制到自对象内的另一个位置。
• 对复制的计数器中非根直接引用的减1。
• 将对象分为可能到达的对象的链表，复制计数器大于1或有从活动对象的引用。
• 将其余对象放如不可能到达的对象的链表，这些对象即是循环引用垃圾。
• 容器对象：可能保留了指向其他对象的运用的对象
• 循环引用的对象只可能出现在容器对象，可以将容器对象用对象链表连接。
• 分代容器对象链表，分为3代，每代有个阈值，超过该阈值则进行该代的回收。同时每回收一次进行晋升一次。