【原创】（六）Linux内存管理 - zoned page frame allocator - 1

背景 Read the fucking source code! --By 鲁迅 A picture is worth a thousand words. --By 高尔基说明: Kernel版本:4.14 ARM64处理器,Contex-A53,双核使用工具:Source Insight 3.5, Visio 1. 介绍之前的系列内存管理文章基本上描述的是物理页面的初始化过程,以及虚拟页面到物理页面的映射建立过程,从这篇文章开始,真正要涉及到页面的分配了.接下来的文章会围绕着分区页框分配…

【原创】（八）Linux内存管理 - zoned page frame allocator - 3

背景 Read the fucking source code! --By 鲁迅 A picture is worth a thousand words. --By 高尔基说明: Kernel版本:4.14 ARM64处理器,Contex-A53,双核使用工具:Source Insight 3.5, Visio 1. 概述本文将分析watermark. 简单来说,在使用zoned page frame allocator分配页面时,会将可用的free pages与zone的watermar…

【原创】（七）Linux内存管理 - zoned page frame allocator - 2

背景 Read the fucking source code! --By 鲁迅 A picture is worth a thousand words. --By 高尔基说明: Kernel版本:4.14 ARM64处理器,Contex-A53,双核使用工具:Source Insight 3.5, Visio 1. 概述本文将分析Buddy System. Buddy System伙伴系统,是通过将物理内存划分为页面来进行管理的系统,支持连续的物理页面分配和释放.此外,使用与碎片相关的算…

【原创】（九）Linux内存管理 - zoned page frame allocator - 4

背景 Read the fucking source code! --By 鲁迅 A picture is worth a thousand words. --By 高尔基说明: Kernel版本:4.14 ARM64处理器,Contex-A53,双核使用工具:Source Insight 3.5, Visio 1. 概述本文将描述memory compaction,内存碎片整理技术. 内存碎片分为内碎片和外碎片: 内碎片:内存页里边的碎片: 外碎片:内存页之间的碎片,可能会造成连续物理页…

【原创】（十）Linux内存管理 - zoned page frame allocator - 5

背景 Read the fucking source code! --By 鲁迅 A picture is worth a thousand words. --By 高尔基说明: Kernel版本:4.14 ARM64处理器,Contex-A53,双核使用工具:Source Insight 3.5, Visio 1. 概述本文将讨论memory reclaim内存回收这个话题. 在内存分配出现不足时,可以通过唤醒kswapd内核线程来异步回收,或者通过direct reclaim直接回收来…

Linux内存管理 (11)page引用计数

专题:Linux内存管理专题关键词:struct page._count._mapcount.PG_locked/PG_referenced/PG_active/PG_dirty等. Linux的内存管理是以页展开的,struct page非常重要,同时其维护成本也非常高. 这里主要介绍struct page中_count/_mapcount和flags参数. flags是页面标志位集合,是内存管理非常重要的部分. _count表示内核中引用该页面的次数:_mapcount表示页面被进程映射的…

【原创】（十四）Linux内存管理之page fault处理

背景 Read the fucking source code! --By 鲁迅 A picture is worth a thousand words. --By 高尔基说明: Kernel版本:4.14 ARM64处理器,Contex-A53,双核使用工具:Source Insight 3.5, Visio 1. 概述上篇文章分析到malloc/mmap函数中,内核实现只是在进程的地址空间建立好了vma区域,并没有实际的虚拟地址到物理地址的映射操作.这部分就是在Page Fault异常…

Linux内存管理6---伙伴算法与slab

1.前言本文所述关于内存管理的系列文章主要是对陈莉君老师所讲述的内存管理知识讲座的整理. 本讲座主要分三个主题展开对内存管理进行讲解:内存管理的硬件基础.虚拟地址空间的管理.物理地址空间的管理. 本文将主要以X86架构为例来介绍伙伴算法和slab分配 2.伙伴算法概述块链表 Linux的伙伴算法将所有的空闲页面分成MAX_ORDER+1(MAX_ORDER默认大小为11)个块链表每个链表中的一个节点指向一个含有2的幂次个页面的块,即页块或简称块图伙伴算法结构实例图 0:每个页块的大小为…

[转帖]Linux分页机制之概述--Linux内存管理(六)

Linux分页机制之概述--Linux内存管理(六) 2016年09月01日 19:46:08 JeanCheng 阅读数:5491 标签: linuxkernel内存管理分页架构更多个人分类: ┈┈[理解Linux内存管理] https://blog.csdn.net/gatieme/article/details/52402861 全系列非常好就是自己学习不会.. 版权声明:本文为博主原创文章 && 转载请著名出处 @ http://blog.csdn.net/gati…

Linux内存描述之内存页面page–Linux内存管理(四)

服务器体系与共享存储器架构日期内核版本架构作者 GitHub CSDN 2016-06-14 Linux-4.7 X86 & arm gatieme LinuxDeviceDrivers Linux内存管理 #1 前景回顾 #1.1 UMA和NUMA两种模型共享存储型多处理机有两种模型均匀存储器存取(Uniform-Memory-Access,简称UMA)模型非均匀存储器存取(Nonuniform-Memory-Access,简称NUMA)模型 #1.2 (N)UMA模型中linu…

伙伴系统之避免碎片--Linux内存管理(十六)

1 前景提要 1.1 碎片化问题分页与分段页是信息的物理单位, 分页是为了实现非连续分配, 以便解决内存碎片问题, 或者说分页是由于系统管理的需要. 段是信息的逻辑单位,它含有一组意义相对完整的信息, 分段的目的是为了更好地实现共享, 满足用户的需要. 页的大小固定且由系统确定, 将逻辑地址划分为页号和页内地址是由机器硬件实现的. 而段的长度却不固定, 决定于用户所编写的程序, 通常由编译程序在对源程序进行编译时根据信息的性质来划分. 分页的作业地址空间是一维的. 分段的地址空间是二维的.…

[转帖]Linux分页机制之分页机制的演变--Linux内存管理(七)

Linux分页机制之分页机制的演变--Linux内存管理(七) 2016年09月01日 20:01:31 JeanCheng 阅读数:4543 https://blog.csdn.net/gatieme/article/details/52402967 ~ 版权声明:本文为博主原创文章 && 转载请著名出处 @ http://blog.csdn.net/gatieme https://blog.csdn.net/gatieme/article/details/52402967 日期内…

linux内存管理

一.Linux 进程在内存中的数据结构一个可执行程序在存储(没有调入内存)时分为代码段,数据段,未初始化数据段三部分: 1) 代码段:存放CPU执行的机器指令.通常代码区是共享的,即其它执行程序可调用它.假如机器中有数个进程运行相同的一个程序,那么它们就可以使用同一个代码段. 2) 数据段:存放已初始化的全局变量.静态变量(包括全局和局部的).常量.static全局变量和static函数只能在当前文件中被调用. 3) 未初始化数据区(uninitializeddata s…

MySQL 调优基础(二) Linux内存管理

进程的运行,必须使用内存.下图是Linux中进程中的内存的分布图: 其中最重要的 heap segment 和 stack segment.其它内存段基本是大小固定的.注意stack是向低地址增长的,和heap相反.另外进程的内存地址从0开始,是因为使用的是虚拟内存.所以存在虚拟内存到物理内存的映射.目前服务器一般都是64位的,32位的已经极少了,32为对内存有极大限制. 1. Linux 虚拟内存 Linux是通过虚拟内存的方式来管理内存的.虚拟内存和物理内存之间存在映射关系.当进程在CPU上…

伙伴系统之伙伴系统概述--Linux内存管理(十五)

在内核初始化完成之后, 内存管理的责任就由伙伴系统来承担. 伙伴系统基于一种相对简单然而令人吃惊的强大算法. Linux内核使用二进制伙伴算法来管理和分配物理内存页面, 该算法由Knowlton设计, 后来Knuth又进行了更深刻的描述. 伙伴系统是一个结合了2的方幂个分配器和空闲缓冲区合并计技术的内存分配方案, 其基本思想很简单. 内存被分成含有很多页面的大块, 每一块都是2个页面大小的方幂. 如果找不到想要的块, 一个大块会被分成两部分, 这两部分彼此就成为伙伴. 其中一半被用来分配, 而另…

启动期间的内存管理之初始化过程概述----Linux内存管理(九)

在内存管理的上下文中, 初始化(initialization)可以有多种含义. 在许多CPU上, 必须显式设置适用于Linux内核的内存模型. 例如在x86_32上需要切换到保护模式, 然后内核才能检测到可用内存和寄存器. 而我们今天要讲的boot阶段就是系统初始化阶段使用的内存分配器. 1 前景回顾 1.1 Linux内存管理的层次结构 Linux把物理内存划分为三个层次来管理层次描述存储节点(Node) CPU被划分为多个节点(node), 内存则被分簇, 每个CPU对应一个本地物理内…

Linux内存管理 (25)内存sysfs节点解读

1. General 1.1 /proc/meminfo /proc/meminfo是了解Linux系统内存使用状况主要接口,也是free等命令的数据来源. 下面是cat /proc/meminfo的一个实例. MemTotal: 8054880 kB---------------------对应totalram_pages大小 MemFree: kB---------------------对应vm_stat[NR_FREE_PAGES]大小 MemAvailable: kB---------…

Linux内存管理 (4)分配物理页面

专题:Linux内存管理专题关键词:分配掩码.伙伴系统.水位(watermark).空闲伙伴块合并. 我们知道Linux内存管理是以页为单位进行的,对内存的管理是通过伙伴系统进行. 从Linux内存管理框架图可知,页面分配器是其他林林总总内存操作的基础. 这也是为什么在介绍了<Linux内存管理 (1)物理内存初始化>.<Linux内存管理 (2)页表的映射过程>.<Linux内存管理 (3)内核内存的布局图>之后,紧接着就要弄明白页面分配器的原因. 1. 重要数据结…

Linux内存管理 (19)总结内存管理数据结构和API

专题:Linux内存管理专题关键词:mm.vaddr.VMA.page.pfn.pte.paddr.pg_data.zone.mem_map[]. 1. 内存管理数据结构的关系图在大部分Linux系统中,内存设备的初始化一般是在BIOS或bootloader中,然后把DDR的大小传递给Linux内核.因此从Linux内核角度来看DDR,其实就是一段物理内存空间. 1.1 由mm数据结构和虚拟地址vaddr找到对应的VMA extern struct vm_area_struct * find…

Linux内存管理 (23)一个内存Oops解析

专题:Linux内存管理专题关键词:DataAbort.fsr.pte.backtrace.stack. 在内存相关实际应用中,内存异常访问是一种常见的问题. 本文结合异常T32栈回溯.Oops打印以及代码,分析打印log,加深对Oops的理解,有助于快速定位问题解决问题. 1. 不同类型异常处理当内存访问异常时,触发__dabt_svc异常向量处理,进入do_DataAbort进行处理. 从_dabt_svc到do_DataAbort流程,可以参考do_DataAbort. 从do_D…

Linux内存管理（二）

Linux内存管理之二:Linux在X86上的虚拟内存管理本文档来自网络,并稍有改动. 前言 Linux支持很多硬件运行平台,常用的有:Intel X86,Alpha,Sparc等.对于不能够通用的一些功能,Linux必须依据硬件平台的特点来具体实现.本文的目的是简要探讨Linux在X86保护模式上如何实现虚拟内存管理功能.为简化和方便叙述,本文做如下限定:X86处理器为80486和其后的处理器,X86工作在保护模式,不采用物理内存扩展(使用32bits物理地址),不使用扩展页(页大小为4K)…

Linux内存管理3---分页机制

1.前言本文所述关于内存管理的系列文章主要是对陈莉君老师所讲述的内存管理知识讲座的整理. 本讲座主要分三个主题展开对内存管理进行讲解:内存管理的硬件基础.虚拟地址空间的管理.物理地址空间的管理. 本文将主要以X86架构为例来介绍Linux内存管理的分页机制. 2.分页机制页(Page) 将线性地址空间划分成若干大小相等的片,称为页页框(Page Frame) 物理地址空间划分成与页大小相等的若干存储块,称为页框图线性地址空间与物理地址空间的映射上图说明线性地址空间是连续的(如程序经过…

linux内存管理－内核用户空间【转】

转自:http://blog.chinaunix.net/uid-25909619-id-4491362.html 1,linux内存管理中几个重要的结构体和数组 page unsigned long flags 一组标志,也对页框所在的管理区进行编号 atomic_t _count 该页被引用的次数 atomic_t _mapcount 页框中页表项数目,如果没有则为-1 struct list_head lru 管理page忙碌/空闲链表(inactive_list/active_list)…

Linux内存管理和应用

[作者:byeyear.首发于cnblogs,转载请注明.联系:east3@163.com] 本文对Linux内存管理使用到的一些数据结构和函数作了简要描述,而不深入到它们的内部.对这些数据结构和函数有了一个总体上的了解后,再针对各项分别作深入了解的时候,也许会简单一些. Linux内存访问限制(仅针对32位系统) 默认情况下Linux的内核空间映射到4G虚拟地址的最高1G(即0xC0000000 - 0xFFFFFFF) 在x86中,这个偏移量表示为TASK_SIZE,也表示为PAGE_OFF…