原文网址:https://www.ibm.com/developerworks/cn/linux/l-cn-slub/ 多年以来,Linux 内核使用一种称为 SLAB 的内核对象缓冲区分配器.但是,随着系统规模的不断增大,SLAB 逐渐暴露出自身的诸多不足.SLUB 是 Linux 内核 2.6.22 版本中引入的一种新型分配器,它具有设计简单.代码精简.额外内存占用率小.扩展性高,性能优秀.方便调试等特点.本文先介绍 SLAB 分配器的基本原理,然后分析其不足之处并详细介绍 SLUB 的设计…

1.前言 在Linux中,伙伴系统(buddy system)是以页为单位管理和分配内存.但是现实的需求却以字节为单位,假如我们需要申请20Bytes,总不能分配一页吧!那岂不是严重浪费内存.那么该如何分配呢?slab分配器就应运而生了,专为小内存分配而生.slab分配器分配内存以Byte为单位.但是slab分配器并没有脱离伙伴系统,而是基于伙伴系统分配的大内存进一步细分成小内存分配. 前段时间学习了下slab分配器工作原理.因为自己本身是做手机的,发现现在好像都在使用slub分配器,想想还是再…

本文为原创,转载请注明:http://www.cnblogs.com/tolimit/ SLUB和SLAB的区别 首先为什么要说slub分配器,内核里小内存分配一共有三种,SLAB/SLUB/SLOB,slub分配器是slab分配器的进化版,而slob是一种精简的小内存分配算法,主要用于嵌入式系统.慢慢的slab分配器或许会被slub取代,所以对slub的了解是十分有必要的. 我们先说说slab分配器的弊端,我们知道slab分配器中每个node结点有三个链表,分别是空闲slab链表,部分空sla…

1. 分析的linux内核源码版本为4.18.0 2. 与slub相关的内核配置项为CONFIG_SLUB 3. 一切都从一个结构体数组kmalloc_caches开始,它的原型如下: ] __ro_after_init; 3.1 这个数组定义在mm/slab_common.c中 3.2 KMALLOC_SHIFT_HIGH是如何定义的呢? #define KMALLOC_SHIFT_HIGH  (PAGE_SHIFT + 1)#define PAGE_SHIFT  12 (各个架构下的定义都有…

Linux的物理内存管理采用了以页为单位的buddy system(伙伴系统),但是很多情况下,内核仅仅需要一个较小的对象空间,而且这些小块的空间对于不同对象又是变化的.不可预测的,所以需要一种类似用户空间堆内存的管理机制(malloc/free).然而内核对对象的管理又有一定的特殊性,有些对象的访问非常频繁,需要采用缓冲机制:对象的组织需要考虑硬件cache的影响:需要考虑多处理器以及NUMA架构的影响.90年代初期,在Solaris 2.4操作系统中,采用了一种称为“slab”(原意是大块的…

Linux中的Buffer Cache和Page Cache echo 3 > /proc/sys/vm/drop_caches   Slab内存管理机制 SLUB内存管理机制 http://wenku.baidu.com/view/dd677d2fcfc789eb172dc868.html http://bbs.chinaunix.net/thread-3759086-1-1.html http://bbs.chinaunix.net/forum.php?mod=viewthread&ti…

Linux内存管理是一个很复杂的系统,也是linux的精髓之一,网络上讲解这方面的文档也很多,我把这段时间学习内存管理方面的知识记录在这里,涉及的代码太多,也没有太多仔细的去看代码,深入解算法,这篇文章就当做内存方面学习的一个入门文档,方便以后在深入学习内存管理源码的一个指导作用: (一)NUMA架构   NUMA通过提供分离的存储器给各个处理器,避免当多个处理器访问同一个存储器产生的性能损失来试图解决这个问题.对于涉及到分散的数据的应用(在服务器和类似于服务器的应用中很常见),NUMA可以通过…

 http://thinkiii.blogspot.jp/2014/02/debug-with-slub-allocator.html The slub allocator in Linux has useful debug features. Such as poisoning, readzone checking, and allocate/free traces with timestamps. It's very useful during product developing stag…

背景 Read the fucking source code! --By 鲁迅 A picture is worth a thousand words. --By 高尔基 说明: Kernel版本:4.14 ARM64处理器,Contex-A53,双核 使用工具:Source Insight 3.5, Visio 1. 概述 之前的文章分析的都是基于页面的内存分配,而小块内存的分配和管理是通过块分配器来实现的.目前内核中,有三种方式来实现小块内存分配:slab, slub, slob,最先有s…

Try to Fix Two Linux Kernel Bugs While Testing TiDB Operator in K8sWed, May 1, 2019 Wenbo Zhang Author: Wenbo Zhang (Linux Kernel Engineer of the EE team at PingCAP) Kubernetes (K8s) is an open-source container orchestration system that automates app…

kmem_cache如下: 62struct kmem_cache { struct kmem_cache_cpu __percpu *cpu_slab; /* Used for retriving partial slabs etc */ unsigned long flags; unsigned long min_partial; int size; /* The size of an object including meta data */ int object_size; /* The…

1.前言 在Linux中,伙伴系统(buddy system)是以页为单位管理和分配内存.但是现实的需求却以字节为单位,假如我们需要申请20Bytes,总不能分配一页吧!那岂不是严重浪费内存.那么该如何分配呢?slab分配器就应运而生了,专为小内存分配而生.slab分配器分配内存以Byte为单位.但是slab分配器并没有脱离伙伴系统,而是基于伙伴系统分配的大内存进一步细分成小内存分配. 前段时间学习了下slab分配器工作原理.因为自己本身是做手机的,发现现在好像都在使用slub分配器,想想还是再…

Exploit Linux Kernel Slub Overflow By wzt 一.前言 最近几年关于kernel exploit的研究比较热门,常见的内核提权漏洞大致可以分为几类: 空指针引用,内核堆栈溢出,内核slab溢出,内核任意地址可写等等.空指针引用漏洞比较 容易exploit,典型的例子如sock_sendpage,udp_sendmsg.但是新内核的安全模块已经不 在允许userspace的code映射低内存了,所以NULL pointer dereference曾经一度只能d…

内核分配器的功能 在操作系统管理的虚拟内存中,用于内存管理的最小单位是页,大多数传统的架构是4KB.由于进程每次申请分配4KB是不现实的,比如分配几个字节或几十个字节,这时需要中间机制来管理页面的微型内存. 为此,内核实现了一个分配器来管理页中碎片内存的分配和回收.可以把分配器理解为一个零售供应商:它收购大量的库存(4KB大小的页),然后在模块需要时分成小块出售.这种分配的基本版就是SLAB. SLAB 当内核子系统为对象请求.释放数据时,主要的开销在于初始化.销毁过程,而不是为对象分配的内存.…

http://blog.csdn.net/lukuen/article/details/6935068…

作者:彭東林 郵箱:pengdonglin137@163.com QQ:405728433 開發板 TQ2440 + 64MB 內存 + 256MB Nand 軟件 Linux: Linux-4.9 (https://github.com/pengdonglin137/linux-4.9 ) u-boot:U-Boot 2015.04  (http://www.cnblogs.com/pengdonglin137/p/4541705.html 以及 https://github.com/peng…

sysfs是一个基于ramfs的文件系统,在2.6内核开始引入,用来导出内核对象(kernel object)的数据.属性到用户空间.与同样用于查看内核数据的proc不同,sysfs只关心具有层次结构的设备信息,比如系统中的总线,驱动以及已经加载的模块等,而诸如PID等信息还是使用proc来管理.本质上,sysfs文件的层次结构就是基于内核中kset与kobject逻辑结构来组织的.从驱动开发的角度,sysfs为我们提供了除了虚拟字符设备的read/write/ioctl和proc系统之外的另外…

以下Linux系统资源查看命令中,较常用的为vmstat 与 lsof vmstat [刷新延时 刷新次数] ucm@ucm-Aspire-TC-:~$ vmstat procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b 交换 空闲 缓冲 缓存 si so bi bo in cs us sy id wa st ucm@ucm-Aspire-TC-:~$ dmesg 内核自检信息 u…

—————————————————————————————————————————————————————————————————————— 串口返回正确的信息 Booting PSP Boot Loader Starting NAND Copy Booting Application @ 0x81080000 U-Boot 1.2.0 (Sep 12 2013 - 15:31:07) I2C:   ready DRAM:  256 MB unknown vendor=0 Flash:  0 k…

上一篇我们已经成功将 ARM Linux 4.7.3 的内核利用 U-BOOT 引导了起来.但是细心的你会发现,引导到后面,系统无法启动,出现内核恐慌 (Kernel Panic). 原因是找不到文件系统.为了让内核成功启动,我们还需要构建一个根文件系统.为了后期开发的方便,我们采用 NFS 网络文件系统. 利用 BusyBox 构建 mini 根文件系统 什么是 BusyBox ? BusyBox 是一个遵循GPL协议.以自由软件形式发行的应用程序.Busybox在单一的可执行文件中提供了精简…

单机搭建Android开发环境,第一篇重点介绍了如何优化Windows 7系统,以提高开发主机的性能并延长SSD的使用寿命.第二篇重点介绍了基于VMWare安装64位版的Ubuntu 12.04,并安装sshd.vim和samba.本篇将重点介绍VMWare配置的优化以及Ubuntu 12.04系统的优化,进一步减少对SSD无谓的写操作并提高Ubuntu的开机启动速度和运行性能.最终优化的结果,在SSD上启动Ubuntu 12.04,大概不到9秒. 首先通过修改*.vmx配置文件,取消生成日志,…

本文以32位机器为准,串讲一些内存管理的知识点. 1. 虚拟地址.物理地址.逻辑地址.线性地址 虚拟地址又叫线性地址.linux没有采用分段机制,所以逻辑地址和虚拟地址(线性地址)(在用户态,内核态逻辑地址专指下文说的线性偏移前的地址)是一个概念.物理地址自不必提.内核的虚拟地址和物理地址,大部分只差一个线性偏移量.用户空间的虚拟地址和物理地址则采用了多级页表进行映射,但仍称之为线性地址. 2. DMA/HIGH_MEM/NROMAL 分区 在x86结构中,Linux内核虚拟地址空间划分0~3G…

在Linux中,给kernel传递参数以控制其行为总共有三种方法: 1.build kernel之时的各个configuration选项. 2.当kernel启动之时,可以参数在kernel被GRUB或LILO等启动程序调用之时传递给kernel. 3.在kernel运行时,修改/proc或/sys目录下的文件. 这里我简单讲的就是第二种方式了,kernel在grub中配置的启动参数. 首先,kernel有哪些参数呢? 在linux的源代码中,有这样的一个文档Documentation/kern…

pagemap, from the userspace perspective --------------------------------------- pagemap is a new (as of 2.6.25) set of interfaces in the kernel that allow userspace programs to examine the page tables and related information by reading files in /proc…

环境介绍 Win7 64 + Vmware 11 + ubuntu14.04 32 u-boot 版本:u-boot-2015-04 Linux kernel版本:linux-3.16.y busybox版本:1_24_stable 交叉编译工具链:arm-linux-gnueabi- qemu版本:stable-2.4 概述 这里我采用的方法是,利用网络引导的方式启动Linux内核.具体方式如下: 开启Qemu的网络支持功能,启动u-boot,设置u-boot的环境变量,u-boot采用tft…

目录 . 内核态(ring0)内存申请和用户态(ring3)内存申请 . 内核态(ring0)内存申请:kmalloc/kfree.vmalloc/vfree . 用户态(ring3)内存申请:malloc/free . 内核内存申请原则 . 内核中分配物理地址连续的大段内存 1. 内核态(ring0)内存申请和用户态(ring3)内存申请  0x1: 差异点 在内核中申请内存和在用户空间中申请内存不同,有以下因素引起了复杂性,包括 . 内核的虚拟和物理地址被限制到1GB . 内核的内存不能PA…

目录 . 引言 . 页表 . 结构化内存管理 . 物理内存的管理 . SLAB分配器 . 处理器高速缓存和TLB控制 . 内存管理的概念 . 内存覆盖与内存交换 . 内存连续分配管理方式 . 内存非连续分配管理方式 . 虚拟内存的概念.特征及其实现 . 请求分页管理方式实现虚拟内存 . 页面置换算法 . 页面分配策略 . 页面抖动和工作集 . 缺页异常的处理 . 堆与内存管理 0. 引言 有两种类型的计算机,分别以不同的方法管理物理内存 . UMA计算机(一致内存访问 uniform memor…

目录 . 进程相关数据结构 ) struct task_struct ) struct cred ) struct pid_link ) struct pid ) struct signal_struct ) struct rlimit . 内核中的队列/链表对象 ) singly-linked lists ) singly-linked tail queues ) doubly-linked lists ) doubly-linked tail queues . 内核模块相关数据结构 ) st…

1.问题来源公司线上环境出现MQ不能接受消息的异常,运维和开发人员临时切换另一台服务器的MQ后恢复.同时运维人员反馈在出现问题的服务器上很多基本的命令都不能运行,出现如下错误:2.   初步原因分析和解决让运维的兄弟在服务上查看内存.CPU.网络.IO等基本信息都正常.于是自己到运维的服务器上看了一下,下面是slabtop –s c的运行结果,问题初步原因貌似出现了:如果看到这个截图你看不出什么异常的话,下面的内容你可能不感兴趣,哈哈...task_struct是内核对进程的管理单位,通过slu…

现在的服务器大部分都是运行在Linux上面的,所以作为一个程序员有必要简单地了解一下系统是如何运行的. 对于内存部分需要知道: 地址映射 内存管理的方式 缺页异常 先来看一些基本的知识,在进程看来,内存分为内核态和用户态两部分,经典比例如下: 从用户态到内核态一般通过系统调用.中断来实现.用户态的内存被划分为不同的区域用于不同的目的: 当然内核态也不会无差别地使用,所以,其划分如下: 下面来仔细看这些内存是如何管理的. 地址 在Linux内部的地址的映射过程为逻辑地址–>线性地址–>物理地址,…