X86在逻辑地址、线性地址、理解虚拟地址和物理地址

参考：http://bbs.chinaunix.net/thread-2083672-1-1.html

本贴涉及的硬件平台是X86。假设是其他平台，不保证能一一对号入座。可是举一反三，我想是全然可行的。

一、概念



物理地址(physical address)

用于内存芯片级的单元寻址，与处理器和CPU连接的地址总线相相应。

——这个概念应该是这几个概念中最好理解的一个。可是值得一提的是，尽管能够直接把物理地址理解成插在机器上那根内存本身，把内存看成一个从0字节一直到最大空量逐字节的编号的大数组，然后把这个数组叫做物理地址。可是其实，这仅仅是一个硬件提供给软件的抽像，内存的寻址方式并非这样。所以，说它是“与地址总线相相应”，是更贴切一些。只是抛开对物理内存寻址方式的考虑，直接把物理地址与物理的内存一一相应，也是能够接受的。或许错误的理解更利于形而上的抽像。

虚拟内存(virtual memory)

这是对整个内存（不要与机器上插那条对上号）的抽像描写叙述。

它是相对于物理内存来讲的，能够直接理解成“不直实的”，“假的”内存。比如，一个0x08000000内存地址。它并不正确就物理地址上那个大数组中0x08000000 - 1那个地址元素。

之所以是这样。是由于现代操作系统都提供了一种内存管理的抽像，即虚拟内存（virtual memory）。进程使用虚拟内存中的地址，由操作系统协助相关硬件，把它“转换”成真正的物理地址。

这个“转换”。是全部问题讨论的关键。

有了这种抽像。一个程序，就能够使用比真实物理地址大得多的地址空间。

（拆东墙，补西墙，银行也是这样子做的）。甚至多个进程能够使用同样的地址。不奇怪。由于转换后的物理地址并不是同样的。

——能够把连接后的程序反编译看一下，发现连接器已经为程序分配了一个地址，比如，要调用某个函数A，代码不是call A，而是call 0x0811111111 ，也就是说，函数A的地址已经被定下来了。没有这种“转换”，没有虚拟地址的概念，这样做是根本行不通的。

打住了。这个问题再说下去，就收不住了。



逻辑地址(logical address)

Intel为了兼容，将远古时代的段式内存管理方式保留了下来。

逻辑地址指的是机器语言指令中，用来指定一个操作数或者是一条指令的地址。以上例，我们说的连接器为A分配的0x08111111这个地址就是逻辑地址。

——只是不好意思，这样说，好像又违背了Intel中段式管理中，对逻辑地址要求。“一个逻辑地址，是由一个段标识符加上一个指定段内相对地址的偏移量。表示为 [段标识符：段内偏移量]，也就是说。上例中那个0x08111111，应该表示为[A的代码段标识符: 0x08111111]，这样。才完整一些”



线性地址(linear address)或也叫虚拟地址(virtual address)

跟逻辑地址类似，它也是一个不真实的地址，假设逻辑地址是相应的硬件平台段式管理转换前地址的话，那么线性地址则相应了硬件页式内存的转换前地址。



-------------------------------------------------------------

CPU将一个虚拟内存空间中的地址转换为物理地址，须要进行两步：首先将给定一个逻辑地址（事实上是段内偏移量，这个一定要理解！！！

）。CPU要利用其段式内存管理单元，先将为个逻辑地址转换成一个线程地址，再利用其页式内存管理单元。转换为终于物理地址。

这样做两次转换，的确是很麻烦并且没有必要的，由于直接能够把线性地址抽像给进程。之所以这样冗余。Intel全然是为了兼容而已。

2、CPU段式内存管理，逻辑地址怎样转换为线性地址

一个逻辑地址由两部份组成，段标识符: 段内偏移量。

段标识符是由一个16位长的字段组成，称为段选择符。

当中前13位是一个索引號。

后面3位包括一些硬件细节，如图：

 

最后两位涉及权限检查，本贴中不包括。



索引號，或者直接理解成数组下标——那它总要相应一个数组吧，它又是什么东东的索引呢？这个东东就是“段描写叙述符(segment descriptor)”，呵呵，段描写叙述符详细地址描写叙述了一个段（对于“段”这个字眼的理解，我是把它想像成，拿了一把刀，把虚拟内存，砍成若干的截——段）。这样。非常多个段描写叙述符。就组了一个数组，叫“段描写叙述符表”。这样，能够通过段标识符的前13位，直接在段描写叙述符表中找到一个详细的段描写叙述符，这个描写叙述符就描写叙述了一个段，我刚才对段的抽像不太准确，由于看看描写叙述符里面到底有什么东东——也就是它到底是怎样描写叙述的，就理解段到底有什么东东了，每个段描写叙述符由8个字节组成。例如以下图：

 

这些东东非常复杂，尽管能够利用一个数据结构来定义它，只是。我这里仅仅关心一样，就是Base字段，它描写叙述了一个段的開始位置的线性地址。



Intel设计的本意是。一些全局的段描写叙述符，就放在“全局段描写叙述符表(GDT)”中。一些局部的。比如每一个进程自己的，就放在所谓的“局部段描写叙述符表(LDT)”中。

那到底什么时候该用GDT。什么时候该用LDT呢？这是由段选择符中的T1字段表示的，=0。表示用GDT，=1表示用LDT。



GDT在内存中的地址和大小存放在CPU的gdtr控制寄存器中。而LDT则在ldtr寄存器中。

好多概念。像绕口令一样。

这张图看起来要直观些：

 

首先，给定一个完整的逻辑地址[段选择符：段内偏移地址]，

1、看段选择符的T1=0还是1，知道当前要转换是GDT中的段，还是LDT中的段，再依据对应寄存器，得到其地址和大小。我们就有了一个数组了。

2、拿出段选择符中前13位，能够在这个数组中。查找到相应的段描写叙述符，这样。它了Base。即基地址就知道了。

3、把Base + offset，就是要转换的线性地址了。



还是挺简单的，对于软件来讲，原则上就须要把硬件转换所需的信息准备好，就能够让硬件来完毕这个转换了。OK。来看看Linux怎么做的。



3、Linux的段式管理

Intel要求两次转换。这样虽说是兼容了，可是却是非常冗余，呵呵，没办法，硬件要求这样做了。软件就仅仅能照办，怎么着也得形式主义一样。

还有一方面，其他某些硬件平台，没有二次转换的概念，Linux也须要提供一个高层抽像。来提供一个统一的界面。所以。Linux的段式管理，其实仅仅是“哄骗”了一下硬件而已。



依照Intel的本意。全局的用GDT，每一个进程自己的用LDT——只是Linux则对全部的进程都使用了同样的段来对指令和数据寻址。即用户数据段。用户代码段。相应的。内核中的是内核数据段和内核代码段。这样做没有什么奇怪的，本来就是走形式嘛，像我们写年终总结一样。

include/asm-i386/segment.h

1. #define GDT_ENTRY_DEFAULT_USER_CS        14
2. #define __USER_CS (GDT_ENTRY_DEFAULT_USER_CS * 8 + 3)
3. #define GDT_ENTRY_DEFAULT_USER_DS        15
4. #define __USER_DS (GDT_ENTRY_DEFAULT_USER_DS * 8 + 3)
5. #define GDT_ENTRY_KERNEL_BASE        12
6. #define GDT_ENTRY_KERNEL_CS                (GDT_ENTRY_KERNEL_BASE + 0)
7. #define __KERNEL_CS (GDT_ENTRY_KERNEL_CS * 8)
8. #define GDT_ENTRY_KERNEL_DS                (GDT_ENTRY_KERNEL_BASE + 1)
9. #define __KERNEL_DS (GDT_ENTRY_KERNEL_DS * 8)

复制代码

把当中的宏替换成数值。则为：

1. #define __USER_CS 115        [00000000 1110  0  11]
2. #define __USER_DS 123        [00000000 1111  0  11]
3. #define __KERNEL_CS 96      [00000000 1100  0  00]
4. #define __KERNEL_DS 104    [00000000 1101  0  00]

复制代码

方括号后是这四个段选择符的16位二制表示，它们的索引號和T1字段值也能够算出来了

1. __USER_CS              index= 14   T1=0
2. __USER_DS               index= 15   T1=0
3. __KERNEL_CS           index=  12  T1=0
4. __KERNEL_DS           index= 13   T1=0

复制代码

T1均为0。则表示都使用了GDT。再来看初始化GDT的内容中对应的12-15项(arch/i386/head.S)：

1. .quad 0x00cf9a000000ffff        /* 0x60 kernel 4GB code at 0x00000000 */
2. .quad 0x00cf92000000ffff        /* 0x68 kernel 4GB data at 0x00000000 */
3. .quad 0x00cffa000000ffff        /* 0x73 user 4GB code at 0x00000000 */
4. .quad 0x00cff2000000ffff        /* 0x7b user 4GB data at 0x00000000 */

复制代码

依照前面段描写叙述符表中的描写叙述，能够把它们展开，发现其16-31位全为0，即四个段的基地址全为0。



这样。给定一个段内偏移地址。依照前面转换公式。0 + 段内偏移，转换为线性地址。能够得出重要的结论，“在Linux下，逻辑地址与线性地址总是一致（是一致，不是有些人说的同样）的，即逻辑地址的偏移量字段的值与线性地址的值总是同样的。

。！！

”



忽略了太多的细节，比如段的权限检查。呵呵。



Linux中，绝大部份进程并不例用LDT，除非使用Wine 。仿真Windows程序的时候。

4.CPU的页式内存管理



CPU的页式内存管理单元，负责把一个线性地址，终于翻译为一个物理地址。从管理和效率的角度出发，线性地址被分为以固定长度为单位的组，称为页(page)。比如一个32位的机器。线性地址最大可为4G，能够用4KB为一个页来划分，这页，整个线性地址就被划分为一个tatol_page[2^20]的大数组，共同拥有2的20个次方个页。这个大数组我们称之为页文件夹。文件夹中的每个文件夹项，就是一个地址——相应的页的地址。

还有一类“页”，我们称之为物理页，或者是页框、页桢的。是分页单元把全部的物理内存也划分为固定长度的管理单位，它的长度一般与内存页是一一相应的。



这里注意到。这个total_page数组有2^20个成员，每一个成员是一个地址（32位机。一个地址也就是4字节）。那么要单单要表示这么一个数组，就要占去4MB的内存空间。

为了节省空间，引入了一个二级管理模式的机器来组织分页单元。文字描写叙述太累，看图直观一些：

 

如上图。

1、分页单元中，页文件夹是唯一的，它的地址放在CPU的cr3寄存器中，是进行地址转换的開始点。万里长征就从此长始了。

2、每个活动的进程，由于都有其独立的相应的虚似内存（页文件夹也是唯一的），那么它也相应了一个独立的页文件夹地址。

——执行一个进程。须要将它的页文件夹地址放到cr3寄存器中，将别个的保存下来。

3、每个32位的线性地址被划分为三部份，面文件夹索引(10位)：页表索引(10位)：偏移(12位)

根据下面步骤进行转换：

1、从cr3中取出进程的页文件夹地址（操作系统负责在调度进程的时候。把这个地址装入相应寄存器）；

2、依据线性地址前十位。在数组中。找到相应的索引项，由于引入了二级管理模式。页文件夹中的项，不再是页的地址，而是一个页表的地址。（又引入了一个数组），页的地址被放到页表中去了。

3、依据线性地址的中间十位。在页表（也是数组）中找到页的起始地址；

4、将页的起始地址与线性地址中最后12位相加。得到终于我们想要的葫芦；



这个转换过程，应该说还是很easy地。

所有由硬件完毕，尽管多了一道手续。可是节约了大量的内存。还是值得的。那么再简单地验证一下：

1、这种二级模式是否仍可以表示4G的地址；

页文件夹共同拥有：2^10项，也就是说有这么多个页表

每一个目表相应了：2^10页；

每一个页中可寻址：2^12个字节。

还是2^32 = 4GB



2、这种二级模式是否真的节约了空间；

也就是算一下页文件夹项和页表项共占空间 (2^10 * 4 + 2 ^10 *4) = 8KB。哎。……怎么说呢！

！

。

红色错误，标注一下。后文贴中有此讨论。。。

。。。

按<深入理解计算机系统>中的解释,二级模式空间的节约是从两个方面实现的:

A、假设一级页表中的一个页表条目为空。那么那所指的二级页表就根本不会存在。这表现出一种巨大的潜在节约，由于对于一个典型的程序。4GB虚拟地址空间的大部份都会是未分配的；

B、仅仅有一级页表才须要总是在主存中。虚拟存储器系统能够在须要时创建。并页面调入或调出二级页表，这就降低了主存的压力。仅仅有最常常使用的二级页表才须要缓存在主存中。——只是Linux并没有全然享受这样的福利，它的页表文件夹和与已分配页面相关的页表都是常驻内存的。

值得一提的是，尽管页文件夹和页表中的项，都是4个字节，32位，可是它们都仅仅用高20位，低12位屏蔽为0——把页表的低12屏蔽为0，是非常好理解的，由于这样，它刚好和一个页面大小相应起来，大家都成整数添加。计算起来就方便多了。可是。为什么同一时候也要把页文件夹低12位屏蔽掉呢？由于按相同的道理，仅仅要屏蔽其低10位就能够了。只是我想，由于12>10。这样。能够让页文件夹和页表使用相同的数据结构。方便。



本贴仅仅介绍一般性转换的原理。扩展分页、页的保护机制、PAE模式的分页这些麻烦点的东东就不啰嗦了……能够參考其他专业书籍。

5.Linux的页式内存管理

原理上来讲。Linux仅仅须要为每一个进程分配好所需数据结构，放到内存中。然后在调度进程的时候，切换寄存器cr3，剩下的就交给硬件来完毕了（呵呵。其实要复杂得多。只是偶仅仅分析最主要的流程）。

前面说了i386的二级页管理架构。只是有些CPU。还有三级，甚至四级架构。Linux为了在更高层次提供抽像。为每一个CPU提供统一的界面。提供了一个四层页管理架构，来兼容这些二级、三级、四级管理架构的CPU。这四级分别为：



页全局文件夹PGD（相应刚才的页文件夹）

页上级文件夹PUD（新引进的）

页中间文件夹PMD（也就新引进的）

页表PT（相应刚才的页表）。

整个转换根据硬件转换原理。仅仅是多了二次数组的索引罢了。例如以下图：

 

那么。对于使用二级管理架构32位的硬件，如今又是四级转换了。它们怎么可以协调地工作起来呢？嗯，来看这样的情况下。怎么来划分线性地址吧！

从硬件的角度。32位地址被分成了三部份——也就是说，无论理软件怎么做。终于落实到硬件，也仅仅认识这三位老大。

从软件的角度，因为多引入了两部份，，也就是说，共同拥有五部份。——要让二层架构的硬件认识五部份也非常easy，在地址划分的时候，将页上级文件夹和页中间文件夹的长度设置为0就能够了。

这样。操作系统见到的是五部份，硬件还是按它死板的三部份划分。也不会出错，也就是说大家共建了和谐计算机系统。



这样，虽说是多此一举，可是考虑到64位地址，使用四层转换架构的CPU，我们就不再把中间两个设为0了，这样，软件与硬件再次和谐——抽像就是强大呀！。。



比如。一个逻辑地址已经被转换成了线性地址，0x08147258，换成二制进。也就是：

0000100000 0101000111 001001011000

内核对这个地址进行划分

PGD = 0000100000

PUD = 0

PMD = 0

PT = 0101000111

offset = 001001011000



如今来理解Linux针对硬件的花招，由于硬件根本看不到所谓PUD,PMD，所以。本质上要求PGD索引，直接就相应了PT的地址。而不是再到PUD和PMD中去查数组（尽管它们两个在线性地址中，长度为0，2^0 =1，也就是说。它们都是有一个数组元素的数组），那么，内核怎样合理安排地址呢？

从软件的角度上来讲。由于它的项仅仅有一个，32位，刚好能够存放与PGD中长度一样的地址指针。那么所谓先到PUD，到到PMD中做映射转换，就变成了保持原值不变。一一转手就能够了。

这样，就实现了“逻辑上指向一个PUD，再指向一个PDM，但在物理上是直接指向对应的PT的这个抽像。由于硬件根本不知道有PUD、PMD这个东西”。



然后交给硬件，硬件对这个地址进行划分，看到的是：

页文件夹 = 0000100000

PT = 0101000111

offset = 001001011000

嗯。先依据0000100000(32)，在页文件夹数组中索引，找到其元素中的地址，取其高20位。找到页表的地址，页表的地址是由内核动态分配的，接着，再加一个offset，就是终于的物理地址了。

版权声明：本文博主原创文章，博客，未经同意不得转载。