MappedByteBuffer

计算机内存管理

原文链接 https://www.cnblogs.com/guozp/p/10470431.html

MMC：CPU的内存管理单元。

物理内存：即内存条的内存空间。

虚拟内存：计算机系统内存管理的一种技术。它使得应用程序认为它拥有连续的可用的内存（一个连续完整的地址空间），而实际上，它通常是被分隔成多个物理内存碎片，还有部分暂时存储在外部磁盘存储器上，在需要时进行数据交换。

页面文件：操作系统反映构建并使用虚拟内存的硬盘空间大小而创建的文件，在windows下，即pagefile.sys文件，其存在意味着物理内存被占满后，将暂时不用的数据移动到硬盘上。

缺页中断：当程序试图访问已映射在虚拟地址空间中但未被加载至物理内存的一个分页时，由MMC发出的中断。如果操作系统判断此次访问是有效的，则尝试将相关的页从虚拟内存文件中载入物理内存。

MappedByteBuffer介绍

MappedByteBuffer 是Java NIO中引入的一种硬盘物理文件和内存映射方式，当物理文件较大时，采用MappedByteBuffer，读写性能较高，其内部的核心实现是DirectByteBuffer(JVM 堆外直接物理内存)。

JVM 进程通过内存映射方式加载的物理文件并不会耗费同等大小的物理内存。当应用程序访问数据时，程序通过虚拟地址寻址对应的内存页，如果物理内存中不存在对应页，MMU则会产生缺页中断异常，CPU尝试从系统Swap分区中查找，如仍不存在，则会直接从硬盘中物理文件中读取。

传统的基于文件流的方式读取文件方式是系统指令调用，文件数据首先会被读取到进程的内核空间的缓冲区，而后复制到进程的用户空间，这个过程中存在两次数据拷贝；而内存映射方式读取文件的方式，也是系统指令调用，在产生缺页中断后，CPU直接从磁盘文件load数据到进程的用户空间，只有一次数据拷贝。

FileChannel提供了map方法把磁盘文件映射到虚拟内存，通常情况可以映射整个文件，如果文件比较大，可以进行分段映射。

内存映像文件访问的方式，共三种：

    a) MapMode.READ_ONLY：只读，试图修改得到的缓冲区将导致抛出异常。
    b) MapMode.READ_WRITE：读/写，对得到的缓冲区的更改最终将写入文件；但该更改对映射到同一文件的其他程序不一定是可见的。
    c) MapMode.PRIVATE：私用，可读可写,但是修改的内容不会写入文件，只是buffer自身的改变。

MappedByteBuffer在处理大文件时的确性能很高，但也存在一些问题，其所对应的内存使用的是JVM堆外内存，JVM young gc和CMS gc并不能触发回收MappedByteBuffer对应的内存，只有full gc（stop the world的方式）可以使其回收内存，堆外直接内存会根据自己的情况（当需要新分配直接内存时，如果所剩堆外内存空间不够，第一次产生OutOfMemoryError时）来触发 System.gc()，此处有坑，若JVM配置了参数-XX:DisableExplicitGC，System.gc()将不会触发full gc，最终导致内存泄漏。而且触发其内存回收的时间点是不确定的。Java api文档中标注：

A mapped byte buffer and the file mapping that it represents remain valid until the buffer itself is garbage-collected.

在应用程序频繁使用堆外内存时，还可以通过-XX:MaxDirectMemorySize来指定最大的堆外内存大小，当使用达到了阈值的时候将调用System.gc来做一次full gc，以此来回收掉游离状态的堆外内存。

因此，在使用堆外内存高性能的福利的同时，及时的回收掉废弃掉的内存是十分关键的。

性能分析

从代码层面上看，从硬盘上将文件读入内存，都要经过文件系统进行数据拷贝，并且数据拷贝操作是由文件系统和硬件驱动实现的，理论上来说，拷贝数据的效率是一样的。

但是通过内存映射的方法访问硬盘上的文件，效率要比read和write系统调用高，这是为什么？

read()是系统调用，首先将文件从硬盘拷贝到内核空间的一个缓冲区，再将这些数据拷贝到用户空间，实际上进行了两次数据拷贝；

map()也是系统调用，但没有进行数据拷贝，当缺页中断发生时，直接将文件从硬盘拷贝到用户空间，只进行了一次数据拷贝。

所以，采用内存映射的读写效率要比传统的read/write性能高。

总结

MappedByteBuffer使用虚拟内存，因此分配(map)的内存大小不受JVM的-Xmx参数限制，但是也是有大小限制的。

如果当文件超出1.5G限制时，可以通过position参数重新map文件后面的内容。

MappedByteBuffer在处理大文件时的确性能很高，但也存在一些问题，如内存占用、文件关闭不确定，被其打开的文件只有在垃圾回收的才会被关闭，而且这个时间点是不确定的。

javadoc中也提到：A mapped byte buffer and the file mapping that it represents remain* valid until the buffer itself is garbage-collected.

原文链接 https://www.cnblogs.com/guozp/p/10470431.html