最近在看 JAVA NIO 的相关知识,了解一下IO的底层实现原理. IO涉及到的底层的概念大致如下: 1) 缓冲区操作.2) 内核空间与用户空间.3) 虚拟内存.4) 分页技术. 一,虚拟存储器 虚拟存储器是硬件异常(缺页异常).硬件地址翻译.主存.磁盘文件和内核软件的完美交互,它为每个进程提供了一个大的.一致的和私有的地址空间.虚拟存储器的三大能力:①将主存看成是一个存储在磁盘上的地址空间的高速缓存.②为每个进程提供了一个一致的地址空间.③保护每个进程的地址空间不被其他进程破坏.虚拟内存的两…

由于Netty,了解了一些异步IO的知识,JAVA里面NIO就是原来的IO的一个补充,本文主要记录下在JAVA中IO的底层实现原理,以及对Zerocopy技术介绍. IO,其实意味着:数据不停地搬入搬出缓冲区而已(使用了缓冲区).比如,用户程序发起读操作,导致“ syscall read ”系统调用,就会把数据搬入到 一个buffer中:用户发起写操作,导致 “syscall write ”系统调用,将会把一个 buffer 中的数据 搬出去(发送到网络中 or 写入到磁盘文件) 上面的过程看似…

本文主要讲述下自己对IO的理解,对IO的用法和细则可能没有顾虑到. 本文的理解基于以下几篇文章,他们对各自部分都讲的很细,对我理解IO提供了很大帮助. https://www.cnblogs.com/ylspace/p/8128112.html 该文主要讲解了Java IO的类体系以及他们各自的用处. https://www.jianshu.com/p/03852a291c56 https://blog.csdn.net/fcbayernmunchen/article/details/86354…

目前主流的第三方IO测试工具有fio.iometer和Orion,这三种工具各有千秋. fio在Linux系统下使用比较方便,iometer在window系统下使用比较方便,Orion是oracle的IO测试软件,可在没有安装oracle数据库的情况下模拟oracle数据库场景的读写. 如下是在Linux系统上采用fio工具来对SAN存储进行的IO测试. 1.安装fio 在fio官网下载fio-2.1.10.tar文件,解压后./configure.make.make install之后就可以使…

3.1 文件描述符 文件IO 系统调用是不带缓存的,文件 I/O 系统调用不是 ANSI C 的组成部分,是 POSIX 的组成部分. 系统调用与C库: C库函数的IO 的底层还是调用系统调用 I/O. 需要运行速度很快的时候采用 文件IO系统调用. FILE 结构体中有 文件描述符成员 fd,标准C的IO依然是通过 fd 来操作文件,系统调用的 文件 IO 直接使用 fd 来操作. 标准库函数:遵守 ISO 标准,基于流的 I/O,对文件指针(FILE结构体)进行操作 系统调用:兼容 POSI…

http://www.cnblogs.com/raykuan/p/6914748.html 目前主流的第三方IO测试工具有fio.iometer和Orion,这三种工具各有千秋. fio在Linux系统下使用比较方便,iometer在window系统下使用比较方便,Orion是oracle的IO测试软件,可在没有安装oracle数据库的情况下模拟oracle数据库场景的读写. 如下是在Linux系统上采用fio工具来对SAN存储进行的IO测试. 1.安装fio 在fio官网下载fio-2.1.1…

字符流产生的原因: 1.每次只能够读取一个字节或者一个字节数组,每次在需要转换成字符或者字符串的时候不是很方便2.不同的操作系统针对换行符的处理不方便3.有的时候会出现中文乱码(中文占两个字节,如果针对中文中某个字节做了转换或者显示,就会出现乱码)4.如果需要读取某一行数据,非常不方便 编码 * String/char[] --> byte[] * 解码 * byte[] --> String/char[] 我们可以对字符数组或者字符串进行编码,那么其实IO流底层是字符流或者字节流,所以我们一…

1. NIO采用更接近操作系统执行IO的方式:通道和缓存器:顾名思义,数据源的数据由缓存器通过通道进行传输. 2. 在JDK5之后,原始IO系统底层用NIO进行了优化,这可以通过sun公布的源码中找到,但是,NIO系统性还是比IO强. 3. 在稍微研究了IO源码以及部分sun源码,我觉得IO系统的性能瓶颈主要是由于原始的IO架构因素导致.原始的IO系统使用适配器模式,在JDK开发之初貌似是一个很不错的想法,但随着适配器嵌套的越来越多,IO的使用不但让人很烦,而且会影响性能,因为动态实现肯定是要降…

1:IO的过程 当我们调用系统函数read时,一般会经历两个阶段: 1:等待数据准备(waiting for the data be ready) 2:将数组从内核拷贝到进程(从内核态到用户态)(copying the data from the kernel to the process) 在"等待数据准备"这个状态,我们最常见到的就是网路请求,即内核等待网络中的数据到网口的缓冲区.在数据到网口的缓冲区后,才会发生第二阶段,将数据从内核态拷贝到用户进程(用户态). 所以我么常说各种I…

本文重点说明下面内容: 什么是标准IO,什么是文件IO? 什么是Direct IO? O_SYNC标识有什么意义? 各个层面的缓存如何同步? 还在page cache中的脏页可以读写吗? IO路径上的各层buff Application buff | clib buff | page cache | disk cache 标准IO 标准IO操作的是流(File对象) 标准IO可以设置缓存,这个缓存是用户态buffer,一般称为clib buff api #include <stdio.h> /…