转载请注明出处:jiq•钦's technical Blog

引言

JDK1.4中引入了NIO,即New IO,目的在于提高IO速度。特别注意JavaNIO不全然是非堵塞式IO(No-Blocking IO),由于当中部分通道(如FileChannel)仅仅能运行在堵塞模式下,而其它的通道能够在堵塞式和非堵塞式之间进行选择。

虽然这样。我们还是习惯将Java NIO看作是非堵塞式IO,而前面介绍的面向流(字节/字符)的IO类库则是堵塞的,它们在数据从介质->OS内核这个阶段须要应用程序堵塞等待完毕,具体来看,面向流的IO和非堵塞式IO的差别例如以下:

IO

NIO

面向流(Stream oriented)

面向缓冲区(Buffer oriented)

堵塞式(Blocking IO)

非堵塞式(Non blocking IO)

选择器(Selectors)

可是千万记住,两者没有孰优孰劣。NIO是java io的拓展,依据不同的场景。两者各实用处。

面向流与面向缓冲

Java NIO和IO之间第一个最大的差别是,IO是面向流的,NIO是面向缓冲区的。 JavaIO面向流意味着每次从流中读一个或多个字节,直至读取全部字节,它们没有被缓存在不论什么地方。此外,它不能前后移动流中的数据。假设须要前后移动从流中读取的数据,须要先将它缓存到一个缓冲区。

Java NIO的缓冲导向方法略有不同。

数据读取到一个它稍后处理的缓冲区,须要时可在缓冲区中前后移动。这就添加了处理过程中的灵活性。可是,还须要检查是否该缓冲区中包括全部您须要处理的数据。并且。需确保当很多其它的数据读入缓冲区时,不要覆盖缓冲区里尚未处理的数据。

堵塞与非堵塞IO

Java IO的各种流是堵塞的。这意味着,当一个线程调用read() 或 write()时,该线程被堵塞,直到有一些数据被读取。或数据全然写入。该线程在此期间不能再干不论什么事情了。

Java NIO的非堵塞模式。使一个线程从某通道发送请求读取数据,可是它仅能得到眼下可用的数据,假设眼下没有数据可用时,就什么都不会获取。而不是保持线程堵塞。所以直至数据变的能够读取之前。该线程能够继续做其它的事情。非堵塞写也是如此。

一个线程请求写入一些数据到某通道,但不须要等待它全然写入,这个线程同一时候能够去做别的事情。线程通常将非堵塞IO的空暇时间用于在其它通道上运行IO操作,所以一个单独的线程如今能够管理多个输入和输出通道(channel)。

介质 <---->  OS内核空间  <----> 应用程序空间   无论是非堵塞式读还是写,介质到OS内核这一段都不会堵塞调用程序,只是由于是同步(非异步)读取和写入,所以OS到应用程序这段还是须要同步堵塞的。

选择器(Selectors)

Java NIO的选择器同意一个单独的线程来监视多个输入通道。你能够注冊多个通道使用一个选择器。然后使用一个单独的线程来“选择”通道:这些通道里已经有能够处理的输入,或者选择已准备写入的通道。

这样的选择机制,使得一个单独的线程非常easy来管理多个通道。

Java NIO最关键的三个概念各自是通道。缓冲区和选择器:

一、通道(Channel)

Java NIO的通道相似流。但又有些不同:

n  通道是双向的,可读也可写,而流的读写是单向的。

n  通道能够异步地读写。

n  无论读写,通道仅仅能和Buffer交互。

JavaNIO中最重要的几个Channel的实现:

u  FileChannel:从文件里读写数据(仅仅有堵塞模式)。

u  DatagramChannel:通过UDP读写网络中的数据(堵塞和非堵塞可选)。

u  SocketChannel:通过TCP读写网络中的数据(堵塞和非堵塞可选)。

ServerSocketChannel:能够监听新进来的TCP连接,像Webserver那样。对每个新进来的连接都会创建一个SocketChannel。

以下是一个通过FileChannel来向文件里写入数据的样例:

public class Test {
public static void main(String[] args) throws IOException {
File file = new File("test.txt");
FileOutputStream os = new FileOutputStream(file);
FileChannel channel = os.getChannel();
ByteBuffer buffer = ByteBuffer.allocate(1024);
String str = "hello,jiyiqin";
buffer.put(str.getBytes());
buffer.flip();
channel.write(buffer);
channel.close();
os.close();
}
}

备注:上面演示样例有两个关键的地方:

(1)一个是通过FileOutputStream文件输出流获取通道。旧的IO类库(或者说面向流的IO类库)中FileInputStream/FileOutputStream和RandomAccessFile三个类被改动以能够产生FileChannel通道。可是面向字符的流Reader/Writer不能产生通道。

(2)另外在将缓冲区数据写入通道之前必须要调用缓冲区的flip方法转换为读模式,让通道可从缓冲区读取数据。

二、缓冲区(Buffer)

Java NIO中的Buffer用于和NIO通道进行交互。数据是从通道读入缓冲区或从缓冲区写入到通道中。

当向buffer写入数据时,buffer会记录下写了多少数据。

一旦要读取数据。须要通过flip()方法将Buffer从写模式切换到读模式

在读模式下,能够读取之前写入到buffer的全部数据。一旦读完了全部的数据,就须要清空缓冲区,让它能够再次被写入。有两种方式能清空缓冲区:调用clear()或compact()方法。clear()方法会清空整个缓冲区。

compact()方法仅仅会清除已经读过的数据。不论什么未读的数据都被移到缓冲区的起始处,新写入的数据将放到缓冲区未读数据的后面。

缓冲区本质上是一块能够写入数据。然后能够从中读取数据的内存。这块内存被包装成NIO Buffer对象,并提供了一组方法,用来方便的訪问该块内存。

以下是一个从文件通道FileChannel读取数据的样例:

RandomAccessFile aFile = newRandomAccessFile("data/nio-data.txt", "rw");
FileChannel inChannel =aFile.getChannel();
ByteBuffer buf = ByteBuffer.allocate(48);
int bytesRead = inChannel.read(buf);
while (bytesRead != -1) {
buf.flip(); //使缓冲区可读
while(buf.hasRemaining()){
System.out.print((char)buf.get()); //一次读取一字节
}
buf.clear();
bytesRead= inChannel.read(buf);
}
aFile.close();

三、选择器(Selector)

Selector同意单线程处理多个Channel

假设你的应用打开了多个连接(通道)。但每个连接的流量都非常低,使用Selector就会非常方便。比如。在一个聊天server中。

仅用单个线程来处理多个Channels的优点是,仅仅须要更少的线程来处理通道。其实,能够仅仅用一个线程处理全部的通道。对于操作系统来说,线程之间上下文切换的开销非常大,并且每个线程都要占用系统的一些资源(如内存)。

因此,使用的线程越少越好。

可是。须要记住,现代的操作系统和CPU在多任务方面表现的越来越好,所以多线程的开销随着时间的推移,变得越来越小了。

实际上。假设一个CPU有多个内核。不使用多任务可能是在浪费CPU能力。无论怎么说,关于那种设计的讨论应该放在还有一篇不同的文章中。在这里。仅仅要知道使用Selector能够处理多个通道就足够了。

下图用一张转载的图展示在一个单线程中使用一个Selector处理3个Channel:

步骤1:Selector的创建

通过调用Selector.open()方法创建一个Selector,例如以下:

Selectorselector = Selector.open(); 

步骤2:向Selector注冊通道

为了将Channel和Selector配合使用,实现单个线程处理多个通道的梦想,必须将channel注冊到selector上。

能够通过SelectableChannel.register()方法来实现,例如以下:

channel.configureBlocking(false);
SelectionKey key= channel.register(selector, Selectionkey.OP_READ);

当中第一句代码设置通道为非堵塞模式。然后第二句向selector注冊该通道。register()方法的第二个參数。这是一个“interest集合”,意思是在通过Selector监听Channel时对什么事件感兴趣。能够监听四种不同类型的事件:

SelectionKey.OP_CONNECT

SelectionKey.OP_ACCEPT

SelectionKey.OP_READ

SelectionKey.OP_WRITE

特别注意:与Selector一起使用时,Channel必须处于非堵塞模式下。

这意味着不能将FileChannel与Selector一起使用,由于FileChannel不能切换到非堵塞模式(由于其本身特性。要注意这里指的文件和Linux中的文件不同,Linux中的文件能够是代表磁盘文件、打印机设备、网卡等,而这里说的文件就仅仅是磁盘文件)。

而套接字通道都能够。

步骤3:堵塞监视通道

一旦向Selector注冊了一或多个通道,就能够调用几个重载的select()方法。这些方法返回你所感兴趣的事件(如连接、接受、读或写)已经准备就绪的那些通道。换句话说。假设你对“读就绪”的通道感兴趣,select()方法会返回读事件已经就绪的那些通道。

以下是select()方法:

int select()
int select(long timeout)
int selectNow()

select()堵塞到至少有一个通道在你注冊的事件上就绪了。

select(long timeout)和select()一样,除了最长会堵塞timeout毫秒(參数)。

selectNow()不会堵塞。无论什么通道就绪都立马返回(译者注:此方法运行非堵塞的选择操作。

假设自从前一次选择操作后,没有通道变成可选择的,则此方法直接返回零。)。

步骤4:遍历selectedKeys()訪问就绪通道

一旦调用了select()方法。并且返回值表明有一个或很多其它个通道就绪了,然后能够通过调用selector的selectedKeys()方法,訪问“已选择键集(selected key set)”中的就绪通道。例如以下所看到的:

Set selectedKeys =selector.selectedKeys();

能够遍历这个已选择的键集合来訪问就绪的通道。

以下给出一个完整的Channel和Selector结合的样例:

Selector selector = Selector.open();
channel.configureBlocking(false); //配置Channel为非堵塞
SelectionKey key =channel.register(selector, SelectionKey.OP_READ); //用selector注冊该通道上的读事件
while(true) {
intreadyChannels = selector.select(); //開始监听通道
if(readyChannels == 0) continue;
SetselectedKeys = selector.selectedKeys();
Iterator keyIterator = selectedKeys.iterator();
while(keyIterator.hasNext()) { //轮训通道事件类型,进行相应处理
SelectionKey key = keyIterator.next();
if(key.isAcceptable()) {
// a connection was accepted by a ServerSocketChannel.
}else if (key.isConnectable()) {
// a connection was established with a remote server.
}else if (key.isReadable()) {
// a channel is ready for reading
}else if (key.isWritable()) {
// a channel is ready for writing
}
}
}

NIO = 选择器 + 非堵塞模式的套接字通道

套接字通道包括:SocketChannel、ServerSocketChannel和DatagramChannel。

SocketChannel是一个连接到TCP网络套接字的通道。能够通过2种方式创建:

1) 打开一个SocketChannel并连接到互联网上的某台server。

2) 一个新连接到达ServerSocketChannel时创建一个SocketChannel。

ServerSocketChannel通过ServerSocketChannel.accept() 方法监听新进来的连接。当 accept()方法返回的时候,它返回一个包括新进来的连接的 SocketChannel。因此。accept()方法会一直堵塞到有新连接到达。DatagramChannel是一个能收发UDP包的通道。由于UDP是无连接的网络协议。所以不能像其它通道那样读取和写入。它发送和接收的是数据包。

将套接字通道和Selector结合,由于选择器的多路复用特性(事件驱动)和套接字通道的非堵塞特性。可有效地解决高并发环境下对于client请求处理会耗费大量线程资源的情况。

(1)传统的同步堵塞式IO(网络套接字编程Socket):针对client的每个请求的连接,都须要分配一个单独的线程进行处理。由于要随时监视其是否有数据读写,并且在数据读写操作时,由于是堵塞式的。所以即使没有数据到来,也会一直堵塞等待。这显然会浪费大量CPU和线程资源。

(2)而多路复用的选择器和非堵塞式的套接字通道的结合:不但能够用一个线程来监视多个与client建立的网络连接,还能够在读写数据时。一旦数据没有准备好。就立马返回而不会堵塞(虽然实际上一旦运行读写是一般数据都已经准备好)。所以在并发较高的场景下,这样的方式大大节约了CPU和线程(内存)资源。

具体能够參考我这篇文章。

參考资料:

1 http://www.iteye.com/magazines/132-Java-NIO

2 http://www.cnblogs.com/dolphin0520/p/3919162.html

3 http://tutorials.jenkov.com/java-nio/nio-vs-io.html

Java IO:同步、非堵塞式IO(NIO)的更多相关文章

  1. 并发式IO的解决方案:多路非阻塞式IO、多路复用、异步IO

    在Linux应用编程中的并发式IO的三种解决方案是: (1) 多路非阻塞式IO (2) 多路复用 (3) 异步IO 以下代码将以操作鼠标和键盘为实例来演示. 1. 多路非阻塞式IO 多路非阻塞式IO访 ...

  2. Linux NIO 系列(03) 非阻塞式 IO

    目录 一.非阻塞式 IO 附:非阻塞式 IO 编程 Linux NIO 系列(03) 非阻塞式 IO Netty 系列目录(https://www.cnblogs.com/binarylei/p/10 ...

  3. Socket-IO 系列(三)基于 NIO 的同步非阻塞式编程

    Socket-IO 系列(三)基于 NIO 的同步非阻塞式编程 缓冲区(Buffer) 用于存储数据 通道(Channel) 用于传输数据 多路复用器(Selector) 用于轮询 Channel 状 ...

  4. 深入理解非阻塞同步IO和非阻塞异步IO

    这两篇文章分析了Linux下的5种IO模型 http://blog.csdn.net/historyasamirror/article/details/5778378 http://blog.csdn ...

  5. 为什么IO多路复用需要采用非阻塞式IO

    近段时间开始学习<Unix网络编程>,代码实现了一个简单的IO多路复用+阻塞式的服务端,在学习了非阻塞式IO后,有一个疑问,即: 假如调用了select,并且关注了几个描述字,当关注的描述 ...

  6. 阻塞式和非阻塞式IO

    有很多人把阻塞认为是同步,把非阻塞认为是异步:个人认为这样是不准确的,当然从思想上可以这样类比,但方式是完全不同的,下面说说在JAVA里面阻塞IO和非阻塞IO的区别 在JDK1.4中引入了一个NIO的 ...

  7. IO同步阻塞与同步非阻塞

    BIO.NIO.AIO IO(BIO)和NIO区别:其本质就是阻塞和非阻塞的区别 阻塞概念:应用程序在获取网络数据的时候,如果网络传输数据很慢,就会一直等待,直到传输完毕为止. 非阻塞概念:应用程序直 ...

  8. java的高并发IO原理,阻塞BIO同步非阻塞NIO,异步非阻塞AIO

    原文地址: IO读写的基础原理 大家知道,用户程序进行IO的读写,依赖于底层的IO读写,基本上会用到底层的read&write两大系统调用.在不同的操作系统中,IO读写的系统调用的名称可能不完 ...

  9. Java IO(3)非阻塞式输入输出(NIO)

    在上篇<Java IO(2)阻塞式输入输出(BIO)>的末尾谈到了什么是阻塞式输入输出,通过Socket编程对其有了大致了解.现在再重新回顾梳理一下,对于只有一个“客户端”和一个“服务器端 ...

随机推荐

  1. Madgwick IMU Filter

    论文链接:http://202.114.96.204/cache/13/03/x-io.co.uk/35c82431852f2aa7d0feede9dc138626/madgwick_internal ...

  2. MySQL常见的两种存储引擎:MyISAM与InnoDB的爱恨情仇

    Java面试通关手册(Java学习指南,欢迎Star,会一直完善下去,欢迎建议和指导):https://github.com/Snailclimb/Java_Guide 一 MyISAM 1.1 My ...

  3. apropos找命令助手

    apropos (意即"关于")能够搜索 Linux 帮助文档来帮你找到你想要的命令.比如说,你不记得你用的发行版用的什么防火墙工具了.你可以输入 apropos "fi ...

  4. 使用 CasperJS 构建 Web 爬虫

    转载:https://www.oschina.net/translate/building-your-own-web-scraper-in-nodejs 从你的应用中收集数据有时候可能有点困难和艰辛. ...

  5. 011_自定义mac通知的时长

    打开终端(找不到的点击 Mac 屏幕右上角放大镜按钮,Spotlight 搜索 “终端”),粘入下面这行命令,回车就行了.注意最后的 # 替换成你希望通知中心横幅停留的秒数,比如 15.default ...

  6. 数组的splice方法

    splice 该方法向或者从数组中添加或者删除项目,返回被删除的项目,同时也会改变原数组. splice(index,howmany,item1,...itemX) index参数:必须,整数,规定添 ...

  7. 在内部局域网内搭建HTTPs

    在内部局域网内搭建HTTPs 配置环境 Windows版本:Windows Server 2008 R2 Standard Service Pack 1 系统类型:       64 位操作系统 内存 ...

  8. mysql innodb 行级锁升级

    创建数据表test,表定义如下所示: CREATE TABLE `test` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(20) NO ...

  9. CSU 1948: 超级管理员(普通费用流&&zkw费用流)

    Description 长者对小明施加了膜法,使得小明每天起床就像马丁的早晨一样. 今天小明早上醒来发现自己成了一位仓管员.仓库可以被描述为一个n × m的网格,在每个网格上有几个箱子(可能没有).为 ...

  10. python学习之算法、自定义模块、系统标准模块(上)

    算法.自定义模块.系统标准模块(time .datetime .random .OS .sys .hashlib .json和pickle) 一:算法回顾: 冒泡算法,也叫冒泡排序,其特点如下: 1. ...