Nio编程模型总结

终于,这两天的考试熬过去了, 兴致冲冲的来整理笔记来, 这篇博客是我近几天的NIO印象笔记汇总,记录了对Selector及Selector的重要参数的理解,对Channel的理解,常见的Channel,对NIO事件驱动的编程模型的理解,NIO与传统IO的对比,NIO的TCP/IP编程的实践.

Channel

什么是Channel

这个概念绝对是一级概念,Channel是一个管道,用于连接字节缓冲区和另一端的实体, 这个字节缓冲区就是ByteBuffer, 另一端的实体可以是一个File 或者是 Socket ;

基于IO的网络编程, 数据的交互借助于InputStream或者是OutputStream, 而Channel可以理解成对Stream的又一层封装;在这种编程模型中服务端想和客户端进行交互,就需要从服务端自己的ServerSocketChannel中获取前来连接的客户端的SocketChannel,并把他注册关联上感性趣的事件到自己的Selector选择器上, 这样一旦客户端把Buffer中的数据推送进channel, 服务端就可以感知,进而处理

常用的Chanenl

文件通道: FileChannel
套接字通道
- 服务端: ServerSocketChannel
- 客户端: SocketChannel
数据包通道: DataGramSocket

Channel 与 Stream

Channel是NIO编程模型中一大组件,它类似IO中的Stream,但是两者也有本质的区别;

为什么说是类似呢? 看下面的两段代码, 需求是磁盘上的文件进行读写

在IO编程中,我们第一步可能要像下面这样获取输入流,按字节把磁盘上的数据读取到程序中,再进行下一步操作

FileInputStream fileInputStream = new FileInputStream("123.txt");

在NIO编程中,目标是需要先获取通道,再基于Channel进行读写

FileInputStream fileInputStream = new FileInputStream("123.txt");

FileChannel channel = fileInputStream.channel();

对用户来说,在IO / NIO 中这两种都直接关联这磁盘上的数据文件,数据的读写首先都是获取Stream和Channel,所以说他们相似;

但是: 对于Stream来说,所有的Stream都是单向的,对我们的程序来说,Stream要么只能是从里面获取数据的输入流,要么是往里面输入数据的输出流,因为InputStream和outputStream都是抽象类,在java中是不支持多继承的, 而通道不同,他是双向的,对一个通道可读可写

怎么理解 Channel可以是双向的?

如上图,凡是同时实现了readable,writeable接口的类,都双向的通道. 下面是典型的例子

SocketChannel

在NIO网络编程中,服务端可以通过ServerSocketChannel获取客户端的SocketChannel

这个SocketChannel可以read() 客户端的消息存入Buffer, 往客户端 write()buffer里的内容

socketChannel1.read(byteBuffer);

socketChannel1.write(byteBuffer);

对于一个channel,我们既能从中获取数据,也能往外read数据

基于channel的文件拷贝方式和传统的IO拷贝的竞速

效率最低的按字节拷贝

public static  void text4() throws IOException {

        FileInputStream    fis = new FileInputStream("123.txt");

        FileOutputStream   fos = new FileOutputStream("output123.txt");

    int read=0;

    long start =0;

    System.out.println("开始: ... ");

    while((read=fis.read())!=-1){

        fos.write(read);

    }

    System.out.println("耗时: "+(System.currentTimeMillis()-start) );

    fis.close();

    fos.close();

}

一个3901KB的文件的拷贝,在我的机器上跑出了 1561097384707 的好成绩; 实属无奈,擦点以为编译器卡死

以NIO,channel+buffer的模型,拷贝文件

try (

    FileInputStream  fis = new FileInputStream("123.txt");

    FileOutputStream   fos = new FileOutputStream("output123.txt");

){

    //1.获取通道

    FileChannel   inChannel = fis.getChannel();

    FileChannel   outChannel = fos.getChannel();

    //2.分配指定大小的缓冲区

    ByteBuffer buffer = ByteBuffer.allocate(1024);

    long start = System.currentTimeMillis();

    //3.将通道中的数据缓冲区中

    while (inChannel.read(buffer) != -1) {

        buffer.flip();//切换成读数据模式

        //4.将缓冲区中的数据写入通道中

        outChannel.write(buffer);

        buffer.clear();//清空缓冲区

    }

    System.out.println("总耗时:" + (System.currentTimeMillis() - start));

} catch (Exception e) {

    e.printStackTrace();

}

速度明显提升大约平均耗时 110

NIO+零拷贝复制文件

  // 直接获取通道

    FileChannel inChannel2 = FileChannel.open(Paths.get("123.txt"), StandardOpenOption.READ);

    FileChannel outChannel2 = FileChannel.open(Paths.get("output123.txt"), StandardOpenOption.WRITE, StandardOpenOption.READ, StandardOpenOption.CREATE);

    //内存映射文件

    MappedByteBuffer inMappedBuf = inChannel2.map(FileChannel.MapMode.READ_ONLY, 0, inChannel2.size());

    MappedByteBuffer outMappedBuf = outChannel2.map(FileChannel.MapMode.READ_WRITE, 0, inChannel2.size());

    //直接对缓冲区进行数据读写操作

    byte[] dst = new byte[inMappedBuf.limit()];

    long start = System.currentTimeMillis();

    inMappedBuf.get(dst);

    outMappedBuf.put(dst);

    System.out.println("耗费的时间为：" + ( System.currentTimeMillis() - start));

    inChannel2.close();

    outChannel2.close();

或者

/*

     * 通道之间的数据传输（直接缓冲区）

     */

    FileChannel inChannel3 = FileChannel.open(Paths.get("123.txt"), StandardOpenOption.READ);

    FileChannel outChannel3 = FileChannel.open(Paths.get("output123.txt"), StandardOpenOption.WRITE, StandardOpenOption.READ, StandardOpenOption.CREATE);

    long start = System.currentTimeMillis();

    inChannel3.transferTo(0, inChannel3.size(), outChannel3);

    System.out.println("耗时: "+(System.currentTimeMillis()-start) );

    //等价于

    // outChannel3.transferFrom(inChannel3, 0, inChannel3.size());

    inChannel3.close();

    outChannel3.close();

零拷贝仅需要耗时 6 就可以完成

NIO的非阻塞与IO的阻塞

什么是阻塞? 举个例子, 如果有一天我碰到了不会的作业题,于是我给老师发了条短息请教咋做, 这时,假如我进入了阻塞模式,我就会一直瞅着手机,别的也不干,就等着老师回信息, 假如我进入了非阻塞的模式,发完短信后跳过这个题,去做别的题

常见的阻塞比如, 键盘录入, Socket的accept()以及IO的read write, 全部会卡在那行代码直到执行完毕才会往下执行, 这种风格的好处是显而易见的, 及其容易的进行顺序编程

但是在NIO中,channel的read,write可以是阻塞的,也可以是非阻塞的,这取决于channel是否阻塞, 一般在进行网络编程时,要搭配上selector选择器,一起用, 同时channel我们也会设置成非阻塞的, 想想也不能让服务器的读写阻塞住,因为它可不是面对一两个用户,我们需要它可以一遍一遍的正常流水运行

在客户端,connect方法不再是阻塞的,和服务端进行数据交互之前,java提供了检查机确保连接百分百健康, 如果服务端没有接受连接,客户端是是没办法进一步操作的

if (selectionKey.isConnectable()) {

// 强转成 有连接事件发生的Channel

client = (SocketChannel) selectionKey.channel();

// 完成连接

if (client.isConnectionPending()) {

client.finishConnect();

从通道中的read和write方法也不是阻塞的,即刻返回,可以让服务端的业务代码很流畅的执行完,再接受新的请求,处理新请求

Selector

Selector选择器NIO的第三个组件,三者的关系图如上所示

什么是selector? 作用是什么?

selector是选择器的意思, 和它直接关联的组件是Channel, 没错,它的作用就是不断的轮询绑定在他身上的所有channel. 一旦有通道发生了它感兴趣的事件,接着处理此事件

selector维护了什么?

无论是服务端的Selector 还是客户端的Selector 它都维护了三个Set集合 , 里面封装的是 SelectionKey, 他是channel注册进Selector的产物,一般是使用它反向获取channel

key set

他是一个全集,每当channel通过register方法注册进选择器时,于此同时也会把包含自己信息的key添加到这个全集中来 注册的信息就会以SelectionKey的封装形式保存在这个集合中, 选择器每次轮询的channel,就是这里面的channel

selected key

感兴趣的key的集合, 举个例子, 通道1注册进选择器时,告诉选择器,我可能会给你发信息,你得盯着我,读我给你的信息, 于是选择器对通道1感性趣的事件是 read, 那么在选择器轮询channel时, 一旦通道1出现了write操作,就会被选择器感知,开始read
每次遍历selected key时我们会执行这行代码: Set<SelectionKey> selectionKeys = selector.selectedKeys(); 它的意思是,我们取出了选择器的感性事件的set集合,只要程序还在运行,只要选择器一旦被open(),除非我们手动的close() 否则选择器对象就不会被释放,所以它的感兴趣的set集合是不会被自动会收到,于是我们就得收到的把处理过的感兴趣的事件对应的SelectionKey移除出这个set集合,不然下一次轮询时,这个事件还会再一次被处理,并且无限制的处理下去
key有且仅有两种方式从 selected-key-set 中剔除 1. 通过Set的remove()方法, 2.通过迭代器的remove()方法

cannelled key

取消的key的集合,代表原来感兴趣的事件,现在不感兴趣了. 下一次轮询,进行select() 本集合中的SelectionKey会从key set中移除, 意味着它所关联的channel将会被选择器丢弃掉,不再进行监听
关闭channel 或者是调用了cancel()方法都会将key添加到cannelled key 集合中
使用场景: 一般会在客户端主动断开连接的时候使用它.

selector的`select()`方法

select(long); // 设置超时时间

selectNow(); // 立即返回,不阻塞

select(); 阻塞轮询

select()过程的细节:

第一步, cannelled-key中的每一个元素会从全集key set中剔除,表示这些可以关联的通道不会被注册
第二步操作系统帮我们轮询每一个通道是否有选择器感性趣的事情发生
- 对于一条准备就绪的channel(发生事件通道),他至少会发生下面两件事之一:
  - 它的key会被添加进selected-key-set中,来标识它将被选中,进而处理
  - 如果它的key,已经存在于这个集合中了,下一步就是它的 read-operation将被更新
第三步: 如果在轮询时发现了有任何key被放置在了cannelled-key-set中,重复第一步,不再注册它关联的通道

romove key 和 cannel key 的区别

前者是把key从selected key set集合,也就是被选中的集合中剔除出去,表示当前的事件已经处理完了

后者是表示,把key从全集中剔除出去, 表示想要废弃这个key关联的channel

selector的创建

他是根据不同操作系统提供的不同的Provider使用provide()创建出来的