1.学习基本概念、传统的同步阻塞式I/O编程、伪异步IO实现

2.学习基于NIO的同步非阻塞式编程

3.了解基于NIO2.0的异步非阻塞(AIO)编程

1.1 基本概念

Socket又称“套接字”,应用程序通常通过“套接字”向网络发出请求或者应答网络请求。

 Socket和ServerSocket类库位于java.net包中。ServerSocket用于服务器端,Socket是建立网络连接时使用的,在连接成功时,应用程序两端都会产生一个Socket实例,操作这个实例,完成所需的回话。对于一个网络连接来书,套接字是平等的,不因为在服务器端或在客户端而产生不同级别。不管是Socket还是ServerSocket它们的工作都是通过SocketImpl类及其子类完成的。

套接字之间的连接过程可以分为四个步骤:服务器监听,客户端请求服务器,服务器确认,客户端确认,进行通信

  (1)服务器监听:是服务器端套接字并不定位具体的客户端套接字,而是处于等待连接的状态,实时监听网络状态。 

  (2)客户端请求:是指由客户端的套接字提出连接请求,要连接的目标是服务器端的套接字。为此,客户端的套接字必须首先描述它要连接的服务器的套接字,指出服务器端套接字的地址和端口号,然后就向服务器端套接字提出连接请求。

  (3)服务器端连接确认:是指当服务器端套接字监听到或者说接收到客户端套接字的连接请求,它就响应客户端套接字的请求,建立一个新的线程,把服务器端套接字的描述发给客户端。

  (4)客户端连接确认:一旦客户端确认了此描述,连接就建立好了。双方开始进行通信,而服务器端套接字继续处于监听状态,继续接收其他客户端套接字的连接请求。

传统的同步阻塞式I/O编程

Client.java

  1. import java.io.BufferedReader;
  2. import java.io.IOException;
  3. import java.io.InputStreamReader;
  4. import java.io.PrintWriter;
  5. import java.net.Socket;
  6.  
  7. public class Client {
  8.  
  9. final static String ADDRESS = "127.0.0.1";
  10. final static int PORT = 8765;
  11.  
  12. public static void main(String[] args) {
  13.  
  14. Socket socket = null;
  15. BufferedReader in = null;
  16. PrintWriter out = null;
  17.  
  18. try {
  19. socket = new Socket(ADDRESS, PORT);
  20. in = new BufferedReader(new InputStreamReader(socket.getInputStream()));
  21. out = new PrintWriter(socket.getOutputStream(), true);
  22.  
  23. //向服务器端发送数据
  24. out.println("接收到客户端的请求数据...");
  25. String response = in.readLine();
  26. System.out.println("Client: " + response);
  27.  
  28. } catch (Exception e) {
  29. e.printStackTrace();
  30. } finally {
  31. if(in != null){
  32. try {
  33. in.close();
  34. } catch (IOException e) {
  35. e.printStackTrace();
  36. }
  37. }
  38. if(out != null){
  39. try {
  40. out.close();
  41. } catch (Exception e) {
  42. e.printStackTrace();
  43. }
  44. }
  45. if(socket != null){
  46. try {
  47. socket.close();
  48. } catch (IOException e) {
  49. e.printStackTrace();
  50. }
  51. }
  52. socket = null;
  53. }
  54. }
  55. }

Server.java

  1. import java.io.IOException;
  2. import java.net.ServerSocket;
  3. import java.net.Socket;
  4.  
  5. public class Server {
  6.  
  7. final static int PROT = 8765;
  8.  
  9. public static void main(String[] args) {
  10.  
  11. ServerSocket server = null;
  12. try {
  13. server = new ServerSocket(PROT);
  14. System.out.println(" server start .. ");
  15. //进行阻塞
  16. Socket socket = server.accept();
  17. //新建一个线程执行客户端的任务
  18. new Thread(new ServerHandler(socket)).start();
  19.  
  20. } catch (Exception e) {
  21. e.printStackTrace();
  22. } finally {
  23. if(server != null){
  24. try {
  25. server.close();
  26. } catch (IOException e) {
  27. e.printStackTrace();
  28. }
  29. }
  30. server = null;
  31. }
  32. }
  33.  
  34. }

ServerHandler.java

  1. import java.io.BufferedReader;
  2. import java.io.IOException;
  3. import java.io.InputStreamReader;
  4. import java.io.PrintWriter;
  5. import java.net.Socket;
  6.  
  7. public class ServerHandler implements Runnable{
  8.  
  9. private Socket socket ;
  10.  
  11. public ServerHandler(Socket socket){
  12. this.socket = socket;
  13. }
  14.  
  15. @Override
  16. public void run() {
  17. BufferedReader in = null;
  18. PrintWriter out = null;
  19. try {
  20. in = new BufferedReader(new InputStreamReader(this.socket.getInputStream()));
  21. out = new PrintWriter(this.socket.getOutputStream(), true);
  22. String body = null;
  23. while(true){
  24. body = in.readLine();
  25. if(body == null) break;
  26. System.out.println("Server :" + body);
  27. out.println("服务器端回送响的应数据.");
  28. }
  29.  
  30. } catch (Exception e) {
  31. e.printStackTrace();
  32. } finally {
  33. if(in != null){
  34. try {
  35. in.close();
  36. } catch (IOException e) {
  37. e.printStackTrace();
  38. }
  39. }
  40. if(out != null){
  41. try {
  42. out.close();
  43. } catch (Exception e) {
  44. e.printStackTrace();
  45. }
  46. }
  47. if(socket != null){
  48. try {
  49. socket.close();
  50. } catch (IOException e) {
  51. e.printStackTrace();
  52. }
  53. }
  54. socket = null;
  55. }
  56. }
  57. }

 伪异步IO编程

为了解决同步阻塞IO面临的一个链路需要一个线程处理的问题,后来有人对它的线程模型进行了优化,后端通过一个线程池来处理多个客户端的请求接入,形成客户端个数M:线程池最大线程数N的比例关系,其中M可以远远大于N,通过线程池可以灵活的调配线程资源,设置线程的最大值,防止由于海量并发接入导致线程耗尽。 下面,我们结合连接模型图和源码,对伪异步IO进行分析,看它是否能够解决同步阻塞IO面临的问题。

伪异步IO模型图

采用线程池和任务队列可以实现一种叫做伪异步的IO通信框架,它的模型图如下:

当有新的客户端接入的时候,将客户端的Socket封装成一个Task(该任务实现java.lang.Runnable接口)投递到后端的线程池中进行处理,JDK的线程池维护一个消息队列和N个活跃线程对消息队列中的任务进行处理。由于线程池可以设置消息队列的大小和最大线程数,因此,它的资源占用是可控的,无论多少个客户端并发访问,都不会导致资源的耗尽和宕机。

Client.java

  1. import java.io.BufferedReader;
  2. import java.io.InputStreamReader;
  3. import java.io.PrintWriter;
  4. import java.net.Socket;
  5.  
  6. public class Client {
  7.  
  8. final static String ADDRESS = "127.0.0.1";
  9. final static int PORT =8765;
  10.  
  11. public static void main(String[] args) {
  12. Socket socket = null;
  13. BufferedReader in = null;
  14. PrintWriter out = null;
  15. try {
  16. socket = new Socket(ADDRESS, PORT);
  17. in = new BufferedReader(new InputStreamReader(socket.getInputStream()));
  18. out = new PrintWriter(socket.getOutputStream(), true);
  19.  
  20. out.println("Client request");
  21.  
  22. String response = in.readLine();
  23. System.out.println("Client:" + response);
  24.  
  25. } catch (Exception e) {
  26. // TODO Auto-generated catch block
  27. e.printStackTrace();
  28. } finally {
  29. if(in != null){
  30. try {
  31. in.close();
  32. } catch (Exception e1) {
  33. e1.printStackTrace();
  34. }
  35. }
  36. if(out != null){
  37. try {
  38. out.close();
  39. } catch (Exception e2) {
  40. e2.printStackTrace();
  41. }
  42. }
  43. if(socket != null){
  44. try {
  45. socket.close();
  46. } catch (Exception e3) {
  47. e3.printStackTrace();
  48. }
  49. }
  50. socket = null;
  51. }
  52.  
  53. }
  54.  
  55. }

Server.java

  1. import java.io.BufferedReader;
  2. import java.io.PrintWriter;
  3. import java.net.ServerSocket;
  4. import java.net.Socket;
  5.  
  6. public class Server {
  7.  
  8. final static int PORT = 8765;
  9.  
  10. public static void main(String[] args) {
  11. ServerSocket server = null;
  12. BufferedReader in = null;
  13. PrintWriter out = null;
  14. try {
  15. server = new ServerSocket(PORT);
  16. System.out.println("server start");
  17. Socket socket = null;
  18. HandlerExecutorPool executorPool = new HandlerExecutorPool(50, 1000);
  19. while(true){
  20. socket = server.accept();
  21. executorPool.execute(new ServerHandler(socket));
  22. }
  23.  
  24. } catch (Exception e) {
  25. e.printStackTrace();
  26. } finally {
  27. if(in != null){
  28. try {
  29. in.close();
  30. } catch (Exception e1) {
  31. e1.printStackTrace();
  32. }
  33. }
  34. if(out != null){
  35. try {
  36. out.close();
  37. } catch (Exception e2) {
  38. e2.printStackTrace();
  39. }
  40. }
  41. if(server != null){
  42. try {
  43. server.close();
  44. } catch (Exception e3) {
  45. e3.printStackTrace();
  46. }
  47. }
  48. server = null;
  49. }
  50.  
  51. }
  52.  
  53. }

ServerHandler.java

  1. import java.io.BufferedReader;
  2. import java.io.InputStreamReader;
  3. import java.io.PrintWriter;
  4. import java.net.Socket;
  5.  
  6. public class ServerHandler implements Runnable {
  7.  
  8. private Socket socket;
  9. public ServerHandler (Socket socket){
  10. this.socket = socket;
  11. }
  12.  
  13. @Override
  14. public void run() {
  15. BufferedReader in = null;
  16. PrintWriter out = null;
  17. try {
  18. in = new BufferedReader(new InputStreamReader(this.socket.getInputStream()));
  19. out = new PrintWriter(this.socket.getOutputStream(), true);
  20. String body = null;
  21. while(true){
  22. body = in.readLine();
  23. if(body == null) break;
  24. System.out.println("Server:" + body);
  25. out.println("Server response");
  26. }
  27. } catch (Exception e) {
  28. e.printStackTrace();
  29. } finally {
  30. if(in != null){
  31. try {
  32. in.close();
  33. } catch (Exception e1) {
  34. e1.printStackTrace();
  35. }
  36. }
  37. if(out != null){
  38. try {
  39. out.close();
  40. } catch (Exception e2) {
  41. e2.printStackTrace();
  42. }
  43. }
  44. if(socket != null){
  45. try {
  46. socket.close();
  47. } catch (Exception e3) {
  48. e3.printStackTrace();
  49. }
  50. }
  51. socket = null;
  52. }
  53.  
  54. }
  55.  
  56. }

HandlerExecutorPool.java

  1. import java.util.concurrent.ArrayBlockingQueue;
  2. import java.util.concurrent.ExecutorService;
  3. import java.util.concurrent.ThreadPoolExecutor;
  4. import java.util.concurrent.TimeUnit;
  5.  
  6. public class HandlerExecutorPool {
  7.  
  8. private ExecutorService executor;
  9. public HandlerExecutorPool(int maxPoolSize, int queueSize){
  10. this.executor = new ThreadPoolExecutor(
  11. Runtime.getRuntime().availableProcessors(),
  12. maxPoolSize,
  13. 120L,
  14. TimeUnit.SECONDS,
  15. new ArrayBlockingQueue<Runnable>(queueSize));
  16. }
  17.  
  18. public void execute(Runnable task){
  19. this.executor.execute(task);
  20. }
  21. }

我们首先创建一个处理类的线程池,当接收到新的客户端连接的时候,将请求Socket封装成一个Task,然后调用线程池的execute方法执行,从而避免了每个请求接入都创建一个新的线程。

由于线程池和消息队列都是有界的,因此,无论客户端并发连接数多大,它都不会导致线程个数过于膨胀或者内存溢出,相比于传统的一连接一线程模型,是一种改良。

伪异步IO通信框架采用了线程池实现,因此避免了为每个请求都创建一个独立线程造成的线程资源耗尽问题。但是由于它底层的通信依然采用同步阻塞模型,因此无法从根本上解决问题。

  1. public int read(byte b[]) throws IOException {
  2. return read(b, 0, b.length);
  3.  
  4. public void write(byte b[]) throws IOException

当对Socket的输入流进行读取操作的时候,它会一直阻塞下去,直到发生如下三种事件: 1)   有数据可读 2)   可用数据已经读取完毕 3)   发生空指针或者IO异常 这意味着当对方发送请求或者应答消息比较缓慢、或者网络传输较慢时,读取输入流一方的通信线程将被长时间阻塞,如果对方60S才能够将数据发送完成,读取一方的IO线程也将会被同步阻塞60S,在此期间,其它接入消息只能在消息队列中排队。

当调用OutputStream的write方法写输出流的时候,它将会被阻塞直到所有要发送的字节全部写入完毕,或者发生异常。学习过TCP/IP相关知识的都知道,当消息的接收方处理缓慢的时候,将不能及时的从TCP缓冲区读取数据,这将会导致发送方的TCP window size不断减小,直到为0,双方处于Keep-Alive状态,消息发送方将不能再向TCP缓冲区写入消息,这时如果采用的是同步阻塞IO,write操作将会被无限期阻塞,直到TCP window size大于0或者发生IO异常。
通过对输入和输出流的API文档进行分析,我们了解到读和写操作都是同步阻塞的,阻塞的时间取决于对方IO线程的处理速度和网络IO的传输速度。本质上来讲,我们无法保证生产环境的网络状况和对端的应用程序能够足够快,如果我们的应用程序依赖对方的处理速度,它的可靠性就非常差。也许在实验室进行的性能测试结果令大家满意,但是一旦上线运行,面对恶劣的网络环境和良莠不齐的第三方系统,问题就会如火山一样喷发。
伪异步IO实际上仅仅只是对之前IO线程模型的一个简单优化,它无法从根本上解决同步IO导致的通信线程阻塞问题。下面我们就简单分析下如果通信对方返回应答时间过长引起的级联故障:

    1. 服务端处理缓慢,返回应答消息耗费60S,平时只需要10MS;
    2. 采用伪异步IO的线程正在读取故障服务节点的响应,由于读取输入流是阻塞的,因此,它将会被同步阻塞60S;
    3. 假如所有的可用线程都被故障服务器阻塞,那后续所有的IO消息都将在队列中排队;
    4. 由于线程池采用阻塞队列实现,当队列积满之后,后续入队列的操作将被阻塞;
    5. 由于前端只有一个Accptor线程接收客户端接入,它被阻塞在线程池的同步阻塞队列之后,新的客户端请求消息将被拒绝,客户端会发生大量的连接超时;
    6. 由于几乎所有的连接都超时,调用者会认为系统已经崩溃,无法接收新的请求消息。

(摘自:http://ifeve.com/netty-definitive-guide-2-2/)

IO(BIO)和NIO的区别:其本质就是阻塞和非阻塞的区别。

阻塞概念:应用程序在获取网络数据的时候,如果网络传输数据很慢,那么程序就一直等着,直到传输完毕为止。

 非阻塞概念:应用程序直接可以获取已经准备就绪好的数据,无需等待。

 IO为同步阻塞形式,NIO为同步非阻塞形式。NIO并没有实现异步,在JDK1.7之后,升级了NIO库包,支持异步非阻塞通信模式即NIO2.0(AIO)

同步和异步:同步和异步一般是面向操作系统与应用程序对IO操作的层面上来区别的。

  同步时,应用程序会直接参与IO读写操作,并且我们的应用程序会直接阻塞到某一个方法上,直到数据准备就绪;或者采用轮询的策略实时检查数据的就绪状态,如果就绪则获取数据。

  异步时,则所有的IO读写操作交给操作系统处理,与我们的应用程序没有直接关系,我们程序不需要关心IO读写,当操作系统完成了IO读写操作时,会给我们应用程序发送通知,我们的应用程序直接拿走数据即可。

同步说的是你的server服务器端的执行方式

阻塞说的是具体技术,接收数据的方式、状态(io、nio)

NIO

在介绍NIO之前,先澄清一个概念,有的人叫NIO为new IO,有的人把NIO叫做Non-block IO,这里我们还是习惯说后者,即非阻塞IO

NIO的本质

NIO的本质就是避免原始的TCP建立连接使用3次握手的操作,减少连接的开销

学习NIO编程,我们首先了解几个概念:

1.缓冲区BUffer

Buffer是一个对象,它包含一些要写入或者要读取的数据。在NIO类库中加入Buffer对象,体现了新库与原IO的一个重要的区别。在面向流的IO中,可以将数据直接写入或读取到Stream对象中。在NIO库中,所有的数据都是用缓冲区处理的(读写)。缓冲区实质上是一个数组,通常它是一个字节数组(ByteBuffer),也可以使用其他类型的数组,这个数组为缓冲区提供了数据的访问读写等操作属性,如位置,容量,上限等概念,参考API文档。Buffer类型:我们最常用的就是ByteBuffer,实际上每一种java基本类型都对应了一种缓冲区(除了Boolean类型)

ByteBuffer

CharBuffer

ShortBuffer

IntBuffer

LongBUffer

FloatBuffer

DoubleBUffer

 2.通道 Channel

Channel是一个通道,它就像自来水管道一样,网络数据通过Channel读取和写入,通道与流不同之处在于通道是双向的,而流只是一个方向上移动(一个流必须是inputStream或者outputStream的子类),而通道可以用于读,写或者二者同时进行,最关键的是可以与多路复用器结合起来,有多种的状态位,方便多路复用器去识别。事实上通道分为两大类,一类是网络读写的(SelectableChannel),一类是用于文件操作的(FileChannel),我们使用的SocketChannel和ServerSockerChannel都是SelectableChannel的子类

3.多路复用器 Selector

他是NIO编程的基础,非常重要,多路复用器提供选择已经就绪的任务的能力。

简单说,就是Selector会不断地轮询注册在其上的通道(Channel),如果某个通道发生了读写操作,这个通道就处于就绪状态,会被Selector轮询出来,然后通过SelectionKey可以取得就绪的Channel集合,从而进行后续的IO操作。

Selector线程就类似一个管理者(Master),管理了成千上万个管道,然后轮询哪个管道的数据已经准备好,通知CPU执行IO的读取或写入操作。

Selector模式:当IO事件(管理)注册到选择器以后,selector会分配给每个管道一个key值,相当于标签。selector选择器是以轮询的方式进行查找注册的所有IO事件(管道)

当我们的IO事件(管道)准备就绪后,select就会识别,会通过key值来找到相应的管道,进行相关的数据处理操作(从管道里读或写数据,写道我们的数据缓冲区中)。

  一个多路复用器Selecor可以同时轮询多个Channel,由于JDK使用epoll()代替传统的select实现,所以它并没有最大连接句柄1024/2048的限制。所以只需要一个线程负载Selector的轮询,就可以接入很多客户端

 

每个管道都会对选择器进行注册不同的事件状态,以便选择器查找。

SelectionKey.OP_CONNECT          连接状态

SelectionKey.OP_ACCEPT            阻塞状态

SelectionKey.OP_READ              可读状态

SelectionKey.OP_WRITE             可写状态

代码如下:

Server.java

  1. import java.io.IOException;
  2. import java.net.InetSocketAddress;
  3. import java.nio.ByteBuffer;
  4. import java.nio.channels.SelectionKey;
  5. import java.nio.channels.Selector;
  6. import java.nio.channels.ServerSocketChannel;
  7. import java.nio.channels.SocketChannel;
  8. import java.util.Iterator;
  9.  
  10. public class Server implements Runnable{
  11. //1 多路复用器(管理所有的通道)
  12. private Selector seletor;
  13. //2 建立缓冲区
  14. private ByteBuffer readBuf = ByteBuffer.allocate(1024);
  15. //3
  16. //private ByteBuffer writeBuf = ByteBuffer.allocate(1024);
  17. public Server(int port){
  18. try {
  19. //1 打开路复用器
  20. this.seletor = Selector.open();
  21. //2 打开服务器通道
  22. ServerSocketChannel ssc = ServerSocketChannel.open();
  23. //3 设置服务器通道为非阻塞模式
  24. ssc.configureBlocking(false);
  25. //4 绑定地址
  26. ssc.bind(new InetSocketAddress(port));
  27. //5 把服务器通道注册到多路复用器上,并且监听阻塞事件
  28. ssc.register(this.seletor, SelectionKey.OP_ACCEPT);
  29.  
  30. System.out.println("Server start, port :" + port);
  31.  
  32. } catch (IOException e) {
  33. e.printStackTrace();
  34. }
  35. }
  36.  
  37. @Override
  38. public void run() {
  39. while(true){
  40. try {
  41. //1 必须要让多路复用器开始监听
  42. this.seletor.select();
  43. //2 返回多路复用器已经选择的结果集
  44. Iterator<SelectionKey> keys = this.seletor.selectedKeys().iterator();
  45. //3 进行遍历
  46. while(keys.hasNext()){
  47. //4 获取一个选择的元素
  48. SelectionKey key = keys.next();
  49. //5 直接从容器中移除就可以了
  50. keys.remove();
  51. //6 如果是有效的
  52. if(key.isValid()){
  53. //7 如果为阻塞状态
  54. if(key.isAcceptable()){
  55. this.accept(key);
  56. }
  57. //8 如果为可读状态
  58. if(key.isReadable()){
  59. this.read(key);
  60. }
  61. //9 写数据
  62. if(key.isWritable()){
  63. //this.write(key); //ssc
  64. }
  65. }
  66.  
  67. }
  68. } catch (IOException e) {
  69. e.printStackTrace();
  70. }
  71. }
  72. }
  73.  
  74. private void write(SelectionKey key){
  75. //ServerSocketChannel ssc = (ServerSocketChannel) key.channel();
  76. //ssc.register(this.seletor, SelectionKey.OP_WRITE);
  77. }
  78.  
  79. private void read(SelectionKey key) {
  80. try {
  81. //1 清空缓冲区旧的数据
  82. this.readBuf.clear();
  83. //2 获取之前注册的socket通道对象
  84. SocketChannel sc = (SocketChannel) key.channel();
  85. //3 读取数据
  86. int count = sc.read(this.readBuf);
  87. //4 如果没有数据
  88. if(count == -1){
  89. key.channel().close();
  90. key.cancel();
  91. return;
  92. }
  93. //5 有数据则进行读取 读取之前需要进行复位方法(把position 和limit进行复位)
  94. this.readBuf.flip();
  95. //6 根据缓冲区的数据长度创建相应大小的byte数组,接收缓冲区的数据
  96. byte[] bytes = new byte[this.readBuf.remaining()];
  97. //7 接收缓冲区数据
  98. this.readBuf.get(bytes);
  99. //8 打印结果
  100. String body = new String(bytes).trim();
  101. System.out.println("Server : " + body);
  102.  
  103. // 9..可以写回给客户端数据
  104.  
  105. } catch (IOException e) {
  106. e.printStackTrace();
  107. }
  108.  
  109. }
  110.  
  111. private void accept(SelectionKey key) {
  112. try {
  113. //1 获取服务通道
  114. ServerSocketChannel ssc = (ServerSocketChannel) key.channel();
  115. //2 执行阻塞方法
  116. SocketChannel sc = ssc.accept();
  117. //3 设置阻塞模式
  118. sc.configureBlocking(false);
  119. //4 注册到多路复用器上,并设置读取标识
  120. sc.register(this.seletor, SelectionKey.OP_READ);
  121. } catch (IOException e) {
  122. e.printStackTrace();
  123. }
  124. }
  125.  
  126. public static void main(String[] args) {
  127.  
  128. new Thread(new Server(8765)).start();;
  129. }
  130.  
  131. }

Client.java

  1. import java.io.IOException;
  2. import java.net.InetSocketAddress;
  3. import java.nio.ByteBuffer;
  4. import java.nio.channels.SocketChannel;
  5.  
  6. public class Client {
  7.  
  8. //需要一个Selector
  9. public static void main(String[] args) {
  10.  
  11. //创建连接的地址
  12. InetSocketAddress address = new InetSocketAddress("127.0.0.1", 8765);
  13.  
  14. //声明连接通道
  15. SocketChannel sc = null;
  16.  
  17. //建立缓冲区
  18. ByteBuffer buf = ByteBuffer.allocate(1024);
  19.  
  20. try {
  21. //打开通道
  22. sc = SocketChannel.open();
  23. //进行连接
  24. sc.connect(address);
  25.  
  26. while(true){
  27. //定义一个字节数组,然后使用系统录入功能:
  28. byte[] bytes = new byte[1024];
  29. System.in.read(bytes);
  30.  
  31. //把数据放到缓冲区中
  32. buf.put(bytes);
  33. //对缓冲区进行复位
  34. buf.flip();
  35. //写出数据
  36. sc.write(buf);
  37. //清空缓冲区数据
  38. buf.clear();
  39. }
  40. } catch (IOException e) {
  41. e.printStackTrace();
  42. } finally {
  43. if(sc != null){
  44. try {
  45. sc.close();
  46. } catch (IOException e) {
  47. e.printStackTrace();
  48. }
  49. }
  50. }
  51.  
  52. }
  53.  
  54. }

创建NIO服务器的主要步骤

(1)打开ServerSocketChannel,监听客户端连接

(2)绑定监听端口,设置连接为非阻塞模式

(3)创建Reactor线程,创建多路复用器并启动线程

(4)将ServerSocketChannel注册到Reactor线程中的Selector上,监听ACCEPT事件

(5)Selector轮询准备就绪的key

(6)Selector监听到新的客户端接入,处理新的接入请求,完成TCP三次握手,简历物理链路

(7)设置客户端链路为非阻塞模式

(8)将新接入的客户端连接注册到Reactor线程的Selector上,监听读操作,读取客户端发送的网络消息

(9)异步读取客户端消息到缓冲区

(10)对Buffer编解码,处理半包消息,将解码成功的消息封装成Task

(11)将应答消息编码为Buffer,调用SocketChannel的write将消息异步发送给客户端

因为应答消息的发送,SocketChannel也是异步非阻塞的,所以不能保证一次能吧需要发送的数据发送完,此时就会出现写半包的问题。我们需要注册写操作,不断轮询Selector将没有发送完的消息发送完毕,然后通过Buffer的hasRemain()方法判断消息是否发送完成

推荐NIO底层讲解网址:

http://mp.weixin.qq.com/s/_vcT6KJNgcy1FruhSlA5zg

https://mp.weixin.qq.com/s/BZJiUMR60YwpW1krN3Me_g

AIO编程

在NIO基础之上引入了异步通道的概念,并提供了异步分局和异步套接字通道的实现,从而在真正意义上实现了异步非阻塞,之前我们学习的NIO只是非阻塞而

并非异步。而AIO它不需要通过多路复用器对注册的通道进行轮训操作即可实现异步读写,从而简化了NIO编程模型。也可以称之为NIO2.0,这种模式才真正属于我们异步非阻塞的模型。

AsynchronousServerScoketChannel

AsynchronousScoketChanel

代码

Server.java

  1. import java.net.InetSocketAddress;
  2. import java.nio.channels.AsynchronousChannelGroup;
  3. import java.nio.channels.AsynchronousServerSocketChannel;
  4. import java.util.concurrent.ExecutorService;
  5. import java.util.concurrent.Executors;
  6.  
  7. public class Server {
  8. //线程池
  9. private ExecutorService executorService;
  10. //线程组
  11. private AsynchronousChannelGroup threadGroup;
  12. //服务器通道
  13. public AsynchronousServerSocketChannel assc;
  14.  
  15. public Server(int port){
  16. try {
  17. //创建一个缓存池
  18. executorService = Executors.newCachedThreadPool();
  19. //创建线程组
  20. threadGroup = AsynchronousChannelGroup.withCachedThreadPool(executorService, 1);
  21. //创建服务器通道
  22. assc = AsynchronousServerSocketChannel.open(threadGroup);
  23. //进行绑定
  24. assc.bind(new InetSocketAddress(port));
  25.  
  26. System.out.println("server start , port : " + port);
  27. //进行阻塞
  28. assc.accept(this, new ServerCompletionHandler());
  29. //一直阻塞 不让服务器停止
  30. Thread.sleep(Integer.MAX_VALUE);
  31.  
  32. } catch (Exception e) {
  33. e.printStackTrace();
  34. }
  35. }
  36.  
  37. public static void main(String[] args) {
  38. Server server = new Server(8765);
  39. }
  40.  
  41. }

Client.java

  1. import java.io.UnsupportedEncodingException;
  2. import java.net.InetSocketAddress;
  3. import java.nio.ByteBuffer;
  4. import java.nio.channels.AsynchronousSocketChannel;
  5. import java.util.concurrent.ExecutionException;
  6.  
  7. public class Client implements Runnable{
  8.  
  9. private AsynchronousSocketChannel asc ;
  10.  
  11. public Client() throws Exception {
  12. asc = AsynchronousSocketChannel.open();
  13. }
  14.  
  15. public void connect(){
  16. asc.connect(new InetSocketAddress("127.0.0.1", 8765));
  17. }
  18.  
  19. public void write(String request){
  20. try {
  21. asc.write(ByteBuffer.wrap(request.getBytes())).get();
  22. read();
  23. } catch (Exception e) {
  24. e.printStackTrace();
  25. }
  26. }
  27.  
  28. private void read() {
  29. ByteBuffer buf = ByteBuffer.allocate(1024);
  30. try {
  31. asc.read(buf).get();
  32. buf.flip();
  33. byte[] respByte = new byte[buf.remaining()];
  34. buf.get(respByte);
  35. System.out.println(new String(respByte,"utf-8").trim());
  36. } catch (InterruptedException e) {
  37. e.printStackTrace();
  38. } catch (ExecutionException e) {
  39. e.printStackTrace();
  40. } catch (UnsupportedEncodingException e) {
  41. e.printStackTrace();
  42. }
  43. }
  44.  
  45. @Override
  46. public void run() {
  47. while(true){
  48.  
  49. }
  50. }
  51.  
  52. public static void main(String[] args) throws Exception {
  53. Client c1 = new Client();
  54. c1.connect();
  55.  
  56. Client c2 = new Client();
  57. c2.connect();
  58.  
  59. Client c3 = new Client();
  60. c3.connect();
  61.  
  62. new Thread(c1, "c1").start();
  63. new Thread(c2, "c2").start();
  64. new Thread(c3, "c3").start();
  65.  
  66. Thread.sleep(1000);
  67.  
  68. c1.write("c1 aaa");
  69. c2.write("c2 bbbb");
  70. c3.write("c3 ccccc");
  71. }
  72.  
  73. }

ServerCompletionHandler.java

  1. import java.nio.ByteBuffer;
  2. import java.nio.channels.AsynchronousSocketChannel;
  3. import java.nio.channels.CompletionHandler;
  4. import java.util.concurrent.ExecutionException;
  5.  
  6. public class ServerCompletionHandler implements CompletionHandler<AsynchronousSocketChannel, Server> {
  7.  
  8. @Override
  9. public void completed(AsynchronousSocketChannel asc, Server attachment) {
  10. //当有下一个客户端接入的时候 直接调用Server的accept方法,这样反复执行下去,保证多个客户端都可以阻塞
  11. attachment.assc.accept(attachment, this);
  12. read(asc);
  13. }
  14.  
  15. private void read(final AsynchronousSocketChannel asc) {
  16. //读取数据
  17. ByteBuffer buf = ByteBuffer.allocate(1024);
  18. asc.read(buf, buf, new CompletionHandler<Integer, ByteBuffer>() {
  19. @Override
  20. public void completed(Integer resultSize, ByteBuffer attachment) {
  21. //进行读取之后,重置标识位
  22. attachment.flip();
  23. //获得读取的字节数
  24. System.out.println("Server -> " + "收到客户端的数据长度为:" + resultSize);
  25. //获取读取的数据
  26. String resultData = new String(attachment.array()).trim();
  27. System.out.println("Server -> " + "收到客户端的数据信息为:" + resultData);
  28. String response = "服务器响应, 收到了客户端发来的数据: " + resultData;
  29. write(asc, response);
  30. }
  31. @Override
  32. public void failed(Throwable exc, ByteBuffer attachment) {
  33. exc.printStackTrace();
  34. }
  35. });
  36. }
  37.  
  38. private void write(AsynchronousSocketChannel asc, String response) {
  39. try {
  40. ByteBuffer buf = ByteBuffer.allocate(1024);
  41. buf.put(response.getBytes());
  42. buf.flip();
  43. asc.write(buf).get();
  44. } catch (InterruptedException e) {
  45. e.printStackTrace();
  46. } catch (ExecutionException e) {
  47. e.printStackTrace();
  48. }
  49. }
  50.  
  51. @Override
  52. public void failed(Throwable exc, Server attachment) {
  53. exc.printStackTrace();
  54. }
  55.  
  56. }

适用场景

(1)BIO方式适用于连接数目比较小且固定的架构,这种方式对服务器资源要求比较高,并发局限于应用中,JDK1.4以前的唯一选择,但程序直观简单易理解。

(2)NIO方式适用于连接数目多且连接比较短(轻操作)的架构,比如聊天服务器,并发局限于应用中,编程比较复杂,JDK1.4开始支持。

(3)AIO方式使用于连接数目多且连接比较长(重操作)的架构,比如相册服务器,充分调用OS参与并发操作,编程比较复杂,JDK7开始支持。

另外,I/O属于底层操作,需要操作系统支持,并发也需要操作系统的支持,所以性能方面不同操作系统差异会比较明显。

Socket网络通信编程(一)的更多相关文章

  1. Socket网络通信编程(二)

    1.Netty初步 2.HelloWorld 3.Netty核心技术之(TCP拆包和粘包问题) 4.Netty核心技术之(编解码技术) 5.Netty的UDP实现 6.Netty的WebSocket实 ...

  2. Python全栈【Socket网络编程】

    Python全栈[socket网络编程] 本章内容: Socket 基于TCP的套接字 基于UDP的套接字 TCP粘包 SocketServer 模块(ThreadingTCPServer源码剖析) ...

  3. python之Socket网络编程

    什么是网络? 网络是由节点和连线构成,表示诸多对象及其相互联系.在数学上,网络是一种图,一般认为专指加权图.网络除了数学定义外,还有具体的物理含义,即网络是从某种相同类型的实际问题中抽象出来的模型.在 ...

  4. Python之路【第七篇】python基础 之socket网络编程

    本篇文章大部分借鉴 http://www.cnblogs.com/nulige/p/6235531.html python socket  网络编程 一.服务端和客户端 BS架构 (腾讯通软件:ser ...

  5. Socket网络编程-基础篇

    Socket网络编程 网络通讯三要素: IP地址[主机名] 网络中设备的标识 本地回环地址:127.0.0.1 主机名:localhost 端口号 用于标识进程的逻辑地址 有效端口:0~65535 其 ...

  6. Java程序员从笨鸟到菜鸟之(十三)java网络通信编程

    本文来自:曹胜欢博客专栏.转载请注明出处:http://blog.csdn.net/csh624366188 首先声明一下,刚开始学习java网络通信编程就对他有一种畏惧感,因为自己对网络一窍不通,所 ...

  7. 循序渐进Socket网络编程(多客户端、信息共享、文件传输)

    循序渐进Socket网络编程(多客户端.信息共享.文件传输) 前言:在最近一个即将结束的项目中使用到了Socket编程,用于调用另一系统进行处理并返回数据.故把Socket的基础知识总结梳理一遍. 1 ...

  8. windows socket 网络编程

    样例代码就在我的博客中,包含六个UDP和TCP发送接受的cpp文件,一个基于MFC的局域网聊天小工具project,和此小工具的全部执行时库.资源和执行程序.代码的压缩包位置是http://www.b ...

  9. Linux socket网络编程基础 tcp和udp

    Socket TCP网络通信编程 首先,服务器端需要做以下准备工作: (1)调用socket()函数.建立socket对象,指定通信协议. (2)调用bind()函数.将创建的socket对象与当前主 ...

随机推荐

  1. 【VS开发】使用WinPcap编程(1)——获取网络设备信息

    pcap_if_t是一个interface数据结构,表明网络接口的信息.网络接口就是interface,就是我们用来上网的设备,一般为网卡,还有一些虚拟网卡也算作这样的接口.它的结构如下: struc ...

  2. docker--docker 的web可视化管理工具

    12 docker 的web可视化管理工具 12.1 常用工具介绍 当 Docker 部署规模逐步变大后,可视化监控容器环境的性能和健康状态将会变得越来越 重要. Docker的图形化管理工具,提供状 ...

  3. linux 正则表达式 目录

    linux 通配符与正则表达式 linux 通配符 linux 正则表达式 使用grep命令 linux 扩展正则表达式 egrep linux 正则表达式 元字符

  4. .net 与directX

    微软早期出过managed assembly.但后来因为XXX的原因,没有继续出,只支持c++了..net的开发者就哭了.这篇博客解释了前世今生: https://blogs.msdn.microso ...

  5. 小白学Python(20)—— Turtle 海龟绘图

    Turtle库是Python语言中一个很流行的绘制图像的函数库,想象一个小乌龟,在一个横轴为x.纵轴为y的坐标系原点,(0,0)位置开始,它根据一组函数指令的控制,在这个平面坐标系中移动,从而在它爬行 ...

  6. HDU 2196 Computer( 树上节点的最远距离 )

    Computer Time Limit: 1000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others)Total Su ...

  7. C++ delete仍可访问的问题

    C++ delete和置为NULL 先上一段代码: class Object { public: explicit Object(int num) : m_num(num){} void functi ...

  8. 华为云搭建windows+wordpress+xampp

    1.如何将本地文件上传至华为云ECS云服务器(Windows系统) 1.1 在本地电脑上,快捷键“WIN+R"打开“运行”中输入“mstsc”,点击确定 1.2  在“远程桌面连接”框点击“ ...

  9. Pure播放器

    我是的本地应用,并不会拿你的隐私数据.

  10. Ajax&Json笔记

    ## 今日内容     1. AJAX:     2. JSON # AJAX:     1. 概念: ASynchronous JavaScript And XML    异步的JavaScript ...