tcp是一个“流”的协议,一个完整的包可能会被TCP拆分成多个包进行发送,也可能把小的封装成一个大的数据包发送,这就是所谓的TCP粘包和拆包问题。

粘包、拆包问题说明

假设客户端分别发送数据包D1和D2给服务端,由于服务端一次性读取到的字节数是不确定的,所以可能存在以下4种情况。

  • 1.服务端分2次读取到了两个独立的包,分别是D1,D2,没有粘包和拆包;
  • 2.服务端一次性接收了两个包,D1和D2粘在一起了,被成为TCP粘包;
  • 3.服务端分2次读取到了两个数据包,第一次读取到了完整的D1和D2包的部分内容,第二次读取到了D2包的剩余内容,这被称为拆包;
  • 4.服务端分2次读取到了两个数据包,第一次读取到了部分D1,第二次读取D1剩余的部分和完整的D2包;

如果此时服务端TCP接收滑动窗非常小,而数据包D1和D2都很大,很有可能发送第五种可能,即服务端多次才能把D1和D2接收完全,期间多次发生拆包情况。(TCP接收滑动窗:是接收端的大小,随着流量大小而变化,如果我的解释还不明确,请读者自行百度,或者查阅《计算机网络》、《TCP/IP》中TCP的内容)

粘包问题的解决策略

由于底层的TCP无法理解上层的业务逻辑,所以在底层是无法确保数据包不被拆分和重组的,这个问题只能通过上层的应用协议栈设计来解决,根据业界的主流协议的解决方案,归纳如下:

  • 1.消息定长,例如每个报文的大小为固定长度200字节,如果不够,空位补空格;
  • 2.在包尾增加回车换行符进行分割,例如FTP协议;
  • 3.将消息分为消息头和消息体,消息头中包含表示消息总长度(或者消息体长度)的字段,通常设计思路是消息头的第一个字段用int来表示消息的总长度;(我之前linux C开发,就用的这种)。
  • 4.更复杂的应用层协议;

为了解决TCP粘包拆包的问题,Netty默认提供了多种编码器来处理,以下通过代码来说明;

服务端:

  1. public class TimeServer {
  2. /* -------- 和Netty入门章节一样的代码 -------- */
  3. private class ChildChannelHandler extends ChannelInitializer<SocketChannel>{
  4. @Override
  5. protected void initChannel(SocketChannel arg0)throws Exception{
  6. // 增加 LineBasedFrameDecoder 和StringDecoder编码器
  7. arg0.pipeline().addLast(new LineBasedFrameDecoder(1024));
  8. arg0.pipeline().addLast(new StringDecoder());
  9. arg0.pipeline().addLast(new TimeServerHandler());
  10. }
  11. }
  12.  
  13. /* -------- 和Netty入门章节一样的代码 -------- */
  14. }
  1. public class TimeServerHandler extends ChannelHandlerAdapter{
  2.  
  3. private int counter;
  4.  
  5. // 用于网络的读写操作
  6. @Override
  7. public void channelRead(ChannelHandlerContext ctx,Object msg)
  8. throws Exception{
  9.  
  10. String body = (String)msg;
  11. System.out.println("the time server order : " + body+";the counter is :"+ (++counter));
  12.  
  13. String currentTime = "QUERY TIME ORDER".equalsIgnoreCase(body)?new Date(
  14. System.currentTimeMillis()).toString():"BAD ORDER";
  15. currentTime +=System.getProperty("line.separator"); // System.getProperty("line.separator"),获取/n的作用
  16. ByteBuf resp = Unpooled.copiedBuffer(currentTime.getBytes());
  17. ctx.writeAndFlush(resp);
  18.  
  19. // 当客户端和服务端建立tcp成功之后,Netty的NIO线程会调用channelActive
  20. // 发送查询时间的指令给服务端。
  21. // 调用ChannelHandlerContext的writeAndFlush方法,将请求消息发送给服务端
  22. // 当服务端应答时,channelRead方法被调用
  23. }
  24.  
  25. @Override
  26. public void exceptionCaught(ChannelHandlerContext ctx,Throwable cause){
  27. ctx.close();
  28. }
  29. }

客服端

  1. public class TimeClient {
  2. public void connect(String host,int port)throws Exception{
  3. // 配置服务端的NIO线程组
  4. EventLoopGroup group = new NioEventLoopGroup();
  5.  
  6. try {
  7. // Bootstrap 类,是启动NIO服务器的辅助启动类
  8. Bootstrap b = new Bootstrap();
  9. b.group(group).channel(NioSocketChannel.class)
  10. .option(ChannelOption.TCP_NODELAY,true)
  11. .handler(new ChannelInitializer<SocketChannel>() {
  12. @Override
  13. public void initChannel(SocketChannel ch)
  14. throws Exception{
  15. // 增加 LineBasedFrameDecoder 和StringDecoder编码器
  16. ch.pipeline().addLast(new LineBasedFrameDecoder(1024));
  17. ch.pipeline().addLast(new StringDecoder());
  18. ch.pipeline().addLast(new TimeClientHandler());
  19. }
  20. });
  21.  
  22. // 发起异步连接操作
  23. ChannelFuture f= b.connect(host,port).sync();
  24.  
  25. // 等待客服端链路关闭
  26. f.channel().closeFuture().sync();
  27. }finally {
  28. group.shutdownGracefully();
  29. }
  30. }
  31.  
  32. public static void main(String[]args)throws Exception{
  33. int port = 8080;
  34. if(args!=null && args.length>0){
  35. try {
  36. port = Integer.valueOf(args[0]);
  37. }
  38. catch (NumberFormatException ex){}
  39. }
  40. new TimeClient().connect("127.0.0.1",port);
  41. }
  42. }

以上的代码,主要就是增加 LineBasedFrameDecoder 和StringDecoder编码器来处理粘包、拆包问题。全部项目代码,源码在src/main/java/NettyStickyPacket下,分为客户端和服务端,他们的代码基本和Netty入门章节的代码类似,只是增加了解码器。

LineBasedFrameDecoder 和StringDecoder编码器说明

LineBasedFrameDecoder 工作原理:依次编译bytebuf中的可读字符,判断看是否有“\n”或者“\r\n”,如果有,就以此位置为结束位置,从可读索引到结束位置区间的字节就组成了一行。它是以换行符为结束标志的解码器,支持携带结束符或者不携带结束符两种解码方式,同时支持单行的最大长度。如果连续读取到最大长度后,仍然没有发现换行符,就会抛出异常,同时忽略掉之前读到的异常码流。

StringDecoder功能:将接收到的对象转成字符串,然后继续调用后面的handler。 LineBasedFrameDecoder + StringDecoder组成就是按行切换的文本解码器,它被设计用来支持TCP的粘包和拆包。

可能读者会提出新的疑问:如果发送的消息不是以换行符结束怎么办?或者没有回车换行符,靠消息头中的长度字段来分包怎么办?是不是需要自己写半包解码器?答案是否定的,Netty提供了多种支持TCP粘包/拆包的解码器。

关于“分隔符解码器”,下一章单独讲解说明。

源码下载

GitHub地址:https://github.com/orange1438/Netty_Course

 
  1. 作者:orange1438
  2. 出处:http://www.cnblogs.com/orange1438/
  3. 本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

Netty(三)TCP粘包拆包处理的更多相关文章

  1. netty之==TCP粘包/拆包问题解决之道(一)

    一.TCP粘包/拆包是什么 TCP是一个“流”协议,所谓流,就是没有界限的一长串二进制数据.TCP作为传输层协议并不不了解上层业务数据的具体含义,它会根据TCP缓冲区的实际情况进行数据包的划分,所以在 ...

  2. Netty的TCP粘包/拆包(源码二)

    假设客户端分别发送了两个数据包D1和D2给服务器,由于服务器端一次读取到的字节数是不确定的,所以可能发生四种情况: 1.服务端分两次读取到了两个独立的数据包,分别是D1和D2,没有粘包和拆包. 2.服 ...

  3. 1. Netty解决Tcp粘包拆包

    一. TCP粘包问题 实际发送的消息, 可能会被TCP拆分成很多数据包发送, 也可能把很多消息组合成一个数据包发送 粘包拆包发生的原因 (1) 应用程序一次写的字节大小超过socket发送缓冲区大小 ...

  4. netty权威指南学习笔记三——TCP粘包/拆包之粘包现象

    TCP是个流协议,流没有一定界限.TCP底层不了解业务,他会根据TCP缓冲区的实际情况进行包划分,在业务上,一个业务完整的包,可能会被TCP底层拆分为多个包进行发送,也可能多个小包组合成一个大的数据包 ...

  5. Netty解决TCP粘包/拆包问题 - 按行分隔字符串解码器

    服务端 package org.zln.netty.five.timer; import io.netty.bootstrap.ServerBootstrap; import io.netty.cha ...

  6. 深入学习Netty(5)——Netty是如何解决TCP粘包/拆包问题的?

    前言 学习Netty避免不了要去了解TCP粘包/拆包问题,熟悉各个编解码器是如何解决TCP粘包/拆包问题的,同时需要知道TCP粘包/拆包问题是怎么产生的. 在此博文前,可以先学习了解前几篇博文: 深入 ...

  7. Netty(二)——TCP粘包/拆包

    转载请注明出处:http://www.cnblogs.com/Joanna-Yan/p/7814644.html 前面讲到:Netty(一)--Netty入门程序 主要内容: TCP粘包/拆包的基础知 ...

  8. TCP粘包/拆包(Netty权威指南)

    无论是服务端还是客户端,当我们读取或者发送消息的时候,都需要考虑TCP底层的粘包/拆包机制. TCP粘包/拆包 TCP是个“流”协议,所谓流,就是没有界限的一串数据.大家可以想想河里的流水,是连成一片 ...

  9. 《精通并发与Netty》学习笔记(13 - 解决TCP粘包拆包(一)概念及实例演示)

    一.粘包/拆包概念 TCP是一个“流”协议,所谓流,就是没有界限的一长串二进制数据.TCP作为传输层协议并不不了解上层业务数据的具体含义,它会根据TCP缓冲区的实际情况进行数据包的划分,所以在业务上认 ...

随机推荐

  1. 拓展 Android 原生 CountDownTimer 倒计时

    拓展 Android 原生 CountDownTimer 倒计时 [TOC] CountDownTimer 在系统的CountDownTimer上进行的修改,主要是拓展了功能,当然也保留了系统默认的模 ...

  2. ElasticSearch ik分词安装

    1.下载对应版本的ES ik分词 https://github.com/medcl/elasticsearch-analysis-ik/releases 2.解压elasticsearch-analy ...

  3. Laravel 5.3 请求处理管道详解

    对于一个Web应用来说,在一个请求真正处理前,我们可能会对请求做各种各样的判断,然后才允许后续处理. 我们通常的做法: Script 01.php Script 02.php 优点:直观,容易理解 缺 ...

  4. 设置 iOS 应用的图标和名称

    Xcode 8.1 设置 iOS 应用的图标和名称的方法: 设置应用图标: 1.在 Resources 中添加图片: 2.在 Icon file 的属性值填写图标文件的名称. 设置应用名: 1.修改 ...

  5. Android 内存管理 &Memory Leak & OOM 分析

    转载博客:http://blog.csdn.net/vshuang/article/details/39647167 1.Android 进程管理&内存 Android主要应用在嵌入式设备当中 ...

  6. .NET平台开源项目速览(8)Expression Evaluator表达式计算组件使用

    在文章:这些.NET开源项目你知道吗?让.NET开源来得更加猛烈些吧!(第二辑)中,给大家初步介绍了一下Expression Evaluator验证组件.那里只是概述了一下,并没有对其使用和强大功能做 ...

  7. L2 Population 原理 - 每天5分钟玩转 OpenStack(113)

    前面我们学习了 VXLAN,今天讨论跟 VXLAN 紧密相关的 L2 Population. L2 Population 是用来提高 VXLAN 网络 Scalability 的. 通常我们说某个系统 ...

  8. JQuery EasyUI datagrid 复杂表头处理

    下面是我项目中和网上收集的EasyUI的表头处理的,合适的拿去用吧. 例子1: $('#day_health').datagrid({                 url: "sqb_b ...

  9. 关于Repository、IUnitOfWork 在领域层和应用服务层之间的代码分布与实现

    本来早就准备总结一下关于Repository.IUnitOfWork之间的联系以及在各层中的分布,直到看到田园里的蟋蟀发表的文章:<DDD 领域驱动设计-谈谈 Repository.IUnitO ...

  10. IDDD 实现领域驱动设计-由贫血导致的失忆症

    啰嗦几句 年前的时候,在和 netfocus 兄,以及对 DDD 感兴趣园友的探讨过程中,我发现自己有很多不足的地方,对 DDD 的了解也只是皮毛而已,代码写的少,DDD 的基本概念也不是很清楚,空有 ...