JAVA高级架构 https://mp.weixin.qq.com/s?src=11&timestamp=1542107581&ver=1242&signature=OoktA0SsUeMrRekqrnaOvpssGtwbcaLe4swyHdYH1taWGQ2t4lIE0idzw2VuqIKrMBNpQUcoBrk1TKt7WTheHVWHT4hzzWVd8gBKPW53qvkaBcXLB9vH732VIGfbLMGG&new=1

结合RPC框架通信谈 netty如何解决TCP粘包问题

_Yasin JAVA高级架构 8月10日

0.起因

因为自己造一个RPC框架的轮子时,需要解决TCP的粘包问题,特此记录,希望方便他人。这是我写的RPC框架的 GitHub地址 https://github.com/yangzhenkun/krpc。 
欢迎star,fork。已经写了多篇文章对这个框架的原理进行说明。对原理有兴趣的欢迎交流。

1.什么是粘包

1.1 什么是TCP粘包

TCP粘包就是在TCP数据传输过程中,因为某些原因,接收方收到读取的数据并不是但存的一次数据,而是多个数据包的字节流组装在一起,导致多个数据粘在一起,接收端在读取的时候不知道怎么样把数据分成预期的多组数据,这就是粘包。

1.2 形成原因

TCP之所以造成粘包现象是因为其发送端和接收端的缓冲区及TCP数据流引起的。

例如nagle算法,会将瞬间的很多小包数据拼装称一个大的数据,以提高的带宽的利用率。(具体nagle算法就不展开将)。

但即使关闭了nagle算法,粘包依旧存在。因为这不是造成tcp粘包的根本原因。因为有缓冲区的存在,在缓存区没有打满之前是不会发送出去的,同时接收端也是利用缓存区接收数据,在接着从缓存区读取接收的数据解析。这时有人问,如果数据量很小,总是没有打满缓冲区那怎么办,这就依赖发送和接收端的定时器了,他们会定时的处理数据,要不这不就成了bug了。

就是因为缓冲区的存在以及tcp数据流的形式,造成了多组数据的拼接,形成了粘包,半 包问题。

1.3 如何解决

目前常用的方法是定义 起始 边届符+数据长度来告诉接收端一个数据包具体的长度。

不过也有定义固定长度的,不过这样可能会造成的空白字节的浪费以及超出长度这种不易扩展的方式。纯边界符的方式 怕发生实际消息体与边界符的碰撞,造成消息的误截断。

2.netty如何解决

netty对NIO模式的TCP通信的封装可谓是完美。可让人快速写出可用的tcp通信的服务端和客户端,并且很简单的解决粘包问题。

netty有提供基于分隔符和长度的编解码器,方便开发者使用。 
DelimiterBaseFrameDecoder是可以用户自定义数据分隔符来分割的,LineBaseFrameDecoder是由行尾符(\n或者\r\n)分割,速度比前者还要块。 
还有基于长度的FixedLengthFrameDecoder定长的解码器,LengthFieldBasedFrameDecoder动态长度的解码器。这4中方式都有对应的编解码器。

同时对于数据类型的边界吗,netty也支持byte,string,protobuf等,大家可以去看MessageToMessageDecoder的子类,就能发现netty提供很多编解码的规则。

3.实战-RPC框架的客户和服务端实现

在自己写KRPC时,一开始没有把NIO的计划提这么早,奈何在第一版用同步IO写客户端,压测时发现竟然那么不堪,遂决定用NIO改写,一开始觉得用Netty写客户端不方便(当时没到怎么写),便决定用java原生的NIO来写客户端,写到最后发现处理粘包特别困难,需要自己定义 特殊分界符号,然后设置长度,在客户端和服务端解析起来特别繁杂。于是尝试用netty写,发现特别简单。

bootstrap.group(bossGroup, workerGroup).channel(NioServerSocketChannel.class)
                        .childHandler(new ChannelInitializer<SocketChannel>() {                             @Override
                            protected void initChannel(SocketChannel ch) throws Exception {
                                ChannelPipeline pipeline = ch.pipeline();
                                pipeline.addLast("frameDecoder", new LengthFieldBasedFrameDecoder(Integer.MAX_VALUE, 0, 4, 0, 4));
                                pipeline.addLast("frameEncoder", new LengthFieldPrepender(4));
                                pipeline.addLast("decoder", new ByteArrayDecoder());
                                pipeline.addLast("encoder", new ByteArrayEncoder());
                                pipeline.addLast(new ServerHandler());
                            }
                        }).option(ChannelOption.SO_BACKLOG, 128)
                        .childOption(ChannelOption.SO_KEEPALIVE, true)
                        .childOption(ChannelOption.RCVBUF_ALLOCATOR, new AdaptiveRecvByteBufAllocator(64,Global.getInstance().getMaxBuf(),Global.getInstance().getMaxBuf()));

这就是服务端的代码,有没有特别简单,因为TCP将传输的数据序列化由压缩后的数据为 字节数组,所以使用的自带的ByteArray编解码器,使用了动态长度的LengthFieldBaseFrame来解决粘包问题。就这样解决了粘包问题。

即使关闭了nagle算法,粘包依旧存在的更多相关文章

  1. TCP粘包, UDP丢包, nagle算法

    一.TCP粘包 1. 什么时候考虑粘包 如果利用tcp每次发送数据,就与对方建立连接,然后双方发送完一段数据后,就关闭连接,这样就不会出现粘包问题(因为只有一种包结构,类似于http协议,UDP不会出 ...

  2. (经典)tcp粘包分析

    转载自csdn:http://blog.csdn.net/zhangxinrun/article/details/6721495 这两天看csdn有一些关于socket粘包,socket缓冲区设置的问 ...

  3. 【转】TCP粘包分析

    一 .两个简单概念长连接与短连接: 1.长连接     Client方与Server方先建立通讯连接,连接建立后不断开, 然后再进行报文发送和接收. 2.短连接     Client方与Server每 ...

  4. TCP通信粘包问题分析和解决

    转载至https://www.cnblogs.com/kex1n/p/6502002.html 在socket网络程序中,TCP和UDP分别是面向连接和非面向连接的.因此TCP的socket编程,收发 ...

  5. TCP粘包问题分析和解决(全)

    TCP通信粘包问题分析和解决(全) 在socket网络程序中,TCP和UDP分别是面向连接和非面向连接的.因此TCP的socket编程,收发两端(客户端和服务器端)都要有成对的socket,因此,发送 ...

  6. tcp 粘包 和 TCP_NODELAY 学习

    TCP通信粘包问题分析和解决  在socket网络程序中,TCP和UDP分别是面向连接和非面向连接的.因此TCP的socket编程,收发两端(客户端和服务器端)都要有成对的socket,因此,发送端为 ...

  7. 【转载】TCP粘包问题分析和解决(全)

    TCP通信粘包问题分析和解决(全) 在socket网络程序中,TCP和UDP分别是面向连接和非面向连接的.因此TCP的socket编程,收发两端(客户端和服务器端)都要有成对的socket,因此,发送 ...

  8. [网络协议]TCP粘包分析

    关于socket粘包,socket缓冲区设置的问题,记录一下: 一 .两个简单概念长连接与短连接: 长连接     Client方与Server方先建立通讯连接,连接建立后不断开, 然后再进行报文发送 ...

  9. 转,关于TCP粘包问题的一些思路

    TCP粘包分析 一 .两个简单概念长连接与短连接:1.长连接 Client方与Server方先建立通讯连接,连接建立后不断开, 然后再进行报文发送和接收. 2.短连接 Client方与Server每进 ...

随机推荐

  1. table中添加下拉框

    { file: 'usename', title: '下发用户', width:"20%", align: 'center', templet: function (d) { va ...

  2. 【转】shell pipe与输入输出重定向的区别

    http://www.cnblogs.com/chengmo/archive/2010/10/21/1856577.html

  3. Python 内置模块函数filter reduce

    1.filter()实现过滤的功能 2.reduce()对序列中元素的连续操作可以通过循环来处理 3.map()对tuple元组进行解包操作,调用时设置map()的第一个参数为None 4.使用red ...

  4. 使用ICSharpCode.TextEditor制作一个语法高亮显示的XML编辑器

    使用ICSharpCode.TextEditor制作一个语法高亮显示的XML编辑器 品高工作流 的流程模拟器中使用了一个具有语法高亮和折叠功能的XML编辑器,其核心就是用了SharpDevelop中的 ...

  5. 一款基于jquery超炫的弹出层提示消息

    今天给大家带来一款基于jquery超炫的弹出层提示消息.这款实例页面初始时,一个go按钮.当单击go按钮时,提示强出层以动画形式出现.效果图如下: 在线预览   源码下载 实现的代码. html代码: ...

  6. CSS 框架之 Bootstrap 的下载和安装

    BootStrap 简介: Bootstrap 是一个用于快速开发 Web 应用程序和网站的前端框架.Bootstrap 是基于 HTML.CSS.JAVASCRIPT 的. 响应式设计:Bootst ...

  7. Android——Activity恢复用户用EditText输入的数据

    说明: 在横屏输入的内容,在Activity销毁后,即横屏后,获取用户输入的内容 步骤: 1.在xml页面定义EditText的id 2.用onSaveInstanceState保存用户输入的数据 ( ...

  8. Hdu 2236 无题II 最大匹配+二分

    题目链接: pid=2236">Hdu 2236 解题思路: 将行和列理解为二分图两边的端点,给出的矩阵即为二分图中的全部边, 假设二分图能全然匹配,则说明 不同行 不同列的n个元素 ...

  9. C/C++基础问题归集

    include " ":先从本地目录,后从系统路径include <>: 先从系统路径,后从本地目录 一般用哪个都没关系,只是速度有差别罢了

  10. 实现Easyui 可编辑表格

    一.前端框架使用的easyui框架 二.后端使用的是jfinal 三.效果图 四.html代码 <div id="table_tree" class="easyui ...