拆包粘包问题解决

netty使用tcp/ip协议传输数据。而tcp/ip协议是类似水流一样的数据传输方式。多次访问的时候有可能出现数据粘包的问题,解决这种问题的方式如下:

定长数据流

客户端和服务器,提前协调好,每个消息长度固定。(如:长度10)。如果客户端或服务器写出的数据不足10,则使用空白字符补足(如:使用空格)。

代码示例

a.客户端

  1. public class MyClient {
  2.  
  3. // 处理请求和处理服务端响应的线程组
  4. private EventLoopGroup group = null;
  5. // 服务启动相关配置信息
  6. private Bootstrap bootstrap = null;
  7.  
  8. public MyClient(){
  9. init();
  10. }
  11.  
  12. private void init(){
  13. group = new NioEventLoopGroup();
  14. bootstrap = new Bootstrap();
  15. // 绑定线程组
  16. bootstrap.group(group);
  17. // 设定通讯模式为NIO
  18. bootstrap.channel(NioSocketChannel.class);
  19. }
  20.  
  21. public ChannelFuture doRequest(String host, int port) throws InterruptedException{
  22. this.bootstrap.handler(new ChannelInitializer<SocketChannel>() {
  23.  
  24. @Override
  25. protected void initChannel(SocketChannel ch) throws Exception {
  26. ChannelHandler[] handlers = new ChannelHandler[3];
  27. handlers[0] = new FixedLengthFrameDecoder(3);
  28. // 字符串解码器Handler,会自动处理channelRead方法的msg参数,将ByteBuf类型的数据转换为字符串对象
  29. handlers[1] = new StringDecoder(Charset.forName("utf8"));
  30. handlers[2] = new MyClientHandler();
  31.  
  32. ch.pipeline().addLast(handlers);
  33. }
  34. });
  35. ChannelFuture future = this.bootstrap.connect(host, port).sync();
  36. return future;
  37. }
  38.  
  39. public void release(){
  40. this.group.shutdownGracefully();
  41. }
  42.  
  43. public static void main(String[] args) {
  44. MyClient client = null;
  45. ChannelFuture future = null;
  46. try{
  47. client = new MyClient();
  48.  
  49. future = client.doRequest("localhost", 8000);
  50.  
  51. Scanner s = null;
  52. while(true){
  53. s = new Scanner(System.in);
  54. System.out.print("客户端输入:");
  55. future.channel().writeAndFlush(Unpooled.copiedBuffer(s.nextLine().getBytes("utf8")));
  56. TimeUnit.SECONDS.sleep(1);
  57. }
  58. }catch(Exception e){
  59. e.printStackTrace();
  60. }finally{
  61. if(null != future){
  62. try {
  63. future.channel().closeFuture().sync();
  64. } catch (InterruptedException e) {
  65. e.printStackTrace();
  66. }
  67. }
  68. if(null != client){
  69. client.release();
  70. }
  71. }
  72. }
  73.  
  74. }
  1. public class MyClientHandler extends ChannelHandlerAdapter {
  2.  
  3. @Override
  4. public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
  5. try{
  6. System.out.println("from server : " + msg.toString());
  7. }finally{
  8. // 用于释放缓存。避免内存溢出
  9. ReferenceCountUtil.release(msg);
  10. }
  11. }
  12.  
  13. /**
  14. * 异常处理
  15. */
  16. @Override
  17. public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
  18. System.out.println(cause.getMessage());
  19. ctx.close();
  20. }
  21.  
  22. }

b.服务端

  1. public class MyServer {
  2. private EventLoopGroup acceptorGroup = null;
  3. private EventLoopGroup clientGroup = null;
  4. private ServerBootstrap bootstrap = null;
  5. public MyServer(){
  6. init();
  7. }
  8. private void init(){
  9. acceptorGroup = new NioEventLoopGroup();
  10. clientGroup = new NioEventLoopGroup();
  11. bootstrap = new ServerBootstrap();
  12. // 绑定线程组
  13. bootstrap.group(acceptorGroup, clientGroup);
  14. // 设定通讯模式为NIO
  15. bootstrap.channel(NioServerSocketChannel.class);
  16. // 设定缓冲区大小
  17. bootstrap.option(ChannelOption.SO_BACKLOG, 1024);
  18. // SO_SNDBUF发送缓冲区,SO_RCVBUF接收缓冲区,SO_KEEPALIVE开启心跳监测(保证连接有效)
  19. bootstrap.option(ChannelOption.SO_SNDBUF, 8*1024)
  20. .option(ChannelOption.SO_RCVBUF, 8*1024)
  21. .option(ChannelOption.SO_KEEPALIVE, true);
  22. }
  23. public ChannelFuture doAccept(int port) throws InterruptedException{
  24.  
  25. bootstrap.childHandler(new ChannelInitializer<SocketChannel>() {
  26.  
  27. @Override
  28. protected void initChannel(SocketChannel ch) throws Exception {
  29. ChannelHandler[] acceptorHandlers = new ChannelHandler[3];
  30. // 定长Handler。通过构造参数设置消息长度(单位是字节)。发送的消息长度不足可以使用空格补全。
  31. acceptorHandlers[0] = new FixedLengthFrameDecoder(3);
  32. acceptorHandlers[1] = new StringDecoder(Charset.forName("utf8"));
  33. acceptorHandlers[2] = new MyServerHandler();
  34. ch.pipeline().addLast(acceptorHandlers);
  35. }
  36. });
  37. ChannelFuture future = bootstrap.bind(port).sync();
  38. return future;
  39. }
  40. public void release(){
  41. this.acceptorGroup.shutdownGracefully();
  42. this.clientGroup.shutdownGracefully();
  43. }
  44.  
  45. public static void main(String[] args){
  46. ChannelFuture future = null;
  47. MyServer server = null;
  48. try{
  49. server = new MyServer();
  50. future = server.doAccept(8000);
  51. System.out.println("服务已启动");
  52. future.channel().closeFuture().sync();
  53. }catch(InterruptedException e){
  54. e.printStackTrace();
  55. }finally{
  56. if(null != future){
  57. try {
  58. future.channel().closeFuture().sync();
  59. } catch (InterruptedException e) {
  60. e.printStackTrace();
  61. }
  62. }
  63.  
  64. if(null != server){
  65. server.release();
  66. }
  67. }
  68. }
  69.  
  70. }
  1. public class MyServerHandler extends ChannelHandlerAdapter {
  2.  
  3. // 业务处理逻辑
  4. @Override
  5. public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
  6. System.out.println("客户端消息 : " + msg.toString());
  7. ctx.writeAndFlush(Unpooled.copiedBuffer("ok ".getBytes("utf8")));
  8. }
  9. // 异常处理逻辑
  10. @Override
  11. public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
  12. System.out.println(cause.getMessage());
  13. ctx.close();
  14. }
  15. }

特殊结束符

客户端和服务器,协商定义一个特殊的分隔符号,分隔符号长度自定义。如:‘#’、‘$_$’、‘AA@’。在通讯的时候,只要没有发送分隔符号,则代表一条数据没有结束。

添加DelimiterBasedFrameDecoder特殊字符解码器并约定分隔符即可。

客户端:

  1. this.bootstrap.handler(new ChannelInitializer<SocketChannel>() {
  2.  
  3. @Override
  4. protected void initChannel(SocketChannel ch) throws Exception {
  5. // 定义数据分隔符
  6. ByteBuf delimiter = Unpooled.copiedBuffer("$E$".getBytes());
  7. ChannelHandler[] handlers = new ChannelHandler[3];
  8. handlers[0] = new DelimiterBasedFrameDecoder(1024, delimiter);
  9. handlers[1] = new StringDecoder(Charset.forName("UTF-8"));
  10. handlers[2] = new MyClientHandler();
  11. ch.pipeline().addLast(handlers);
  12. }
  13. });
  14. ChannelFuture future = this.bootstrap.connect(host, port).sync();
  15. return future;

服务端:

  1. bootstrap.childHandler(new ChannelInitializer<SocketChannel>() {
  2.  
  3. @Override
  4. protected void initChannel(SocketChannel ch) throws Exception {
  5. ByteBuf delimiter = Unpooled.copiedBuffer("$E$".getBytes());
  6. ChannelHandler[] acceptorHandlers = new ChannelHandler[3];
  7. acceptorHandlers[0] = new DelimiterBasedFrameDecoder(1024, delimiter);
  8. acceptorHandlers[1] = new StringDecoder(Charset.forName("UTF-8"));
  9. acceptorHandlers[2] = new MyServerHandler();
  10. ch.pipeline().addLast(acceptorHandlers);
  11. }
  12. });
  13. ChannelFuture future = bootstrap.bind(port).sync();
  14. return future;

更多看这个:Netty中解码基于分隔符的协议和基于长度的协议

协议

相对最成熟的数据传递方式。有服务器的开发者提供一个固定格式的协议标准。客户端和服务器发送数据和接受数据的时候,都依据协议制定和解析消息。

http协议实现看这里

Netty 实现简单的HTTP服务

构建基于Netty 的HTTP/HTTPS 应用程序

Netty(四):粘包问题描述及解决的更多相关文章

  1. Netty中粘包和拆包的解决方案

    粘包和拆包是TCP网络编程中不可避免的,无论是服务端还是客户端,当我们读取或者发送消息的时候,都需要考虑TCP底层的粘包/拆包机制. TCP粘包和拆包 TCP是个“流”协议,所谓流,就是没有界限的一串 ...

  2. 服务端NETTY 客户端非NETTY处理粘包和拆包的问题

    之前为了调式和方便一直没有处理粘包的问题,今天专门花了时间来搞NETTY的粘包处理,要知道在高并发下,不处理粘包是不可能的,数据流的混乱会造成业务的崩溃什么的我就不说了.所以这个问题 在我心里一直是个 ...

  3. Netty 拆包粘包和服务启动流程分析

    Netty 拆包粘包和服务启动流程分析 通过本章学习,笔者希望你能掌握EventLoopGroup的工作流程,ServerBootstrap的启动流程,ChannelPipeline是如何操作管理Ch ...

  4. TCP粘包问题分析和解决(全)

    TCP通信粘包问题分析和解决(全) 在socket网络程序中,TCP和UDP分别是面向连接和非面向连接的.因此TCP的socket编程,收发两端(客户端和服务器端)都要有成对的socket,因此,发送 ...

  5. 【转】Netty 拆包粘包和服务启动流程分析

    原文:https://www.cnblogs.com/itdragon/archive/2018/01/29/8365694.html Netty 拆包粘包和服务启动流程分析 通过本章学习,笔者希望你 ...

  6. 【转载】TCP粘包问题分析和解决(全)

    TCP通信粘包问题分析和解决(全) 在socket网络程序中,TCP和UDP分别是面向连接和非面向连接的.因此TCP的socket编程,收发两端(客户端和服务器端)都要有成对的socket,因此,发送 ...

  7. TCP粘包问题解析与解决

    一.粘包分析 作者本人在写一个FTP项目时,在文件的上传下载模块遇到了粘包问题.在网上找了一些解决办法,感觉对我情况都不好用,因此自己想了个比较好的解决办法,提供参考 1.1 粘包现象 在客户端与服务 ...

  8. TCP通信粘包问题分析和解决(全)(转)

    TCP通信粘包问题分析和解决(全) 在socket网络程序中,TCP和UDP分别是面向连接和非面向连接的.因此TCP的socket编程,收发两端(客户端和服务器端)都要有成对的socket,因此,发送 ...

  9. TCP的粘包、拆包及解决方法

    TCP粘包,拆包及解决方法 粘包拆包问题是处于网络比较底层的问题,在数据链路层.网络层以及传输层都有可能发生.我们日常的网络应用开发大都在传输层进行,由于UDP有消息保护边界,不会发生粘包拆包问题,因 ...

随机推荐

  1. source insight完全卸载

    由于不知名原因 source insight崩溃了,使用自带的卸载,完成之后重新安装软件注册还是出问题.在网上搜索资料发现就是删除注册表中的内容. 由于列出的删除项目不完全,导致还是出问题. 最后删除 ...

  2. Framebuffer重要结构体说明

    l  fb_var_screeninfo:记录了帧缓冲设备和指定显示模式的可修改记录.包括屏幕的分辨率,像素信息和一些时序变量 struct fb_var_screeninfo { __u32 xre ...

  3. Setup SS5 Socks Proxy

    Install and configure ss5 socks proxy with simple authentication SS5 is a high performance socks pro ...

  4. JAVA加密算法(DSA)

    DSA DSA-Digital Signature Algorithm 是Schnorr和ElGamal签名算法的变种,被美国NIST作为DSS(DigitalSignature Standard). ...

  5. android 设置屏幕方向

    setRequestedOrientation(ActivityInfo.SCREEN_ORIENTATION_LANDSCAPE);//通过程序改变屏幕显示的方向 1.landscape:横屏(风景 ...

  6. Tomcat与Servlet工作流程

    什么是Tomcat? Tomcatserver是一个免费的开放源码的Web 应用server,属于轻量级应用server. 什么是Servlet? Servlet是在server上执行的小程序.,说白 ...

  7. HTML:链接标签的使用

    介绍: 链接分为两种: 第一种:链接到本网页其他位置 例如:从网页顶部链接到底部 <a href="#somewhere">link</a> <p i ...

  8. Qt 事件处理机制 (下篇)

    继续我们上一篇文章继续介绍,Qt 事件处理机制 (上篇) 介绍了Qt框架的事件处理机制:事件的产生.分发.接受和处理,并以视窗系统鼠标点击QWidget为例,对代码进行了剖析,向大家分析了Qt框架如何 ...

  9. UVA 10790 (13.08.06)

     How Many Points of Intersection?  We have two rows. There are a dots on the toprow andb dots on the ...

  10. jquery easyui里datagrid用法记录

    1.删除行方法(deleteRow) $(); //1代表选中的行索引 2.删除多行数据 var rows = $('#ruleManagementTable').datagrid("get ...