发生了粘包,我们需要将其清晰的进行拆包处理,这里采用LineBasedFrameDecoder来解决 LineBasedFrameDecoder的工作原理是它依次遍历ByteBuf中的可读字节,判断看是否有“\n”或“\r\n”,如果有,就以此为结束位置,从可读索引到结束位置区间的字节就组成一行,它是以换行为结束标志的编码器,支持携带结束符或者不携带结束符两种方式,同时支持配置单行最大长度,如果连续读取到的最大长度后仍没有发现换行符,就会抛出异常,同时忽略掉之前读到的异常码流. StringDe…

TCP是个流协议,流没有一定界限.TCP底层不了解业务,他会根据TCP缓冲区的实际情况进行包划分,在业务上,一个业务完整的包,可能会被TCP底层拆分为多个包进行发送,也可能多个小包组合成一个大的数据包进行发送,这就是TCP的拆包和粘包. 产生问题的原因 应用程序write写入的字节大小大于套接字缓冲区大小 进行MSS大小的TCP分割: 以太网帧的payload大于MTU进行IP分片 关于MSS和MTU的分段问题可以参考https://www.cnblogs.com/yuyutianxia/p/8…

编解码技术主要应用在网络传输中,将对象比如BOJO进行编解码以利于网络中进行传输.平常我们也会将编解码说成是序列化/反序列化 定义:当进行远程跨进程服务调用时,需要把被传输的java对象编码为字节数组或者ByteBuffer对象.而当远程服务读取到ByteBuffer对象或者字节数组时,需要将其解码为发送时的java对象.这被称为java对象编解码技术.比如java的序列化. 但是,java的序列化有一定的弊端: java序列化是java私有的协议,其他语言不支持,故而不能实现跨语言: 其次,序…

经过了前面的NIO基础知识准备,我们已经对NIO有了较大了解,现在就进入netty的实际应用中来看看吧.重点体会整个过程. 按照权威指南写程序的过程中,发现一些问题:当我们在定义handler继承ChannelHanderAdapter时候,发现在其接口中没有可以实现的channelRead方法和channelReadComplete方法,然后查阅官网才发现netty5.0不见了,网上说是舍弃了,然后再看官网的一些例子,发现官网上继承的是ChannelInboundHandlerAdapter,…

TCP以流的方式进行数据传输,上层应用协议为了对消息进行区分,通常采用以下4中方式: 消息长度固定,累计读取到长度综合为定长LEN的报文后,就认为读取到了一个完整的消息,将计数器置位,重新开始读取下一个数据报: 将回车换行符作为消息结束符,例如FTP协议,这种方式在文本协议中应用比较广泛: 将特殊的分隔符作为消息的结束标志,回车换行符就是一种特殊的分隔符: 通过在消息头中定义长度字段来标识消息的总长度. DelimiterBaseFrameDecoder——分隔符解码器,FixedLengthF…

JBoss Marshalling 是一个java序列化包,对JDK默认的序列化框架进行了优化,但又保持跟java.io.Serializable接口的兼容,同时增加了一些可调参数和附加特性,这些参数和特性可以通过工厂类进行配置. 一.开发环境准备 要用到JBoss Marsharlling编解码就需要相应的jar包,这里我们需要引入其api和序列化类库. 首先在maven仓库中查找竟然没找到,只好官网下载了http://jbossmarshalling.jboss.org/downloads…

经过前面的铺垫,在这一节我们进入NIO编程,NIO弥补了原来同步阻塞IO的不足,他提供了高速的.面向块的I/O,NIO中加入的Buffer缓冲区,体现了与原I/O的一个重要区别.在面向流的I/O中,可以将数据直接写入或者将数据直接读到Stream对象中.下面看一些概念 Buffer缓冲区 而在NIO中,所有数据都是用缓冲区处理的,在读取数据时,直接读到缓冲区,在写数据时,也是写到缓冲区,任何时候访问NIO中的数据,都是通过缓冲区进行操作.最常用的是个ByteBuffer缓冲区,他提供了一组功能用…

公司的一些项目采用了netty框架,为了加速适应公司开发,本博主认真学习netty框架,前一段时间主要看了看书,发现编程这东西,不上手还是觉得差点什么,于是为了加深理解,深入学习,本博主还是决定多动手,一方面记录一些总结性的思考性东西,另一方面也为日后复习查看留下一些东西. 那么废话少说,现在开始,首先在进入netty学习之前,我们是要认识一下IO并引出NIO的概念. 与IO相关的几种编程及特点分为: 编程类别 特点 传统BIO编程 典型的一请求一应答模型,一个请求新建一个线程,应答完成线程销毁…

首先我们来看一下protobuf的优点: 谷歌长期使用成熟度高: 跨语言支持多种语言如:C++,java,Python: 编码后消息更小,更利于存储传输: 编解码性能高: 支持不同协议版本的兼容性: 支持定义可选和必选字段: 接下来就让我们试用一下吧. 一.Protobuf开发环境搭建 下载Protobuf的Windows版本,本博主用的是protoc-3.6.1-win32.zip,解压后进入bin目录可以看到protoc.exe(下面的.proto文件是博主事先拉进来的) 然后我们打开cmd…

在上一节我们介绍了四种IO相关编程的各个特点,并通过代码进行复习了传统的网络编程代码,伪异步主要是引用了线程池,对BIO中服务端进行了相应的改造优化,线程池的引入,使得我们在应对大量客户端请求的时候不会导致虚拟机可贵的线程资源耗尽而宕机,在本小节,我们来看看伪异步代码.多注意引入的线程池代码. 伪异步IO模型图如下(): 当有新的客户端请求到来时,将socket封装成一个Task(该任务实现了Runnable接口),投递到线程池中进行处理.而线程池始终维护一个消息队列和N个活跃着的线程,这些线程…