疯狂创客圈,一个Java 高并发研习社群 【博客园 总入口

疯狂创客圈,倾力推出: 《Netty Zookeeper Redis 高并发实战》一书, 面试必备 + 面试必备 + 面试必备


写在前面

​ 大家好,我是作者尼恩。目前和几个小伙伴一起,组织了一个高并发的实战社群【疯狂创客圈】。正在开始高并发、亿级流程的 IM 聊天程序 学习和实战

有的小伙伴对帧解码器FrameDecoder ,尤其是LengthFieldBasedFrameDecoder(自定义长度帧解码器) 不是太了解,尤其是觉得LengthFieldBasedFrameDecoder 参数多,不理解。

这里单独撰文,对LengthFieldBasedFrameDecoder 的参数,进行重点介绍。看完之后,就会彻底的了解了。

1.1.1. 解码器:FrameDecoder

前面所讲的解码器,在获取入站数据时,都是通过ByteBuf的基础类型读取方法,读取到是基础的数据类型,比如int整数。如果在解码时,读取的不是基础类型,而是非常基础的二进制数据,该如何处理呢?

大家都知道,TCP协议是个“流”性质协议,它的底层根据二进制缓冲区的实际情况进行包的划分,会把上层(Netty层)的ByteBuf包,进行重新的划分和重组,组成一帧一帧的二进制数据。换句话说,一个上层Netty中的 ByteBuf包,可能会被TCP底层拆分成多个二进制数据帧进行发送;也有可能,底层将多个小的ByteBuf包,封装成一个大的底层数据帧发送出去。

问题来了:如何从底层的二进制数据帧中,界定出来上层数据包的边界,也即是上层包的起点和末尾呢?别急,界定的办法,还是很多的。比如说,简单一点方法就是规定上层数据包的长度。例如,规定每个上层数据包的长度为100byte。再比如说,可以规定上层包的分割符号,比如换行符。无论采用什么方法,最为重要的是,发送方和接收方,在界定方法上必须保持一致。

Netty中,提供了几个重要的可以直接使用的帧解码器。这里先介绍一个最为基础的,它就是LineBasedFrameDecoder。LineBasedFrameDecoder的工作原理很简单,依次遍历原始ByteBuf(代表底层帧)中的可读字节,判断看是否存在“\n”或者“\r\n”换行符,也就是上层包的边界的分割符。如果有,就以此位置为结束位置,从可读索引到结束位置区间的字节就组成了一行。同时,它支持配置上层包的最大长度。如果连续读取到最大长度后仍然没有发现换行符,就会抛出异常。

下面演示一下LineBasedFrameDecoder的使用,代码如下:


/**
* create by 尼恩 @ 疯狂创客圈
**/
package com.crazymakercircle.NettyTest; //... public class TestDecoder { @Test public void testLineBasedFrameDecoder() { //... ChannelInitializer i = new ChannelInitializer<EmbeddedChannel>() { ​ protected void initChannel(EmbeddedChannel ch) { ​ ch.pipeline().addLast(new LineBasedFrameDecoder(1024)); ​ ch.pipeline().addLast(new StringDecoder()); ​ ch.pipeline().addLast(new StringProcessHandler()); ​ } }; EmbeddedChannel channel = new EmbeddedChannel(i); for (int j = 0; j < 100; j++) { ​ ByteBuf buf = Unpooled.buffer(); ​ String s = "I am " + j; ​ buf.writeBytes(s.getBytes("UTF-8")); ​ buf.writeBytes("\r\n".getBytes("UTF-8")); ​ channel.writeInbound(buf); } //... }

实例中,向channel写入100个入站数据包,每一个入站包都以"\r\n"回车换行符作为结束。channel的LineBasedFrameDecoder 解码器,会将"\r\n"作为分割符,分割出一个一个的入站ByteBuf,然后发送给StringDecoder。StringDecoder会将分割好的ByteBuf二进制数据,转成字符串,发送给StringProcessHandler 。最后,由StringProcessHandler负责将字符串展示出来。

这里,LineBasedFrameDecoder 和StringDecoder 都是Netty自带的类。特别要说下的,就是StringDecoder,它的作用是将接收到ByteBuf二进制数据,转换成字符串。另外,LineBasedFrameDecoder ,是一个非常简单的帧解码器,包含此解码器在内,Netty中比较常用的帧解码器,大致如下:

(1)固定长度帧解码器 - FixedLengthFrameDecoder

适用场景:每个上层数据包的长度,都是固定的,比如 100。在这种场景下,只需要把这个解码器加到 pipeline 中,Netty 会把底层帧,拆分成一个个长度为 100 的数据包 (ByteBuf),发送到下一个 channelHandler入站处理器。

(2)行分割帧解码器 - LineBasedFrameDecoder

适用场景:每个上层数据包,使用换行符或者回车换行符做为边界分割符。发送端发送的时候,每个数据包之间以换行符/回车换行符作为分隔。在这种场景下,只需要把这个解码器加到 pipeline 中,Netty 会使用换行分隔符,把底层帧分割成一个一个完整的应用层数据包,发送到下一站。前面的例子,已经对这个解码器进行了演示。

(3)自定义分隔符帧解码器 - DelimiterBasedFrameDecoder

DelimiterBasedFrameDecoder 是LineBasedFrameDecoder的通用版本。不同之处在于,这个解码器,可以自定义分隔符,而不是局限于换行符。如果使用这个解码器,在发送的时候,末尾必须带上对应的分隔符。

(4)自定义长度帧解码器 - LengthFieldBasedFrameDecoder

这是一种基于灵活长度的解码器。在数据包中,加了一个长度字段(长度域),保存上层包的长度。解码的时候,会按照这个长度,进行上层ByteBuf应用包的提取。

1.1.1. 难点:自定义长度帧解码器

在前面的四个帧解码器中,第四个解码器LengthFieldBasedFrameDecoder(自定义长度帧解码器)的参数比较多,比较难,同时也比较重要,这里对其进行重点介绍。

下面是一个简单的使用实例,代码如下:

/**
* create by 尼恩 @ 疯狂创客圈
**/
package com.crazymakercircle.NettyTest; public class TestDecoder { //... @Test public void testLengthFieldBasedFrameDecoder() { try { LengthFieldBasedFrameDecoder spliter=new LengthFieldBasedFrameDecoder(1024,0,4,0,4); ​ ChannelInitializer i = new ChannelInitializer<EmbeddedChannel>() { ​ protected void initChannel(EmbeddedChannel ch) { ​ ch.pipeline().addLast(spliter); ​ ch.pipeline().addLast(new StringDecoder(Charset.forName("UTF-8"))); ​ ch.pipeline().addLast(new StringProcessHandler()); ​ } ​ }; ​ EmbeddedChannel channel = new EmbeddedChannel(i); ​ for (int j = 0; j < 100; j++) { ​ ByteBuf buf = Unpooled.buffer(); ​ String s = "呵呵,I am " + j; ​ byte[] bytes = s.getBytes("UTF-8"); ​ buf.writeInt(bytes.length); ​ buf.writeBytes(bytes); ​ channel.writeInbound(buf); ​ } //... }

上面用到的自定义长度解码器LengthFieldBasedFrameDecoder构造器,涉及5个参数,都与长度域(数据包中的长度字段)相关,具体介绍如下:

(1) maxFrameLength - 发送的数据包最大长度;

(2) lengthFieldOffset - 长度域偏移量,指的是长度域位于整个数据包字节数组中的下标;

(3) lengthFieldLength - 长度域的自己的字节数长度。

(4) lengthAdjustment – 长度域的偏移量矫正。 如果长度域的值,除了包含有效数据域的长度外,还包含了其他域(如长度域自身)长度,那么,就需要进行矫正。矫正的值为:包长 - 长度域的值 – 长度域偏移 – 长度域长。

(5) initialBytesToStrip – 丢弃的起始字节数。丢弃处于有效数据前面的字节数量。比如前面有4个节点的长度域,则它的值为4。

在上面的例子中,自定义长度解码器的构造参数值如下:

  LengthFieldBasedFrameDecoder spliter=new LengthFieldBasedFrameDecoder(1024,0,4,0,4);

第一个参数为1024,表示数据包的最大长度为1024;第二个参数0,表示长度域的偏移量为0,也就是长度域放在了最前面,处于包的起始位置;第三个参数为4,表示长度域占用4个字节;第四个参数为0,表示长度域保存的值,仅仅为有效数据长度,不包含其他域(如长度域)的长度;第五个参数为4,表示最终的取到的目标数据包,抛弃最前面的4个字节数据,长度域的值被抛弃。

为了更加清楚的说明一下上面的规则,调整一下例子中的代码。在写入通道前,在数据包的最前面,加上两个字节,作为包头Head。另外,写入的长度值,包含长度域自身的长度,也就是加上4。 修改后的代码如下:

/**
* create by 尼恩 @ 疯狂创客圈
**/ //... for (int j = 0; j < 100; j++) { ​ ByteBuf buf = Unpooled.buffer(); ​ String s = j+ " is me ,呵呵" ; ​ byte[] bytes = s.getBytes("UTF-8"); ​ buf.writeChar(100); ​ buf.writeInt(bytes.length+4); ​ buf.writeBytes(bytes); } //...

为了完成正确的解码,需要调整自定义长度解码器的构造参数值,调整如下:

  LengthFieldBasedFrameDecoder spliter=new LengthFieldBasedFrameDecoder(1024,2,4,-4,6);

第一、第二、第三个参数比较简单,不再啰嗦。

第四个参数长度域的矫正值为 -4,为什么呢? 它计算的方法是:包长(X+2)- 长度域的值(X) – 长度域偏移(2) – 长度域长(4)= -4 。

这里假定长度域的值为X,那么包长为X+2。因为在这个例子中,长度域的值,已经包括了长度域的长度值。长度域值与整个包长度相比,就少了前面的Header的2个字节。按照公式进行计算,最终的值为 2-2-4 = -4 。

第五个参数丢弃的起始字节数为6,为什么呢? 因为,最终的有效的应用层数据,需要去掉前面的6个字节。其中,包括2个字节的Header,4个字节的长度域长。

写在最后

目前和几个小伙伴一起,组织了一个高并发的实战社群【疯狂创客圈】,完成整个项目的完整的架构和开发实战,欢迎参与。


疯狂创客圈 亿级流量 高并发IM 学习实战

  • Java (Netty) 聊天程序【 亿级流量】实战 开源项目实战

LengthFieldBasedFrameDecoder 秒懂的更多相关文章

  1. 30秒懂SQL中的join(2幅图+30秒)

    废话不多说,直接上图秒懂. t1表的结构与数据如下: t2表的结构与数据如下: inner join select * from t1 inner join t2 on t1.id = t2.id; ...

  2. netty中LengthFieldBasedFrameDecoder的使用

    在org.jboss.netty.handler.codec.frame包中,有LengthFieldBasedFrameDecoder类用来解析带有长度属性的包,只要我们在传输协议中加入包的总长度就 ...

  3. Netty 中 LengthFieldBasedFrameDecoder 构造函数取值备忘

    public LengthFieldBasedFrameDecoder(ByteOrder byteOrder, int maxFrameLength, int lengthFieldOffset, ...

  4. 数学和物理太难?这些 GIF 让你秒懂抽象概念

    把科学带回家,给孩子最好的科学教育 觉得数学和物理很抽象很难懂吗?今天我们来分享一组数学和物理相关的动图,让你秒懂抽象概念. 数学动图 △ 从椭圆的一个焦点射出的光线总会通过另一个焦点. △ 真人版. ...

  5. Netty的ByteToMessageDecoder/LengthFieldBasedFrameDecoder

    是个inbound handler,channelRead方法里面,用一个bytebuf(cumulation)来把下一个数据包和当前这一个拼在一起,以免同一个请求被拆包.然后callDecode,里 ...

  6. 一幅图秒懂LoadAverage(负载)

    转自:http://www.habadog.com/2015/02/27/what-is-load-average/ 一幅图秒懂LoadAverage(负载)   一.什么是Load Average? ...

  7. 【转】netty源码分析之LengthFieldBasedFrameDecoder

    原文:https://www.jianshu.com/p/a0a51fd79f62 拆包的原理 关于拆包原理的上一篇博文 netty源码分析之拆包器的奥秘 中已详细阐述,这里简单总结下:netty的拆 ...

  8. netty之LengthFieldBasedFrameDecoder解码器

    官方api:http://netty.io/4.1/api/io/netty/handler/codec/LengthFieldBasedFrameDecoder.html package com.e ...

  9. 一幅图秒懂LoadAverage(转载)

    转自:http://www.habadog.com/2015/02/27/what-is-load-average/ 一幅图秒懂LoadAverage(负载)   一.什么是Load Average? ...

随机推荐

  1. Timeline简单配置

    Timeline是一个Jquery时间轴插件.效果如图 获取地址:https://github.com/ka215/jquery.timeline 配置 (1)html表头加入 <link re ...

  2. CentOS6.4 安装 codeblocks-12.11

    FROM: http://blog.csdn.net/theegao/article/details/8750239 一.下载 1.   codeblocks-12.11-1.el6.x86_64.t ...

  3. 权重轮询调度算法(WeightedRound-RobinScheduling)-Java实现3

    权重轮询调度算法(WeightedRound-RobinScheduling)-Java实现3 之前两篇相关博文: 权重轮询调度算法(WeightedRound-RobinScheduling)-Ja ...

  4. iOS技巧

    在不使用加急的情况下,可以利用appstore“可以随时修改上架时间和发布国家.价格而无需再次审核”的规则,先提交小国市场快速过审,准备上架销售时再改回中国——如同样是中文版本,你可以先把游戏上到新加 ...

  5. Oracle基础 程序包

    一.程序包 程序包是一种数据库对象,它是对相关PLSQL类型.子程序.游标.异常.变量和常量的封装.程序包包含两部分内容: 1.程序包规范:可以声明类型.变量.常量.异常.游标和子程序. 2.程序包主 ...

  6. 深入解析alloc/retain/release/dealloc实现

    首先通过GNUstep上得源码来叙述各个函数的实现(GNUstep是Cocoa框架的互换框架,二者的行为和实现方式很相似) GNUstep源码中NSObject类的alloc方法: id = obj ...

  7. 51单片机 | 并行I/O口扩展实例(74LS244/74LS373/4071)

    并行I/O口扩展实例 //<51单片机原理及应用(第二版)——基于Keil C与Proteus>第四章例4.4 I/O口不能完全用于输入/输出操作,当需要扩展外部存储器时,P0.P2口用作 ...

  8. JUnit单元测试中的setUpBeforeClass()、tearDownAfterClass()、setUp()、tearDown()方法小结

    编写JUnit单元测试的时候,会用到 setUpBeforeClass().tearDownAfterClass().setUp().tearDown()这四个方法,例如用 eclipse新建一个ju ...

  9. scrollTop clientTop offsetTop scrollHeight clientHeight clientWidth的差别及使用方法

    这几个属性做滚动时会经经常使用到.现总例如以下: 首先定义一个div.样式例如以下: <style> *{ margin:0px; padding:0px;} body{ margin:0 ...

  10. IOS开发——Core Graphics &amp; Core Animation

    好久没写过blog了.首先了解下近期苹果和IOS方面的最新消息. 1.WWDC2014在上个月举行了,与2013年一样.今年WWDC没公布硬件产品和新品(假设你懂cook你就会期待今年秋季公布会.估计 ...