MQTT抓包分析

1. 概述

MQTT（Message Queuing Telemetry Transport，消息队列遥测传输协议），是一种基于发布/订阅（Publish/Subscribe）模式的轻量级通讯协议，该协议构建于TCP/IP协议上，由IBM在1999年发布，目前最新版本为v3.1.1。MQTT最大的优点在于可以以极少的代码和有限的带宽，为远程设备提供实时可靠的消息服务。做为一种低开销、低带宽占用的即时通讯协议，MQTT在物联网、小型设备、移动应用等方面有广泛的应用。众所周知，TCP/IP参考模型可以分为四层：应用层、传输层、网络层、链路层。TCP和UDP位于传输层，应用层常见的协议有HTTP、FTP、SSH等。MQTT协议运行于TCP之上，属于应用层协议，因此只要是支持TCP/IP协议栈的地方，都可以使用MQTT。

2. MQTT客户端

一个使用MQTT协议的应用程序或者设备，它总是建立到服务器的网络连接。客户端可以：
（1）发布其他客户端可能会订阅的信息； 　//发布消息
（2）订阅其它客户端发布的消息； 　 //订阅消息
（3）退订或删除应用程序的消息；　　　　//退订消息
（4）断开与服务器连接。　　　　　　　　//断开，连接服务器

3. MQTT服务器

MQTT服务器以称为“消息代理”（Broker），可以是一个应用程序或一台设备。它是位于消息发布者和订阅者之间，它可以：
（1）接受来自客户的网络连接； 　　　　　　　　//接受客户端连接
（2）接受客户发布的应用信息；　　　　　　　　//接收客户端发布的消息
（3）处理来自客户端的订阅和退订请求；　　　　//处理消息的订阅及退订
（4）向订阅的客户转发应用程序消息。　　　　　//推送消息

4. MQTT消息格式

每条MQTT命令消息的消息头都包含一个固定的报头，有些消息会携带一个可变报文头和一个负荷。消息格式如下：

固定报文头 | 可变报文头 | 负荷

4.1 固定报文头（Fixed Header）

MQTT固定报文头最少有两个字节，第一字节包含消息类型（Message Type）和QoS级别等标志位。第二字节开始是剩余长度字段，该长度是后面的可变报文头加消息负载的总长度，不包括用于编码剩余长度字段本身的字节数，该字段最多允许四个字节。

图4-1固定报头报文结构
剩余长度字段单个字节最大值为二进制0b0111 1111，16进制0x7F。也就是说，单个字节可以描述的最大长度是127字节。为什么不是256字节呢？因为MQTT协议规定，单个字节第八位（最高位）若为1，则表示后续还有字节存在，第八位起“延续位”的作用。
例如，数字64，编码为一个字节，十进制表示为64，十六进制表示为0×40。数字321（65+2*128）编码为两个字节，重要性最低的放在前面，第一个字节为65+128=193（0xC1），第二个字节是2（0x02），表示2×128。
由于MQTT协议最多只允许使用四个字节表示剩余长度（如表1），并且最后一字节最大值只能是0x7F不能是0xFF，所以能发送的最大消息长度是256MB，而不是512MB。

图4-2数据包类型

图4-3数据包类型标识位

4.2 可变报文头（Variable Header）

可变报文头主要包含协议名、协议版本、连接标志（Connect Flags）、心跳间隔时间（Keep Alive timer）、连接返回码（Connect Return Code）、主题名（Topic Name）等，后面会针对主要部分进行讲解。

图4-4可变报头结构

4.2.1 消息质量（QoS）

MQTT消息质量有三个等级，QoS 0，QoS 1和 QoS 2。
QoS 0：最多分发一次。消息的传递完全依赖底层的TCP/IP网络，协议里没有定义应答和重试，消息要么只会到达服务端一次，要么根本没有到达。
QoS 1：至少分发一次。服务器的消息接收由PUBACK消息进行确认，如果通信链路或发送设备异常，或者指定时间内没有收到确认消息，发送端会重发这条在消息头中设置了DUP位的消息。
QoS 2：只分发一次。这是最高级别的消息传递，消息丢失和重复都是不可接受的，使用这个服务质量等级会有额外的开销。

4.2.2 遗愿标志（Will Flag）

在可变报文头的连接标志位字段（Connect Flags）里有三个Will标志位：Will Flag、Will QoS和Will Retain Flag，这些Will字段用于监控客户端与服务器之间的连接状况。如果设置了Will Flag，就必须设置Will QoS和Will Retain标志位，消息主体中也必须有Will Topic和Will Message字段。
那遗愿消息是怎么回事呢？服务器与客户端通信时，当遇到异常或客户端心跳超时的情况，MQTT服务器会替客户端发布一个Will消息。当然如果服务器收到来自客户端的DISCONNECT消息，则不会触发Will消息的发送。
因此，Will字段可以应用于设备掉线后需要通知用户的场景。

4.2.3 连接保活心跳机制（Keep Alive Timer）

MQTT客户端可以设置一个心跳间隔时间（Keep Alive Timer），表示在每个心跳间隔时间内发送一条消息。如果在这个时间周期内，没有业务数据相关的消息，客户端会发一个PINGREQ消息，相应的，服务器会返回一个PINGRESP消息进行确认。如果服务器在一个半（1.5）心跳间隔时间周期内没有收到来自客户端的消息，就会断开与客户端的连接。心跳间隔时间最大值大约可以设置为18个小时，0值意味着客户端不断开

4.3 有效负荷（Payload）

Payload直译为负荷，可能让人摸不着头脑，实际上可以理解为消息主体（body）。

图4-5消息结构
当MQTT发送的消息类型是CONNECT（连接）、PUBLISH（发布）、SUBSCRIBE（订阅）、SUBACK（订阅确认）、UNSUBSCRIBE（取消订阅）时，则会带有负荷。
（1）CONNECT，消息体内容主要是：客户端的ClientID、订阅的Topic、Message以及用户名和密码。
（2）SUBSCRIBE，消息体内容是一系列的要订阅的主题以及QoS。
（3）SUBACK，消息体内容是服务器对于SUBSCRIBE所申请的主题及QoS进行确认和回复。
（4）UNSUBSCRIBE，消息体内容是要订阅的主题。
（5）PUBLISH，消息体内容是相关主题的数据。

5. MQTT控制报文

介绍MQTT协议的报文组成并通过wireshark抓取报文包分析报文内容

5.1 连接服务端(CONNECT)

Connect报文在MQTT客户端连接服务器时发出，报文由三部分组成，下面将分别介绍

5.1.1 固定报头(fixed header)

图5-1 CONNECT固定报头报文
Connect名称的值为1，低四位保留，剩余长度保存可变报头(10字节)加上有效载荷的长度。

5.1.2 可变报头(variable header)

Connect报文的可变报头包含协议名，协议等级，连接标志和保持连接

图5-2 CONNECT可变报头报文
报文协议名之前有两个字节的报文标识符，唯一标识这条报文。

连接标志包含用户名标志(username flag)、密码标志(password flag)、遗嘱标志(will flag)、遗嘱服务指令(will Qos)、遗嘱保留标志(will retain)、清除会话标志(clean session)、保留位(reserved)。
用户名标志(username flag)：若用户名标志被置为1，有效载荷中必须包含用户名字段。
密码标志(password flag)：若密码标志被置为1，有效载荷中必须包含密码字段，当用户标志被置为0时，密码标志必须被置0.。
遗嘱标志(will flag)：若遗嘱标志被置1，遗嘱服务指令(will Qos)与遗嘱保留标志(will retain)会被服务器用到，遗嘱消息中必须包含will topic和will message。
遗嘱服务指令(will Qos)：如果遗嘱标志被设置为0，遗嘱QoS也必须设置为0(0x00)，如果遗嘱标志被设置为1，遗嘱QoS的值可以等于0(0x00)，1(0x01)，2(0x02)。它的值不能等 于3。
遗嘱保留标志(will retain)：若遗嘱保留标志位被置位，服务器将保留遗嘱消息(保留发布)，当客户端异常断开连接时将遗嘱发给订阅遗嘱主题的客户。
清除会话标志(clean session)：标志被设置为1，客户端和服务端必须丢弃之前的任何会话并开始一个新的会话(之前的订阅与发布消息被删除)，若标志为0，恢复与服务器会话连接，若没有连接 新建一个会话连接(不删除之前与客户端的会话信息并保存断开本次会话之后的Qos1与Qos2消息)。
保留位(reserved)：如果不为0必须断开客 户端连接。

报文最后两字节为发送心跳包的间隔时间，当客户端没有数据发给服务器时，须发送心跳包(pingreq)到服务器，保证连接不断开。

5.1.3 有效载荷(Payload)

CONNECT报文的有效载荷（payload）包含一个或多个以长度为前缀的字段，可变报头中的 标志决定是否包含这些字段。如果包含的话，必须按这个顺序出现：客户端标识符，遗嘱主题，遗嘱消息，用户名，密码。
客户端标识符(client identifier)：服务器通过识别客户标识符，确定客户端，识别两者间的MQTT会话相关状态，服务器允许客户端提供一个零字节的标识符，但clean session必须置1。

图5-3 CONNECT消息报文

5.2连接请求确认(CONNACK)

Connack为服务器确认客户端连上服务给出的回应。

5.2.1 固定报头(fixed header)

图5-4 CONNACK固定报头报文

5.2.2 可变报头(variable header)

图5-5 CONNACK可变报头报文

第一字节1~7位保留，第0位是当前会话标志(session present),若清除会话标志被置1，该位为0，若清除会话标志为0且服务器没有与客户端会话保存，该位置0，有保存置1
第二字节保存连接返回码，若连接成功返回0。

图5-6 连接返回码

图5-7 CONNECT响应报文

5.3发布消息(PUBLISH)

发布消息可由客户端或服务器发出，被消息订阅者接收。

5.3.1 固定报头(fixed header)

图5-8 PUBLISH固定报头报文
固定报头第一字节的低四位分别保存重发标志(DUP)，服务质量(Qos)，保留标志(RETAIN)。
重发标志(DUP)：当该位被置1，表示该条报文为重发报文，客户端或服务端请求重发一个PUBLISH报文时，必须将DUP标志设置为1。对于QoS 0的消息，DUP标志必须设置为0。
服务质量(Qos)：表示发送质量，取值有00 01 10。
保留标志(RETAIN)：若该位被置1，表示服务器必须保存其应用消息和质量等级，若为0，表示该消息不须保存，如果服务端收到一条保留（RETAIN）标志为1的QoS 0消息，它必须丢弃之前为那个主题保留的任何消息。它应该将这个新的QoS0消息当作那个主题的新保留消息，但是任何时候都可以选择丢弃它，保留标志为1且有效载荷为零字节的PUBLISH报文会被服务端当作正常消息处理，它会被发送给订阅主题匹配的客户端。此外，同一个主题下任何现存的保留消息必须被移除，因此这个主题之后的任何订阅者都不会收到一个保留消息。

5.3.2 可变报头(variable header)

可变报头按顺序包含主题名和报文标识符。

5.3.3 有效载荷(Payload)

若Qos为0，无响应，若Qos为1，返回PUBACK报文，若Qos为2，返回PUBREC报文。

图5-9 publish消息报文

5.4发布确认(PUBACK)

由服务器或客户端确认已接收到pub消息

5.4.1 固定报头(fixed header)

图5-10 puback固定报头报文

5.4.2 可变报头(variable header)

只有两字节的报文标识(报文标识为pub报文标识)

图5-11 puback消息报文

5.5发布收到 PUBREC（QoS 2，第一步）

5.5.1 固定报头(fixed header)

图5-12 pubrec固定报头报文

5.5.2 可变报头(variable header)

只有两字节的报文标识(报文标识为pub报文标识)

图5-13 pubrec消息报文

5.6发布释放 PUBREL（QoS 2，第二步）

5.6.1 固定报头(fixed header)

图5-14 pubrel固定报头报文

5.6.2 可变报头(variable header)

只有两字节的报文标识(报文标识为pub报文标识)

图5-15 pubrel消息报文

5.7发布完成 PUBCOMP（QoS 2，第三步）

5.7.1 固定报头(fixed header)

图5-16 pubcomp固定报头报文

5.7.2 可变报头(variable header)

只有两字节的报文标识(报文标识为pub报文标识)

图5-17 pubcomp消息报文

5.8订阅主题(SUBSCRIBE)

客户端通过订阅消息的方式来接收服务端下发的消息

5.8.1 固定报头(fixed header)

SUBSCRIBE控制固定报头的第3,2,1,0位是保留位，必须分别设置为0,0,1,0。服务端必须将其它的任何值都当做是不合法的并关闭网络连接

图5-18 subscribe固定报头报文

5.8.2 可变报头(variable header)

只有两字节的报文标识

5.8.3 有效载荷(Payload)

图5-19 subscribe有效载体报文
消息载体包含若干主题过滤器和服务质量等级
PUB时指定的qos是服务器肯定按此规则接收，但是最终订阅者不一定。
SUB时指定的qos表示订阅者可以接收的最高消息等级，也就是可能收到更低等级的消息

图5-20 subscribe消息报文

5.9订阅确认(SUBACK)

SUBACK报文包含一个返回码清单，它们指定了SUBSCRIBE请求的每个订阅被授予的最大QoS等级。

5.9.1 固定报头(fixed header)

图5-21 suback固定报头报文

5.9.2 可变报头(variable header)

只有两字节的报文标识

5.9.3 有效载荷(Payload)

图5-22 suback有效载体报文
允许的返回码为0x00-最大Qos0，0x01-最大Qos1，0x02-最大Qos2,0x80-失败

图5-23 suback消息报文

5.10取消订阅 (UNSUBSCRIBE)

5.10.1 固定报头(fixed header)

图5-24 unsubscribe固定报头报文

5.10.2 可变报头(variable header)

只有两字节的报文标识

5.10.3 有效载荷(Payload)

包含需要取消订阅的主题过滤器的列表.

图5-25 unsubscribe消息报文

5.11取消订阅确认 (UNSUBACK)

5.11.1 固定报头(fixed header)

图5-26 unsuback固定报头报文

5.11.2 可变报头(variable header)

只有两字节的报文标识(报文标识为unsub报文标识)

图5-27 unsuback消息报文

5.12心跳请求 (PINGREQ)

客户端发送PINGREQ报文给服务端的。用于：
1.在没有任何其它控制报文从客户端发给服务的时，告知服务端客户端还活着。
2.请求服务端发送 响应确认它还活着。
3.使用网络以确认网络连接没有断开

5.12.1 固定报头(fixed header)

图5-28 pingreq固定报头报文

图5-29 pingreq消息报文

5.13心跳响应 (PINGRESP)

5.13.1 固定报头(fixed header)

图5-30 pingresp固定报头报文

图5-31 pingresp消息报文

5.14断开连接 (DISCONNECT)

5.14.1 固定报头(fixed header)

图5-32 disconnect固定报头报文

图5-33 disconnect消息报文

抓包注意：用标准不加密MQTT能抓到便于查看的报文，加密报文解析时不便于理解

创作不易，白嫖不好，各位的支持和认可，就是我创作的最大动力，我们下篇文章见！

清风 | 文 【原创】

如果本篇博客有任何错误，请批评指教，不胜感激 ！