【正文】Protobuf 消息设计

疯狂创客圈 死磕Netty 系列之12 【博客园 总入口

本文说明

本篇是 netty+Protobuf 实战的第二篇,完成一个 基于Netty + Protobuf 实战案例。

本篇简单说明一下,实例中,设计Protobuf 消息的大致原则和思路。

消息的大致类型

网络通信涉及到消息的定义,不管是直接使用二进制格式,还是 xml、json等字符串格式。消息都可以大体的分为3大消息类型:

  • 请求消息

  • 应答消息

  • 命令消息

    一般情况下,每个消息还会包含一个序列号、和一个能够唯一区分消息类型的类型定义。

原则一:使用 enum定义消息类型。

为每个系统都定义一个 HeadType 枚举。包含系统用到的所有消息的枚举类型

enum HeadType
{
Login_Request = 1;//登陆请求
Login_Response = 2;//登录响应
Logout_Request = 3;//退出请求
Logout_Response = 4;
Keepalive_Request = 5;//心跳请求ping;
Keepalive_Response = 6;
Message_Request = 7;//消息请求;
Message_Response = 8;//消息回执;
Message_Notification = 9;//通知消息
}

原则二: 一个 protobuf message 对应一类消息

会为每个具有消息体的消息定义一个对应的protobuf message。

例如Login_Request会有一个对应LoginRequest消息。


/*登录信息*/
// LoginRequest对应的HeadType为Login_Request
// 消息名称去掉下划线,更加符合Java 的类名规范
message LoginRequest{
required string uid = 1; // 用户唯一id
required string deviceId = 2; // 设备ID
required string token = 3; // 用户token
optional uint32 platform = 4; //客户端平台 windows、mac、android、ios、web
optional string app_version = 5; // APP版本号
}

原则三:应答消息需要成功标记和应答序号

对于应答消息,并非总是成功的,因此在应答消息中还会包含另外2个字段。

  • 一个用于描述应答是否成功,一个用于描述失败时的字符串信息。

  • 对于有多个应答的消息来说,可能会包含是否为最后一个应答消息的标识——应答的序号(类似与网络数据包被分包以后,协议要合并时,需要知道分片在包中的具体位置)。

    因此Response看起来是这样:

/*聊天响应*/
message MessageResponse
{
required bool result = 1; //true表示发送成功,false表示发送失败
required uint32 code = 2; //错误码
required string info = 3; //错误描述
required uint32 expose = 4; //错误描述是否提示给用户:1 提示;0 不提示
required bool last_block = 5;
required fixed32 block_index = 6;
}

原则四:编解码从顶层消息开始

最后我会定义一个大消息,把所有的消息类型,全部封装在一起,让后在通信的时候都从顶层消息开始编解码。大消息看起来想下面这样。。

/*顶层消息*/
//顶层消息是一种嵌套消息,嵌套了各种类型消息
//内部的消息类型,全部使用optional字段
//根据消息类型 type的值,最多只有一个有效
message Message
{
required HeadType type = 1; //消息类型
required fixed32 sequence = 2;//消息系列号
fixed32 session_id = 3;
optional LoginRequest loginRequest = 4;
optional LoginResponse loginResponse = 5;
optional MessageRequest messageRequest = 6;
optional MessageResponse messageResponse = 7;
optional MessageNotification notification = 8;
}

原则五:TCP 消息需要进行二进制包装

用于UDP的时候比较简单,因为每个数据包就是一个独立的Message消息,可以直接解码,或者编码后直接发送。

但是如果是使用于TCP的时候,由于涉及到粘包、拆包等处理,而且Message消息里面也没有包含长度相关的字段(不好处理),因此把Message编码后的消息嵌入另外一个二进制消息中。

使用4字节消息长度+Message(二进制数据)+(2字节CRC校验(可选))

其中4字节的内容,只包含Message的长度,不包含自身和CRC的长度。如果需要也可以包含,当要记得通信双方必须一致。

协议接口文件完整 实例

下面是一个 为疯狂创客圈 100W*100级 分布式 IM项目定义 google protobuf 的协议接口文件

//定义protobuf的包名称空间

option java_package = "com.crazymakercircle.chat.common.bean.msg";

// 消息体名称
option java_outer_classname = "ProtoMsg";


enum HeadType
{
LOGIN_REQUEST = 1;//登陆请求
LOGIN_RESPONSE = 2;//登录响应
LOGOUT_REQUEST = 3;//退出请求
LOGOUT_RESPONSE = 4;
KEEPALIVE_REQUEST = 5;//心跳请求PING;
KEEPALIVE_RESPONSE = 6;
MESSAGE_REQUEST = 7;//消息请求;
MESSAGE_RESPONSE = 8;//消息回执;
MESSAGE_NOTIFICATION = 9;//通知消息
}

/*登录信息*/
// LoginRequest对应的HeadType为Login_Request
// 消息名称去掉下划线,更加符合Java 的类名规范
message LoginRequest{
required string uid = 1; // 用户唯一id
required string deviceId = 2; // 设备ID
required string token = 3; // 用户token
optional uint32 platform = 4; //客户端平台 windows、mac、android、ios、web
optional string app_version = 5; // APP版本号
}

//token说明: 账号服务器登录时生成的Token

/*登录响应*/
message LoginResponse{
required bool result = 1; //true 表示成功,false表示失败
required uint32 code = 2; //错误码
required string info = 3; //错误描述
required uint32 expose = 4; //错误描述是否提示给用户:1 提示;0 不提示
required string session_id = 5; //sessionId
}



/*聊天消息*/
message MessageRequest{
uint64 msg_id = 1; //消息id
string from = 2; //发送方uId
string to = 3; //接收方uId
uint64 time = 4; //时间戳(单位:毫秒)
required uint32 msg_type = 5; //消息类型 1:纯文本 2:音频 3:视频 4:地理位置 5:其他
required string session_id = 6; //sessionId
string content = 7; //消息内容
string url = 8; //多媒体地址
string property = 9; //附加属性
string from_nick = 10; //发送者昵称
optional string json = 11; //附加的json串
}

/*聊天响应*/
message MessageResponse
{
required bool result = 1; //true表示发送成功,false表示发送失败
required uint32 code = 2; //错误码
required string info = 3; //错误描述
required uint32 expose = 4; //错误描述是否提示给用户:1 提示;0 不提示
required bool last_block = 5;
required fixed32 block_index = 6;
}

/*通知消息*/
message MessageNotification
{
required uint32 msg_type = 1; //通知类型 1 上线 2 下线 ...
required bytes sender = 2;
required string json = 3;
required string timestamp = 4;
}

/*顶层消息*/
//顶层消息是一种嵌套消息,嵌套了各种类型消息
//内部的消息类型,全部使用optional字段
//根据消息类型 type的值,最多只有一个有效
message Message
{
required HeadType type = 1; //消息类型
required uint64 sequence = 2;//消息系列号
required fixed32 session_id = 3;
optional LoginRequest loginRequest = 4;
optional LoginResponse loginResponse = 5;
optional MessageRequest messageRequest = 6;
optional MessageResponse messageResponse = 7;
optional MessageNotification notification = 8;
}


// sequence 消息系列号
// 主要用于Request和Response,Response的值必须和Request相同,使得发送端可以进行事务匹配处理

参考文章:

我的Protobuf消息设计原则


疯狂创客圈 实战计划
  • Netty 亿级流量 高并发 IM后台 开源项目实战

  • Netty 源码、原理、JAVA NIO 原理

  • Java 面试题 一网打尽

  • 疯狂创客圈 【 博客园 总入口 】


netty + Protobuf (整合二)的更多相关文章

  1. netty+Protobuf (整合一)

    netty+Protobuf 整合实战 疯狂创客圈 死磕Netty 亿级流量架构系列之12 [博客园 总入口 ] 本文说明 本篇是 netty+Protobuf 整合实战的 第一篇,完成一个 基于Ne ...

  2. Netty Reator(二)Scalable IO in Java

    Netty Reator(二)Scalable IO in Java Netty 系列目录 (https://www.cnblogs.com/binarylei/p/10117436.html) Do ...

  3. 转: 基于netty+ protobuf +spring + hibernate + jgroups开发的游戏服务端

    from: http://ybak.iteye.com/blog/1853335 基于netty+ protobuf +spring + hibernate + jgroups开发的游戏服务端 游戏服 ...

  4. Netty入门(二):Channel

    前言 Netty系列索引: 1.Netty入门(一):ByteBuf 2.Netty入门(二):Channel 在Netty框架中,Channel是其中之一的核心概念,是Netty网络通信的主体,由它 ...

  5. Netty 学习(二):服务端与客户端通信

    Netty 学习(二):服务端与客户端通信 作者: Grey 原文地址: 博客园:Netty 学习(二):服务端与客户端通信 CSDN:Netty 学习(二):服务端与客户端通信 说明 Netty 中 ...

  6. Spring - Netty (整合)

      写在前面  ​ 大家好,我是作者尼恩.目前和几个小伙伴一起,组织了一个高并发的实战社群[疯狂创客圈].正在开始 高并发.亿级流程的 IM 聊天程序 学习和实战,此文是:   疯狂创客圈 Java ...

  7. SSM整合(二):Spring4与Mybatis3整合

    上一节测试好了Mybatis3,接下来整合Spring4! 一.添加spring上下文配置 在src/main/resources/目录下的spring新建spring上下文配置文件applicati ...

  8. Spring+Quartz 整合二:调度管理与定时任务分离

    新的应用场景:很多时候,我们常常会遇到需要动态的添加或修改任务,而spring中所提供的定时任务组件却只能够通过修改xml中trigger的配置才能控制定时任务的时间以及任务的启用或停止,这在带给我们 ...

  9. Struts2.3.34+Hibernate 4.x+Spring4.x 整合二部曲之上部曲

    1 导入jar包 可以复制jar包或maven导入,本文最后会给出github地址 2 导入log4j.properties文件 og4j.appender.stdout=org.apache.log ...

随机推荐

  1. DOS命令 bat-call的用法

    call 从批处理程序调用另一个批处理程序 call有几种用法 第一种用法,也就是最常用的一种,调用另一个批处理,在被调用的批处理执行完后在执行call下面的命令.如: @echo off call ...

  2. Atitit.angular.js 使用最佳实践 原理与常见问题解决与列表显示案例 attilax总结

    Atitit.angular.js 使用最佳实践 原理与常见问题解决与列表显示案例 attilax总结 1. 本文范围 1 2. Angular的优点 1 2.1. 双向数据绑定 1 2.2. dsl ...

  3. 图解PCIE原理(从软件角度)

    1  PCIE基本概念 1.1   PCIE拓扑架构图 1.2 PCIE Switch内部结构图 1.3  PCIE协议结构图 2 PCIE枚举原理 2.1 Type0&Type1配置头空间 ...

  4. PHPCMS 学习

    1.碎片管理2.为了升级操作 MY_ thinkphp为大写phpcms里面也是大写 然后继承如果加构造函数要调用一次父类的构造函数,最好在最上面调用 final 不可重写 重写最好调用一次paren ...

  5. c中头文件在cpp文件里引用和.h文件引用的思考

    我们在编敲代码中头文件是常常使用的. 可是头文件是应该包括在.H文件里还是在.cpp文件里.在这个其中有什么样去差别呢. 假如说我们编写了一个a.cpp  .我们将a.cpp文件的变量和函数申明在a. ...

  6. [Egret]长按截屏分享、分享截屏图片、本地存储

    egret 分享有API可以把一个显示对象树渲染成一个位图纹理,我把它赋值给 HTML 的 Image 元素,就实现了图片的显示,在微信中,通过长按图片可以分享出去.当然在其他浏览器可以保存在本地. ...

  7. 什么是BOM

    什么是BOM BOM(byte-order mark),即字节顺序标记,它是插入到以UTF-8.UTF16或UTF-32编码Unicode文件开头的特殊标记,用来识别Unicode文件的编码类型.对于 ...

  8. springmvc-servlet.xml

    <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.sp ...

  9. a5调试

    1 generating rsa key...[    4.452000] mmc0: error -110 whilst initialising SD card[    5.602000] mmc ...

  10. hdu6070 Dirt Ratio 二分+线段树

    /** 题目:hdu6070 Dirt Ratio 链接:http://acm.hdu.edu.cn/showproblem.php?pid=6070 题意:给定n个数,求1.0*x/y最小是多少.x ...