protobuf中的整数,如int32.int64.uint32.uint64.sint32.sint64.bool和enum,采用可变长编码,即varints. 这样做的好处是,可以节省空间.根据整数大小来决定使用多少字节. 下面通过一个具体例子来阐述它的实现原理: 300的二进制表示是100101100.如果用int32变量来存储,需要4个字节:100101100.但显然只需要2个字节即可. 1.每个字节的第一位,叫做msb(most significant bit),用于标识下一个字节是否…

这一系列文章主要是对protocol buffer这种编码格式的使用方式.特点.使用技巧进行说明,并在原生protobuf的基础上进行扩展和优化,使得它能更好地为我们服务. 在上一篇文章中,我们展示了protobuf在java中的基本使用方式.而本文将继续深入探究protobuf的编码原理. 主要分为两个部分 第一部分是结合上一篇文章留下的几个伏笔展示protobuf的使用特性 第二部分是分析protobuf的编码原理,解释特性背后的原因 第一部分,Protobuf使用特性 1.不同类型对象的转…

这一系列文章主要是对protocol buffer这种编码格式的使用方式.特点.使用技巧进行说明,并在原生protobuf的基础上进行扩展和优化,使得它能更好地为我们服务. 在上一篇文章中,我们主要通过一些示例了解了protobuf的使用特性,以及和这些特性相关的基础编码原理. 编码原理只开了个头,所以本文将继续展示protobuf剩余的编码原理 在之前的文章中,我们只是定义了一些非常简单的模型,其中只包含了string.int和一个Name对象,所以我们首先先定义一个更复杂的模型 .proto…

需求背景 在接收到 protobuf 数据之后,如何自动创建具体的 Protobuf Message 对象,再做反序列化.“自动”的意思主要有两个方面:(1)当程序中新增一个 protobuf Message 类型时,这部分代码不需要修改,不需要自己去注册消息类型,不需要重启进程,只需要提供protobuf文件:(2)当protobuf Message修改后,这部分代码不需要修改,不需要自己去注册消息类型,不需要重启进程只需要提供修改后protobuf文件. 技术介绍 Protobuf的入门可以…

erlang抽象码与basho的protobuf(一)使用 erlang抽象码与basho的protobuf(二)代码生成原理之词法与语法分析 erlang抽象码与basho的protobuf(三)代码生成原理之语义分析 erlang抽象码与basho的protobuf(四)代码生成原理之代码生成 erlang抽象码与basho的protobuf(五)执行过程…

本文主要借demo介绍基于Tendermint的区块链应用开发,这个demo很简单,主要包含以下功能: 扔漂流瓶 捞漂流瓶 之后投放者和打捞者可以相互传递[加密]信息 代码已上传至github. Tendermint Tendermint帮我们实现了PBFT,相当于搭了一个共识框架,包含两部分: Tendermint-core:PBFT共识算法实现: Tendermint-abci:定义了应用须实现的接口和调用规则,还实现了与外部通信的socket-server.官方的这部分源码可以看做是Go-…

<Netty Zookeeper Redis 高并发实战> 图书简介 本书为 高并发社群 -- 疯狂创客圈 倾力编著, 高度剖析底层原理,深度解读面试难题 疯狂创客圈 Java 高并发[ 亿级流量聊天室实战]实战系列 [博客园总入口 ] ## 重要的重复3遍: 本书 面试必备 + 面试必备 + 面试必备 <Netty Zookeeper Redis 高并发实战> 勘误 <Netty Zookeeper Redis 高并发实战> 特别声明 购买链接 京东商城<Net…

前言 之前一直忙于移动端日志SDK Trojan的开源工作,已十分稳定地运行在饿了么团队App中,集成了日志加密和解密功能.哎呀,允许我卖个狗皮膏药,不用不知道,用了就知道,从此爱不释手,Trojan其实是一个很好用的膏药,甚至是一剂不可或缺的良药,能帮助我们跟踪在线用户,解决疑难杂症. 闲话少说,进入今天的正题,Protobuf,可能大家对此很陌生,还未接触过,不过不要紧,看完这篇博客,相信你一定有所感触.起初为了节约流量,在我们千里眼后端接口率先使用Protobuf替代Json,支持Java…

ProtoBuf的使用和原理 一.简介 Protobuf是一个灵活的.高效的用于序列化数据的协议.相比较XML和JSON格式,protobuf更小.更快.更便捷.Protobuf是跨语言的,并且自带了一个编译器(protoc),只需要用它进行编译,可以编译成Java.python.C++等代码,然后就可以直接使用,不需要再写其他代码,自带有解析的代码.一条消息数据,用protobuf序列化后的大小是json的10分之一,xml格式的20分之一,是二进制序列化的10分之一. 二.安装 1.下载代码…

参考官网, 序列化原理 底层二进制存储 message Test1 { optional int32 a = 1; } 并设置为a=150,序列化到一个文件中,查看文件,得到下面的二进制: 08 96 01 从底层存储的二进制值看出,Protobuf为什么这么快,节省内存了吧. 有以上的结果是因为 varints 这个特殊的东东.它可以让已个int数据类型的存储根据值的大小而自动改变存储的字节数. varint 中的每个字节,除了最后一个字节,都有最重要的位集--这表示还会有更多的字节.每个字节…