转: Protobuf 的 proto3 与 proto2 的区别

Protobuf 的 proto3 与 proto2 的区别 On 2015-07-17 19:16:00 By Soli Protobuf 的 proto3 与 proto2 的区别这是一篇学习笔记.在粗略的看了 Protobuf 的文档中关于 proto2 和 proto3 的说明后,记录下了几点 proto3 区别于 proto2 的地方. 总的来说,proto3 比 proto2 支持更多语言但更简洁.去掉了一些复杂的语法和特性,更强调约定而弱化语法.如果是首次使用 Prot…

使用protobuf （proto3, C++和go语言）

在这里,我先讲述C++使用protobuf,之后,会补充使用go语言使用protobuf. 使用protobuf需要有如下步骤: 在.proto文件中定义消息(message)格式. 使用protobuf的编译器编译.proto文件成为相应的语言代码. 使用对应语言的protobuf API读写消息. 在这里,我直接使用了官方的示例,之后打算使用grpc简单转写这个示例.官方示例实现了一个称为addressbook的功能,具体包括两部分,第一部分是向addressbook中添加个人信息,第二部分…

hbase协处理器编码实例

Observer协处理器通常在一个特定的事件(诸如Get或Put)之前或之后发生,相当于RDBMS中的触发器.Endpoint协处理器则类似于RDBMS中的存储过程,因为它可以让你在RegionServer上对数据执行自定义计算,而不是在客户端上执行计算. 本文是以上两者的简单实例,使用的环境:环境 jdk1.8 hadoop2.6.5 hbase1.2.4. 1.Endpoint实例 1> 编写适用于protobuf的proto文件,如下,尽量不要带注释,因为编译时可能出现乱码 option…

protobuf入门教程

1.简介和安装 2.消息类型 3.proto3 与 proto2 的区别 4.常用序列化/反序列化接口 5.repeated限定修饰符 6.枚举(enum).包(package) 7.导入定义(import) 8.protobuf免费教学视频…

google protobuf序列化原理解析（PHP示例）

一.简介 Protocol Buffers是谷歌定义的一种跨语言.跨平台.可扩展的数据传输及存储的协议,因为将字段协议分别放在传输两端,传输数据中只包含数据本身,不需要包含字段说明,所以传输数据量小,解析效率高.一条消息用protobuf序列化后的大小是json的10分之一.类似的序列化框架还有Thrift.avro.thrift和avro都提供rpc服务和序列化,而protocol buffer只是提供序列化功能. 二.安装安装Google的protoc编译器,这个工具可以把proto文件中…

Protobuf 小试牛刀

本文以PHP为例. 环境: CentOS 6.8 proto 3.8 PHP 7.1.12 PHP protobuf扩展 3.8.0 go1.12.5 linux/amd64 本文示例仓库地址: https://github.com/52fhy/protobuf-sample 是什么 Protobuf是一种平台无关.语言无关.可扩展且轻便高效的序列化数据结构的协议,可以用于网络通信和数据存储. 官方文档:https://github.com/protocolbuffers/protobuf 作为…

Protobuf协议应用干货

Protobuf应用广泛,尤其作为网络通讯协议最为普遍.本文将详细描述几个让人眼前一亮的protobuf协议设计,对准备应用或已经应用protobuf的开发者会有所启发,甚至可以直接拿过去用. 这里描述的协议设计被用于生产环境的即时通讯.埋点数据采集.消息推送.redis和mysql数据代理. Bwar从2013年开始应用protobuf,2014年设计了用于mysql数据代理的protobuf协议,2015年设计了用于即时通讯的protobuf协议.高性能C++ IoC网络框架Nebula…

深入理解 ProtoBuf 原理与工程实践（概述）

ProtoBuf 作为一种跨平台.语言无关.可扩展的序列化结构数据的方法,已广泛应用于网络数据交换及存储.随着互联网的发展,系统的异构性会愈发突出,跨语言的需求会愈加明显,同时 gRPC 也大有取代Restful之势,而 ProtoBuf 作为g RPC 跨语言.高性能的法宝,我们技术人有必要深入理解 ProtoBuf 原理,为以后的技术更新和选型打下基础. 我将过去的学习过程以及实践经验,总结成系列文章,与大家一起探讨学习,希望大家能有所收获,当然其中有不正确的地方也欢迎大家批评指正. 本系…

ProtoBuf 与 gRPC

用 Protobuf 很久了,但是一直觉得很简单,所以就没有做一个总结,今天想尝试一下 gRPC,顺带就一起总结一下.ProtoBuf 是个老同志了,应该是 2010 的时候发布的,然后被广泛使用,目前在市面上应该和 Facebook 的 thrift 应该是不相上下,无论是性能上,还是用户的支持度上. What's ProtoBuf ProtoBuf 是一种数据表达方式,根据 G 家自己的描述,应该叫做数据交换格式,注意这里使用的是交换字眼,也就是说着重于在数据的传输上,有别于 TOML…

golang 使用 protobuf 的教程

1.下载protobuf的编译器protoc 地址: https://github.com/google/protobuf/releases window: 下载: protoc-3.3.0-win32.zip 解压,把bin目录下的protoc.exe复制到GOPATH/bin下,GOPATH/bin加入环境变量. 当然也可放在其他目录,需加入环境变量,能让系统找到protoc.exelinux: 下载:protoc-3.3.0-linux-x86_64.zip 或 p…

Go语言中的数据格式（json、xml 、msgpack、protobuf）

在分布式的系统中,因为涉及到数据的传输,所以一定会进行数据的交换,此时就要定义数据交换的格式,例如二进制.Json.Xml等等.本篇文章就是总结一下常用的几种数据格式. 一.Json格式如果想使用Json数据格式,可以借助于encoding/json这个包. 利用json包里的 json.Marshal(xxx) 和 json.Unmarshal(data, &xxx) 进行序列化和反序列化. 下面举个例子: package main import ( "encoding/json&q…

Language Guide (proto3) | proto3 语言指南（开篇）

前言近日在学习gRPC框架的相关知识时接触到Protobuf(protocol-buffers,协议缓冲区),proto3等知识.网上很多文章/帖子经常把gRPC与proto3放在一起,为避免初学者产生混淆,这里先简单介绍一下gRPC.Protobuf.proto3三者以及他们之间的关系: gRPC:一个高性能.开源的通用RPC框架,它可以使用Protobuf定义服务 Protobuf:协议缓冲区是一种与语言无关.与平台无关的可扩展机制,用于序列化结构化的数据(参考JSON) proto3:p…

C++ Protobuf

Protobuf protobuf (protocol buffer) 是谷歌内部的混合语言数据标准.通过将结构化的数据进行序列化(串行化),用于通讯协议.数据存储等领域的语言无关.平台无关.可扩展的序列化结构数据格式. 序列化: 将结构数据或者对象转换成能够用于存储和传输的格式. 反序列化: 在其他的计算环境中,将序列化后的数据还原为数据结构和对象下载安装 sudo apt install autoconf automake libtool curl make g++ unzip https…

gRPC的简单使用

目录前言 gRPC的简单介绍基本用法服务的定义服务端代码编写客户端代码编写运行效果服务治理(注册与发现) .NET Core 2.x 和 .NET Core 3.0的细微区别扩展阅读前言八月初的时候,在公司内部做了一个主题为<gRPC的简单使用>的分享,其实就是和小伙伴们扯扯淡,现在抽空回忆一下,也算是一个小小的总结吧. 现在市面上耳熟能详的RPC框架也很多,下面列举几个遇到比较多的. 谷歌的gRPC 推特的Thrift 阿里的Dubbo .... 它们都是支持多语言的,相…

go语言之行--文件操作、命令行参数、序列化与反序列化详解

一.简介文件操作对于我们来说也是非常常用的,在python中使用open函数来对文件进行操作,而在go语言中我们使用os.File对文件进行操作. 二.终端读写操作终端句柄常量 os.Stdin: 标准输入 os.Stdout: 标准输出 os.Stderr: 标准错误输出读写示例: package main import ( "fmt" "os" ) var( username,password string ) func main() { fmt.Prin…

【新手笔记】golang中使用protocol buffers 3

主要参考了这篇帖子:https://segmentfault.com/a/1190000009277748 1.下载windows版本的PB https://github.com/protocolbuffers/protobuf/releases/download/v3.11.4/protoc-3.11.4-win64.zip 配置好环境变量PATH 2.下载golang中对应的库 go get github.com/golang/protobuf/proto go get github.com…

protocol 协议语言介绍

Protocol Buffer是Google提供的一种数据序列化协议,是一种轻便高效的结构化数据存储格式,可以用于结构化数据序列化,很适合做数据存储或 RPC 数据交换格式.它可用于通讯协议.数据存储等领域的语言无关.平台无关.可扩展的序列化结构数据格式. 指定版本 protocol 语言文件后面名为.proto. 文件第一行指定版本.必须在文件首行指定,之前不能有任何空行和注释.可以不指定,默认为proto2. syntax = "proto3"; 定义Message 以messag…

Java RPC 分布式框架性能大比拼，Dubbo排老几？

来源:http://985.so/aXe2 Dubbo 是阿里巴巴公司开源的一个Java高性能优秀的服务框架,使得应用可通过高性能的 RPC 实现服务的输出和输入功能,可以和 Spring框架无缝集成. 不过,略有遗憾的是,据说在淘宝内部,dubbo由于跟淘宝另一个类似的框架HSF(非开源)有竞争关系,导致dubbo团队已经解散,反到是当当网的扩展版本仍在持续发展,墙内开花墙外香. 参见: http://www.oschina.net/news/55059/druid-1-0-9 中的评论其它…

RPC 框架性能大比拼

Dubbo 是阿里巴巴公司开源的一个Java高性能优秀的服务框架,使得应用可通过高性能的 RPC 实现服务的输出和输入功能,可以和 Spring框架无缝集成. Motan 是新浪微博开源的一个Java 框架.它诞生的比较晚,起于2013年,2016年5月开源.Motan 在微博平台中已经广泛应用,每天为数百个服务完成近千亿次的调用. rpcx 是Go语言生态圈的Dubbo, 比Dubbo更轻量,实现了Dubbo的许多特性,借助于Go语言优秀的并发特性和简洁语法,可以使用较少的代码实现分布式的RP…

最佳开发工具大全，GitHub Star 6.2k+

一位曾经的谷歌工程师,花费两年时间,辛苦整理了一份清单.本文转自量子位,作者晓查.栗子.方驭洋,如有侵,可删! 这个名为 "xg2xg" 的清单,原本是这位前谷歌工程师(ex-Googler),为所有离职的谷歌工程师写的一份 "厂外" 生存指南. 但实际上,这个大全实打实地也成为了一份最佳开发工具大全. 所有的程序员,都能受益于此. https://github.com/jhuangtw-dev/xg2xg 美国网友对这个大全给予了很高的评价:这份清单中列出的开源软…

Protobuf 语言指南(proto3)

Protobuf 语言指南(proto3) Protocol Buffer是Google的语言中立的,平台中立的,可扩展机制的,用于序列化结构化数据 - 对比XML,但更小,更快,更简单.您可以定义数据的结构化,然后可以使用特殊生成的源代码轻松地在各种数据流中使用各种语言编写和读取结构化数据. 定义消息类型先来看一个非常简单的例子.假设你想定义一个“搜索请求”的消息格式,每一个请求含有一个查询字符串.你感兴趣的查询结果所在的页数,以及每一页多少条查询结果.可以采用如下的方式来定义消息类型的.p…

Unrecognized syntax identifier "proto3". This parser only recognizes "proto2". ”问题解决方法

编译cartographer时遇到Unrecognized syntax identifier “proto3”. This parser only recognizes “proto2”.排查:使用 protoc --version 指令查看protobuf的版本,若版本为3.0.0以下,则需要到git上下载最新版protobuf,编译安装就好.若显示protobuf版本为3.0.0以上,仍然报这个错误,则可能是同时安装了proto2,编译器优先找了/usr/bin/protoc的版本, 新安…

Golang里面使用protobuf(proto3)

参考文章:https://developers.google.com/protocol-buffers/docs/gotutorial 1.执行指令: go envgo get github.com/golang/protobuf/protoc-gen-go 如果是windows:会下载protoc-gen-go.exe到$GOPATH/bin下,把它拷贝到$PATH,它只是protobuf3的golang插件,还不是真正的编译器如果是linux:会下载protoc-gen-go到$GOPATH…

protobuf和protostuff的区别

在我们的开发过程中,序列化是经常需要处理的问题,比如在做分布式访问数据时,或者是在做redis缓存存储数据时,如果我们涉及的知识面不够广的话,可能会简单的使用JDK的序列化,也即在需要序列化的类上implements Serializable接口去实现序列化,我想说的是这种方式在小系统中尚且可以用一用,如果是并发很大的系统会受到严重影响,这是由于JDK自带的序列化效率很低,不论是时间上还是空间上.我们经常使用的序列化方式还有XML和Json,说实在的我更多的是使用Json,我觉得它很方便很友好,…

安装cartographer遇到Unrecognized syntax identifier "proto3". This parser only recognizes "proto2"问题

https://stackoverflow.com/questions/38605734/mac-cannot-find-eigen3 https://blog.csdn.net/qq_42145185/article/details/80955894 https://blog.csdn.net/qq_35508344/article/details/80485973 https://github.com/eigenteam/eigen-git-mirror/releases?after=3.2…

Protobuf使用（一）

Protobuf使用(一) 前言: 最近由于接手一个支付的项目,他们那边的网络请求和数据解析都与我平常接触的项目不同,数据请求由于保密暂时不能说,但是数据解析用的是Protobuf,于是我就顺便看了下Protobuf一些安装.使用的一些的方法,有一些简单的使用新的经验总结,希望能够帮助到大家,不多说,上正文: Protobuf是什么: 本文简单介绍一下Protobuf是什么,它的优缺点,还有如何通过命令生成一个java文件,本次主要是介绍版本2.6.1,Proto2,它还有Pro…

protobuf(quickStart)

1.简介 Protocol Buffers是Google开发一种数据描述语言,能够将数据进行序列化,可用于数据存储.通信协议等方面. 可以理解成更快.更简单.更小的JSON或者XML,区别在于Protocol Buffers是二进制格式,而JSON和XML是文本格式. 相对于XML,Protocol Buffers有如下几个优点: 1.简洁 2.体积小,消息大小只有XML的1/10到1/3. 3.速度快,解析速度比XML快20~100倍. 4.使用Protocol Buffers的编译器,可以生…