最近在研究web api 2,看了一篇文章,讲解如何提升性能的, 在序列化速度的跑分中,Protobuf一骑绝尘,序列化速度快,性能强,体积小,所以打算了解下这个利器 1:安装篇 谷歌官方没有提供.net的实现,所以在nuget上找了一个移植的 Nuget里搜索Protobuf-net,下载,自动添加到项目中 2:定义数据结构 using ProtoBuf; namespace ConsoleApplication1 { [ProtoContract] class Person { [Proto…

最近在研究web api 2,看了一篇文章,讲解如何提升性能的, 在序列化速度的跑分中,Protobuf一骑绝尘,序列化速度快,性能强,体积小,所以打算了解下这个利器 1:安装篇 谷歌官方没有提供.net的实现,所以在nuget上找了一个移植的 Nuget里搜索Protobuf-net,下载,自动添加到项目中 2:定义数据结构 using ProtoBuf; namespace ConsoleApplication1 { [ProtoContract] class Person { [Proto…

好吧,我又先要贴出跑分图了,出处 Jil是一个面向Json的序列化框架,在Nuget上可以下载到 支持数据类型 值得一提的是,Guid指定带破折号格式(44B2673B-B5CA-477B-A8EA-F7B673F5783E)也支持的哦,SQL SERVER,数据类型uniqueidentifier默认就是使用这种格式的,很方便. 貌似在VS2010上安装不成功,在VS2013上安装成功了,可能有依赖项吧 打开包管理器控制台界面,输入 Install-Package Jil 提示安装成功后,就可…

序列化悍将Protobuf-Net,入门动手实录 最近在研究web api 2,看了一篇文章,讲解如何提升性能的, 在序列化速度的跑分中,Protobuf一骑绝尘,序列化速度快,性能强,体积小,所以打算了解下这个利器 1:安装篇 谷歌官方没有提供.net的实现,所以在nuget上找了一个移植的 Nuget里搜索Protobuf-net,下载,自动添加到项目中 2:定义数据结构 using ProtoBuf; namespace ConsoleApplication1 { [ProtoContra…

Protobuf是google开源的一个项目,用户数据序列化反序列化,google声称google的数据通信都是用该序列化方法.它比xml格式要少的多,甚至比二进制数据格式也小的多.     Protobuf格式协议和xml一样具有平台独立性,可以在不同平台间通信,通信所需资源很少,并可以扩展,可以旧的协议上添加新数据     Protobuf是在java和c++运行的,Protobuf-net当然就是Protobuf在.net环境下的移植. 通过一些网友测试发现,protobuf是目前最快的序…

数据序列化之protobuf 很多时候需要将一些数据打包,就是把这些数据搞在一起,方便处理.最常见的情况就是把需要传输的数据,当然数据不止一条,打包成一个消息,然后发送出去,接收端再以一定的规则接收并恢复这些数据.这称为数据序列化以及反序列化. 可能以前最容易想到的简单方式就是把数据存在一个结构体里面,然后把结构体作为消息发送出去,但是后来呢大家都用的是XML.或者是JSON的数据格式来传输,这样处理数据比较方便. 当然这里介绍的protobuf也是一种数据传输格式,它是google的一个开源项…

最近在做socket通信中用到了关于序列化工具选型的问题,在调研过程中开始趋向于用protobuf,可以省去了编解码的过程.能够实现快速开发,且只需要维护一份协议文件即可. 但是调研过程中发现了protobuf的一些弊端,比如需要生成相应的文件类,和业务绑定太紧密,所以在看了AVRO之后发现它完美解决了这个问题. 下面记录下对这两种序列化工具的入门与测评. 一.protobuf基本操作 protobuf简介: Protocol Buffers (a.k.a., protobuf) are Goo…

除了默认的JSON和XML序列化器外,如果想使用其它格式的(比如二进制)序列化器,也是可以的.比如著名的Protobuf和Msgpack,它们都是二进制的序列化器,特点是速度快,体积小.使用方法如下. 1.定义MediaTypeFormatter,这里以定义MsgPack的formatter为例,主要代码如下. 2.WebApiConfig中注册,代码如下. 3.客户端调用(请求头中指定Accept),在.net端调用使用HttpClient,代码如下图. 附:MessagePackMediaT…

古之立大事者,不惟有超世之才,亦必有坚忍不拔之志 -- 苏轼·<晁错论> 从公司的项目源码中看到了这个东西,觉得挺好用的,写篇博客做下小总结.下面的操作以C++为编程语言,protoc的版本为libprotoc 3.2.0. 一.Protobuf? 1. 是什么? Google Protocol Buffer(简称 Protobuf)是一种轻便高效的结构化数据存储格式,平台无关.语言无关.可扩展,可用于通讯协议和数据存储等领域. 2. 为什么要用? - 平台无关,语言无关,可扩展: - 提供了…

简介 从第一次接触Protobuf到实际使用已经有半年多,刚开始可能被它的名字所唬住,其实就它是一种轻便高效的数据格式,平台无关.语言无关.可扩展,可用于通讯协议和数据存储等领域. 优点 平台无关,语言无关,可扩展: 提供了友好的动态库,使用简单: 解析速度快,比对应的XML快约20-100倍: 序列化数据非常简洁.紧凑,与XML相比,其序列化之后的数据量约为1/3到1/10. 使用详解 1.服务器安装 安装依赖的库:     autoconf automake libtool curl mak…

测试结果 序列化数据对比 bytes字节数对比 具体的数字:   protobuf jackson xstream Serializable hessian2 hessian2压缩 hessian1 序列化(单位ns) 1154 5421  92406  10189 26794 100766 29027 反序列化(单位ns) 1334 8743  117329  64027 37871 188432 37596 bytes 97 311  664  824 374 283 495 protobu…

好像好久都没更博文了,没办法,最近各种倒霉事情,搞到最近真的没什么心情,希望之后能够转运吧. 言归正传,这次我要做的是基于序列化技术的socket文件传输来无聊练一下手. 一.socket文件传输 之前我所做的服务器和客户端的tcp/udp通信都是以字符串流来进行单工的,双工的传输,其实关于文件传输的原理也差不多,我的主要方法是通过文件迭代器遍历文件流,并将其读取转化为字符串流,然后将字符串流从服务器端发送,然后客户端在缓冲区中接收数据流,然后并把它写入文件当中,从而实现文件的传输,在下面程序当…

从公司的项目源码中看到了这个东西,觉得挺好用的,写篇博客做下小总结.下面的操作以C++为编程语言,protoc的版本为libprotoc 3.2.0. 一.Protobuf? 1. 是什么?  Google Protocol Buffer(简称 Protobuf)是一种轻便高效的结构化数据存储格式,平台无关.语言无关.可扩展,可用于通讯协议和数据存储等领域. 2. 为什么要用? - 平台无关,语言无关,可扩展: - 提供了友好的动态库,使用简单: - 解析速度快,比对应的XML快约20-100倍…

1.在.proto文件中定义消息格式 2.使用protobuf编译器 3.使用c++ api来读写消息   0.为何使用protobuf?   1.原始内存数据结构,可以以二进制方式sent/saved.这种方式需要相同的内存布局和字节序. 2.以ad-hoc方式将数据项编码成一个简单字符串----比如,将4个int类型编码成"12:3:-23:67".这种方式简灵活.适用于简单数据. 3.将数据序列化为XML.这种方式很流行,因为xml可读性好,编码解码方便,性能也好.仅仅XML d…

NetworkComms v3版本中,默认使用的是protobuf.net序列化器. 即当您没有指定序列化的时候,系统自动使用默认的protobuf.net序列化器. 当然我们也可以自己指定序列化器 语法如下: SendReceiveOptions aboveOptions = new SendReceiveOptions(DPSManager.GetDataSerializer<ProtobufSerializer>(), null, null);使用protobuf.net 传送的类,需要…

到目前为止,我已经工作快5年了,这5年最大的感受就是,框架什么的并不难,只要知道api,就能用起来,一开始会遇到一点问题,但是天下的框架都大同小异,无非是jar包,配置文件,模板代码,jar包可以使用maven搞定,配置文件和模板代码,就需要相应的api了.到了我们这个年纪,似乎到了某个瓶颈期,如果只是满足于公司的项目,似乎就是在原地踏步,而程序猿的成长,是需要开源项目的.开源项目,大多数人会托管到github上,因为之前公司用的一直是svn,之前也接触过git,但是由于项目紧张或者其他原因,始…

本文首发于个人博客https://kezunlin.me/post/f3c3eb8/,欢迎阅读最新内容! tutorial to use nlohmann json for serializing data with modern cpp Guide include #include <nlohmann/json.hpp> // for convenience using json = nlohmann::json; compile with -std=c++11 CMakeLists.txt…

前言:说到JSON可能大家很熟悉,是目前应用最广泛的一种序列化格式,它使用起来简单方便,而且拥有超高的可读性.但是在越来越多的应用场景里,JSON冗长的缺点导致它并不是一种最优的选择. 一.常用序列化格式介绍 目前JAVA常用的序列化有protobuf,json,xml,Serializable,hessian,kryo.他们的优缺点如下: JSON:不多说了,用途广泛,序列化方式还衍生了阿里的fastjson,美团的MSON,谷歌的GSON等更加优秀的转码工具.优点:使用方便.缺点:数据冗长,…

最近公司需要将以前的协议全都改成ProtoBuf生成的协议,再将结构体打包和解包过程终于到一些问题 ,无法使用Marshal.SizeOf计算结构体大小,最后找了一下ProtoBuf的文档,可以用它自带的序列化和反序列化方法解决问题. 下面分享一下方法吧. /// <summary> /// 将消息序列化为二进制的方法 /// </summary> /// <param name="meg">要序列化的对象</param> /// <…

一.简介 Protocol Buffers是谷歌定义的一种跨语言.跨平台.可扩展的数据传输及存储的协议,因为将字段协议分别放在传输两端,传输数据中只包含数据本身,不需要包含字段说明,所以传输数据量小,解析效率高.一条消息用protobuf序列化后的大小是json的10分之一.类似的序列化框架还有Thrift.avro.thrift和avro都提供rpc服务和序列化,而protocol buffer只是提供序列化功能. 二.安装 安装Google的protoc编译器,这个工具可以把proto文件中…

Google的Protobuf在业界非常流行,很多商业项目选择Protobuf作为编解码框架,Protobuf的优点. (1)在谷歌内部长期使用,产品成熟度高: (2)跨语言,支持多种语言,包括C++.Java和Python: (3)编码后的消息更小,更加有利于存储和传输: (4)编解码的性能非常高: (5)支持不同协议版本的前向兼容: (6)支持定义可选和必选字段. Protobuf的入门 Protobuf是一个灵活.高效.结构化的数据序列化框架,相比于XML等传统的序列化工具,它更小,更快,…

1.Node.Js环境准备 在win8 + vs.net 2012 环境下调试了很长时间没搞定安装编译问题,重装系统测试了2套环境,解决了编译问题: 1)Win8.1 + vs.net 2013 2) ubuntu server 64位 node.js 依赖库安装调试有点小麻烦,差点就放弃了,就以调试经验大概记录下来. 方案1)Win8.1  64位+ vs.net 2013 安装node.js http://nodejs.org/download/ vs.net 2013集成开发环境 http…

下载的是github上的:https://github.com/google/protobuf If you get the source from github, you need to generate the configure script first: $ ./autogen.sh This will download gtest source (which is used for C++ Protocol Buffer unit-tests) to the current direc…

8.1.2    Protobuf编解码开发 Protobuf的类库使用比较简单,下面我们就通过对SubscrjbeReqProto进行编解码来介绍Protobuf的使用. 8-1    Protobuf入门TestsubscrjbeReqProto package lqy7_protobuf_140; import java.util.ArrayList; import java.util.List; import com.google.protobuf.InvalidProtocolBuff…

Google的Protobuf在业界非常流行,很多商业项目选择Protobuf作为编解码框架,这里一起回顾一下Protobuf    的优点.(1)在谷歌内部长期使用,产品成熟度高:(2)跨语言,支持多种语言,包括C十十.java和Python.(3)编码后的消息更小,更加有利于存储和传输:(4)编解码的性能非常高:(5)支持不同协议版本的前向兼容:(6)支辫定义可选和必选字段.本章主要内容包括:1.Protobuf的入门2.开发支持Protobuf的Netty服务端 3.开发支持Protobu…

一 . Protobuf 的入门 Protobuf 是一个灵活,高效,结构化的数据序列化框架, 相比于 XML 等传统的序列化工具,它更小,更快,更灵活,更简单. Protobuf 支持数据结构化一次可以到处使用.甚至跨语言使用.同通过代码生成工具可以自动生成不同语言版本的源代码,甚至可以在使用不同版本的数据结构中进行数据传递,实现数据结构的向前兼容. Google 的 protobuf 在业界非常流行,很多商业项目选择 protobuf 作为编码解码框架,这里我们一起回顾一下 Protobuf…

需求背景 在接收到 protobuf 数据之后,如何自动创建具体的 Protobuf Message 对象,再做反序列化.“自动”的意思主要有两个方面:(1)当程序中新增一个 protobuf Message 类型时,这部分代码不需要修改,不需要自己去注册消息类型,不需要重启进程,只需要提供protobuf文件:(2)当protobuf Message修改后,这部分代码不需要修改,不需要自己去注册消息类型,不需要重启进程只需要提供修改后protobuf文件. 技术介绍 Protobuf的入门可以…

title: Java序列化小结 date: 2017-05-06 20:07:59 tags: 序列化 categories: Java基础 --- Java序列化就是将一个对象转化成一串二进制表示的字节数组,通过保存或传递这些字节数据来带到持久化或通讯的目的.要序列化,对象必须实现java.io.Serializable接口.反序列化则是将这个字节数组再重新构造成对象,需要原始类作为模板,所以序列化的数据并不像class文件那样保存类的完整的结构信息. FileOutPutStream fo…

序列化 (Serialization)是将对象的状态信息转换为可以存储或传输的形式的过程.在序列化期间,对象将其当前状态写入到临时或持久性存储区.以后,可以通过从存储区中读取或反序列化对象的状态,重新创建该对象——百度词条解释. 通俗点的来说,程序运行的时候,会产生很多对象,而对象信息也只是在程序运行的时候才在内存中保持其状态,一旦程序停止,内存释放,对象也就不存在了.怎么能让对象永久的保存下来呢?对象序列化,了解下—— 一   入门 在Java的 I/O 类库中,专门给开发人员提供了两个类用于…

一.什么是ProtoBuf protocolbuffer(以下简称PB)是google 的一种数据交换的格式,它独立于语言,独立于平台.它是一种类似于xml.json等类似作用的交互格式.由于它是一种二进制的格式,比使用 xml 进行数据交换快许多. google 提供了多种语言的实现:java.c#.c++.go 和 python,每一种实现都包含了相应语言的编译器以及库文件.可以把它用于分布式应用之间的数据通信或者异构环境下的数据交换. 作为一种效率和兼容性都很优秀的二进制数据传输格式,可以…