Wodsoft Protobuf Wrapper

内容

关于

这是一个可以帮助你不需要.proto文件就能够使用Protobuf序列化的一个库。

通常.proto文件会创建继承IMessage接口的模型,Protobuf使用这些模型来进行序列化。

有时候我们已经在自己的.NET项目里创建了一些模型,但我们需要使用Protobuf对这些模型进行序列化。

这时候这个库就能帮助你使用Protobuf对已存在的模型进行序列化。

Github地址:Wodsoft.Protobuf.Wrapper

需求

Wodsoft.Protobuf.Wrapper需要NETStandard 2.0或以上。

这个库需要工作在允许动态代码编译的平台。所以IOS不支持

安装

在NuGet上获取Wodsoft.Protobuf.Wrapper.

dotnet add package Wodsoft.Protobuf.Wrapper

用法

序列化

可以使用Wodsoft.Protobuf.Message类中的静态方法Serialize

你需要一个System.IO.Stream来存储序列化后的数据。

YourModel model = new ();
MemoryStream stream = new MemoryStream();
Message.Serialize(stream, model);

这里也有一个重载方法。

你可以传递一个Google.Protobuf.CodedInputStream来替代System.IO.Stream

YourModel model = new ();
CodedInputStream input = ...;
Message.Serialize(input, model);

或者你想直接拿到序列化后的字节数组。

YourModel model = new ();
var bytes = Message.SerializeToBytes(model);

反序列化

你可以使用Wodsoft.Protobuf.Message类中的静态方法Deserialize

你需要传递包含需要反序列化数据的System.IO.Stream

它将返回你的泛型对象T

Stream stream = ...;
YourType model = Message.Deserialize<YourType>(stream);

这里也有一个重载方法。

你可以传递一个Google.Protobuf.CodedOutputStream来替代System.IO.Stream

CodedOutputStream output = ...;
YourType model = Message.Deserialize<YourType>(output);

或者你想直接从字节数组进行反序列化。

YourType model = Message.DeserializeFromBytes<YourType>(bytes);

字段定义

IMessageFieldProvider.GetFields(Type type)会返回从对象映射而来的消息字段。

默认实现是GeneralMessageFieldProvider.Intance类。

它只会映射可读写的属性到消息字段。

你可以创建自己的IMessageFieldProvider去映射消息字段。

然后通过设置静态属性Message<T>.FieldProvider为自定义的IMessageFieldProvider

你需要为每个需要自定义消息字段的类型设置IMessageFieldProvider

字段排序

给属性添加System.Runtime.Serialization.DataMemberAttribute特性然后设置Order属性。

不然将根据属性名称进行排序。

如果有任何一个属性使用了DataMemberAttribute特性,将只会序列化拥有DataMemberAttribute特性的属性。

如果全部没有使用DataMemberAttribute特性,服务如果因为部署问题使用了不同版本的模型,反序列化时可能因为字段排序问题存在错误。

非空构造函数

通过调用静态方法MessageBuilder.SetTypeInitializer<T>(Func<T> initializer)来设置对象初始化委托。

获取Protobuf包装器

我们可以直接转换模型对象为Message<>

SimplyModel model;
Message<SimplyModel> message = model;

然后这个message可以直接被Protobuf序列化。

高级

支持的属性类型与Protobuf类型的关系

C#类型 Protobuf类型 消息结构
bool(?) bool Varint
sbyte(?) int32 Varint
byte(?) int32 Varint
short(?) int32 Varint
ushort(?) int32 Varint
int(?) int32 Varint
long(?) int64 Varint
uint(?) uint32 Varint
ulong(?) uint64 Varint
float(?) float Varint
double(?) double Varint
string string Length-delimited
byte[] ByteString Length-delimited
Guid(?) ByteString Length-delimited
DateTime(?) google.protobuf.Timestamp Length-delimited
DateTimeOffset(?) google.protobuf.Timestamp Length-delimited
TimeSpan(?) google.protobuf.Duration Length-delimited
IMessage Length-delimited
T[] RepeatedField<T> Length-delimited
ICollection<T> RepeatedField<T> Length-delimited
Collection<T> RepeatedField<T> Length-delimited
IList<T> RepeatedField<T> Length-delimited
List<T> RepeatedField<T> Length-delimited
IDictionary<TKey, TValue> MapField<TKey, TValue> Length-delimited
Dictionary<TKey, TValue> MapField<TKey, TValue> Length-delimited
  • (?) 意思是可以为Nullable<>可空类型。
  • 可以直接使用继承了Google.Protobuf.IMessage的Protobuf对象作为属性类型。
  • 所有RepeatedFieldMapField对象不能包含null值。
  • 支持bytesbyteshortushort作为属性类型。

    它们将作为int类型进行序列化。

    如果从其它第三方来源数据进行反序列化,int可能会丢失数据。

如何工作

首先,Protobuf通过Google.Protobuf.IMessageGoogle.Protobuf.IBufferMessage接口进行序列化工作。

我们定义了一个抽象类Wodsoft.Protobuf.Message

然后定义抽象保护方法ReadWriteCalculateSize

显式实现这些接口并调用这些方法。

然后定义泛型抽象类Wodsoft.Protobuf.Message<T>

这里有一个属性可以直接获取到原始类型值。然后我们实现了一些隐式转换操作。

public T Source { get; }

最后,为需要序列化的类型动态创建继承了Message<T>的类。

通过Emit动态创建代码实现ReadWriteCalculateSize方法。

性能

  • 建议使用 RepeatedField<>IList<>ICollection<>作为集合属性的类型。

    使用RepeatedField<>会获得最佳性能(因为不需要额外类型转换)。
  • 使用IList<>ICollection<>在序列化时会转换为RepeatedField<>
  • 使用List<>Collection<>在序列化时会转换为RepeatedField<>

    并且在反序列化时会转换回List<>Collection<>(上一个会直接返回RepeatedField<>)。
  • 推荐使用 MapField<,>IDictionary<,>作为字典属性的类型。

    使用MapField<,>会获得最佳性能
  • 使用IDictionary<,>在序列化时会转换为MapField<,>
  • 使用Dictionary<,>在序列化时会转换为MapField<,>

    并且在反序列化时会转换回Dictionary<,>(上一个会直接返回MapField<,>)。

许可证

库使用MIT许可证。

.NET Protobuf包装器库的更多相关文章

  1. java基础类型、包装器

    char a = 'h';  //类包装器 Character aobj = a ;//自动装箱 byte b = 6; Byte bobj = b; short s = 234; Short sob ...

  2. C++11多态函数对象包装器

    [C++11多态函数对象包装器] 针对函数对象的多态包装器(又称多态函数对象包装器)在语义和语法上和函数指针相似,但不像函数指针那么狭隘.只要能被调用,且其参数能与包装器兼容的都能以多态函数对象包装器 ...

  3. ACE的包装器

    ACE大量运用包装器模式,以期改变面向过程的系统API可视性以及错误处理较难的情况 包装器在若干场合能极大简化代码量,甚至是编码过程 比如ACE_Thread_Mutex 对象创建会自动初始化,很开心 ...

  4. Java中基本数据类型和包装器类型的关系

    在程序设计中经常用到一系列的数据类型,在Java中也一样包含八中数据类型,这八种数据类型又各自对应一种包装器类型.如下表: 基本类型 包装器类型 boolean Boolean char Charac ...

  5. Java 装箱、拆箱 包装器

    先说java的基本数据类型.java基本数据类型:byte.short.int.long.float.double.char.boolean 基本数据类型的自动装箱(autoboxing).拆箱(un ...

  6. 翻译:探索GLSL-用几何着色器(着色器库)实现法线可视化

    翻译:探索GLSL-用几何着色器(着色器库)实现法线可视化 翻译自: Exploring GLSL – Normal Visualizer with Geometry Shaders (Shader ...

  7. 【Head First Servlets and JSP】笔记 28: 过滤器与包装器

    1.过滤器的执行顺序: <url-pattern> 为第一梯队, <servlet-name> 为第二梯队,梯队内的执行顺序和 DD 里的声明顺序相同. When the co ...

  8. java基本类型和包装器类

    java是一种面向对象语言,java中的类把方法与数据连接在一起,并构成了自包含式的处理单元.但在java中不能定义基本类型(primitive type),为了能将基本类型视为对象来处理,并能连接相 ...

  9. 【Keras案例学习】 sklearn包装器使用示范(mnist_sklearn_wrapper)

    import numpy as np from keras.datasets import mnist from keras.models import Sequential from keras.l ...

随机推荐

  1. 一、mybatis入门案例

    今天学习了mybatis框架,简单记录一下mybatis第一个入门案例,目标是使用Mybatis作为持久层框架,执行查询数据的SQL语句并且获取结果集 基本步骤: 物理建模 逻辑建模 引入依赖 创建持 ...

  2. vector 的交换技巧

    面试被问到如何解决 vector 有过多空闲内存的问题. 假定先有一 vector 容器 vec,它的容量是 10000,大小是 3. vector 的内存增长问题 vector 申请的是连续内存空间 ...

  3. 计算机网络-4-2-ARP地址解析协议以及IP数据报不可变组成部分

    地址解析协议ARP ​ 在实际的应用中,我们会经常遇见这样的一个问题:我们已知一个机器(主机或者路由器的),我们怎么获取相应的硬件地址?,地址解析协议就是用来解决这个问题的. ARP协议的作用: 由上 ...

  4. mysql从零开始之MySQL UPDATE 更新

    MySQL UPDATE 更新 如果我们需要修改或更新 MySQL 中的数据,我们可以使用 SQL UPDATE 命令来操作. 语法 以下是 UPDATE 命令修改 MySQL 数据表数据的通用 SQ ...

  5. BIBD&SBIBD的矩阵题

    证明不存在 \(01\) 方阵 \(A\) 使得: \(A^TA=\begin{pmatrix}7&2&\dots &2\\2&7&\dots&2\\ ...

  6. 生日礼物网页Javascript版本与锚点版本

    <style> #dv1{ width:60px; height:36px; margin:0 auto; background-color:orange; display:none; } ...

  7. Winform同步调用异步函数死锁原因分析、为什么要用异步

    1.前言 几年前,一个开发同学遇到同步调用异步函数出现死锁问题,导致UI界面假死.我解释了一堆,关于状态机.线程池.WindowsFormsSynchronizationContext.Post.co ...

  8. 【Java虚拟机2】Java类加载机制

    前言 JAVA代码经过编译从源码变为字节码,字节码可以被JVM解读,使得JVM屏蔽了语言级别的限制.才有了现在的kotlin.Scala.Clojure.Groovy等语言. 字节码文件中描述了类的各 ...

  9. Apache Zookeeper Java客户端Curator使用及权限模式详解

    这篇文章是让大家了解Zookeeper基于Java客户端Curator的基本操作,以及如何使用Zookeeper解决实际问题. Zookeeper基于Java访问 针对zookeeper,比较常用的J ...

  10. 【UE4】GAMES101 图形学作业1:mvp 模型、视图、投影变换

    总览 到目前为止,我们已经学习了如何使用矩阵变换来排列二维或三维空间中的对象.所以现在是时候通过实现一些简单的变换矩阵来获得一些实际经验了.在接下来的三次作业中,我们将要求你去模拟一个基于CPU 的光 ...