使用高性能Pipelines构建.NET通讯程序
.NET Standard支持一组新的API,System.Span, System.Memory,还有System.IO.Pipelines。这几个新的API极大了提升了.NET程序的效能,将来.NET很多基础API都会使用它们进行重写。
Pipelines旨在解决.NET编写Socket通信程序时的很多困难,相信读者也对此不胜其烦,使用stream模型进行编程,就算能够解决,也是实在麻烦。
System.IO.Pipelines使用简单的内存片段来管理数据,可以极大的简化编写程序的过程。关于Pipelines的详细介绍,可以看看这里。现在ASP.NET Core中使用的Kestrel已经在使用这个API。(话说这个东西貌似就是Kestrel团队搞出来的。)
可能是直接需要用Socket场景有限(物联网用的还挺多的),Pipelines相关的资料感觉不是很多。官方给出的示例是基于ASCII协议的,有固定结尾的协议,这里我以物联网设备常用的BINARY二进制自定义协议为例,讲解基于Pipelines的程序套路。
System.IO.Pipelines
与基于Stream的方式不同,pipelines提供一个pipe,用于存储数据,pipe中间存储的数据有点链表的感觉,可以基于SequencePosition
进行slice操作,这样就能得到一个ReadOnlySequence<T>
对象。reader可以进行自定义操作,并在操作完成之后告诉pipe已经处理了多少数据,整个过程是不需要进行内存复制操作的,因此性能得到了提升,还少了很多麻烦。可以简单理解作为服务器端,流程:
接受数据循环:接到数据->放pipe里面->告诉pipe放了多少数据
处理数据循环:在pipe里面找一条完整数据->交给处理流程->告诉pipe处理了多少数据
协议
有一款设备,binary协议,数据包开头0x75, 0xbd, 0x7e, 0x97一共4个字节,随后跟数据包长度2个字节(固定2400字节,不固定长度也可以参照),随后是数据区。在设备连接成功之后,数据主动从设备发送到PC。
关键代码
虽然是.NET Core平台的,但是.NET FRAMEWORK 4.6.1上面也可以nuget安装,直接
install-package system.io.pipelines
进行安装就可以了。Socket相关处理的代码不再写了,只列关键的。
代码第一步是声明pipe。
private async void InitPipe(Socket socket)
{
Pipe pipe = new Pipe();
Task writing = FillPipeAsync(socket, pipe.Writer);
Task reading = ReadPipeAsync(socket, pipe.Reader);
await Task.WhenAll(reading, writing);
}
pipe有reader还有一个writer,reader负责读取pipe数据,主要用在数据处理循环,writer负责将数据写入pipe,主要用在数据接受循环。
//写入循环
private async Task FillPipeAsync(Socket socket, PipeWriter writer)
{
//数据流量比较大,用1M字节作为buffer
const int minimumBufferSize = 1024 * 1024;
while (running)
{
try
{
//从writer中,获得一段不少于指定大小的内存空间
Memory<byte> memory = writer.GetMemory(minimumBufferSize);
//将内存空间变成ArraySegment,提供给socket使用
if (!MemoryMarshal.TryGetArray((ReadOnlyMemory<byte>)memory, out ArraySegment<byte> arraySegment))
{
throw new InvalidOperationException("Buffer backed by array was expected");
}
//接受数据
int bytesRead = await SocketTaskExtensions.ReceiveAsync(socket, arraySegment, SocketFlags.None);
if (bytesRead == 0)
{
break;
}
//一次接受完毕,数据已经在pipe中,告诉pipe已经给它写了多少数据。
writer.Advance(bytesRead);
}
catch
{
break;
}
// 提示reader可以进行读取数据,reader可以继续执行readAsync()方法
FlushResult result = await writer.FlushAsync();
if (result.IsCompleted)
{
break;
}
}
// 告诉pipe完事了
writer.Complete();
}
//读取循环
private async Task ReadPipeAsync(Socket socket, PipeReader reader)
{
while (running)
{
//等待writer写数据
ReadResult result = await reader.ReadAsync();
//获得内存区域
ReadOnlySequence<byte> buffer = result.Buffer;
SequencePosition? position = null;
do
{
//寻找head的第一个字节所在的位置
position = buffer.PositionOf((byte)0x75);
if (position != null)
{
//由于是连续四个字节作为head,需要进行比对,我这里直接使用了ToArray方法,还是有了内存拷贝动作,不是很理想,但是写起来很方便。
//对性能有更高要求的场景,可以进行slice操作后的单独比对,这样不需要内存拷贝动作
var headtoCheck = buffer.Slice(position.Value, 4).ToArray();
//SequenceEqual需要引用System.Linq
if (headtoCheck.SequenceEqual(new byte[] { 0x75, 0xbd, 0x7e, 0x97 }))
{
//到这里,认为找到包开头了(从position.value开始),接下来需要从开头处截取整包的长度,需要先判断长度是否足够
if (buffer.Slice(position.Value).Length >= 2400)
{
//长度足够,那么取出ReadOnlySequence,进行操作
var mes = buffer.Slice(position.Value, 2400);
//这里是数据处理的函数,可以参考官方文档对ReadOnlySequence进行操作,文档里面使用了span,那样性能会好一些。我这里简单实用ToArray()操作,这样也有了内存拷贝的问题,但是处理的直接是byte数组了。
await ProcessMessage(mes.ToArray());
//这一段就算是完成了,从开头位置,一整个包的长度就算完成了
var next = buffer.GetPosition(2400, position.Value);
//将buffer处理过的舍弃,替换为剩余的buffer引用
buffer = buffer.Slice(next);
}
else
{
//长度不够,说明数据包不完整,等下一波数据进来再拼接,跳出循环。
break;
}
}
else
{
//第一个是0x75但是后面不匹配,可能有数据传输问题,那么需要舍弃第一个,0x75后面的字节开始再重新找0x75
var next = buffer.GetPosition(1, position.Value);
buffer = buffer.Slice(next);
}
}
}
while (position != null);
//数据处理完毕,告诉pipe还剩下多少数据没有处理(数据包不完整的数据,找不到head)
reader.AdvanceTo(buffer.Start, buffer.End);
if (result.IsCompleted)
{
break;
}
}
reader.Complete();
}
以上代码基本解决了以下问题:
- 数据接收不完整,找不到开头结尾,导致数据大量丢弃,或者自己维护一个queue的代码复杂性
- 数据接收与处理的同步问题
- 一次性收到多条数据的情况
后记
本文只是解释了pipeline处理的模式,对于茫茫多的ToArray方法,可以使用基于Span的操作进行优化(有时间就来填坑)。另外,如果在await ProcessMessage(mes.ToArray());
这里,直接使用Task.Run(()=>ProcessMessage(mes);
代替的话,实测会出现莫名其妙的问题,很有可能是pipe运行快,在系统调度Task之前,已经将内存释放导致的,如果需要优化这一块的话,需要格外注意。
使用高性能Pipelines构建.NET通讯程序的更多相关文章
- 使用Beetle简单构建聊天室程序
之前已经讲解了Beetle简单地构建网络通讯程序,那程序紧紧是讲述了如何发送和接收数据:这一章将更深入的使用Beetle的功能,主要包括消息制定,协议分析包括消息接管处理等常用的功能.为了更好的描述所 ...
- 构建高性能的ASP.NET应用程序
看见大标题的时候,也许各位看官会自然而然的联想到如何在设计阶段考虑系统性能问题,如何编写高性能的程序代码.关于这一点,大家可以在MSDN和相关网站上找到非常多的介绍,不过大多是防患于未难,提供的是在设 ...
- 基于Spring + Spring MVC + Mybatis 高性能web构建
基于Spring + Spring MVC + Mybatis 高性能web构建 一直想写这篇文章,前段时间 痴迷于JavaScript.NodeJs.AngularJs,做了大量的研究,对前后端交互 ...
- [译]基于Vue.js的10个最佳UI框架,用于构建移动应用程序
原文查看10 Best Vue.js based UI Frameworks for Building Mobile Apps 如果您期待使用Vue.js构建移动应用程序,那么您可以选择许多可用的UI ...
- 使用 SailingEase WinForm 框架构建复合式应用程序(插件式应用程序)
对于一些较小的项目,具备一定经验的开发人员应该能够设计和构建出便于进行维护和扩展的应用程序.但是,随着功能模块数量(以及开发维护这些部件的人员)的不断增加,对项目实施控制的难度开始呈指数级增长. Sa ...
- 使用 Eclipse PhoneGap 构建 Android 应用程序入门
Eclipse 是一种支持多种技术的开源集成开发环境 (IDE),但本文重点介绍 Java 支持,这也是 Android 应用程序的“母语”.Android 是 Google 发布的开源移动操作系统. ...
- Node.js高级编程读书笔记 - 4 构建Web应用程序
Outline 5 构建Web应用程序 5.1 构建和使用HTTP中间件 5.2 用Express.js创建Web应用程序 5.3 使用Socket.IO创建通用的实时Web应用程序 5 构建Web应 ...
- 使用ASP.NET 构建 Web 应用程序快速入门-8小时的免费培训视频
- Scott Hanselman的中文博客[转载] [原文发表地址] Building Web Apps with ASP.NET Jump Start - 8 Hours of FREE Trai ...
- 使用eclipse和JavaFX Scene Builder进行快速构建JavaFX应用程序
http://blog.csdn.net/wingfourever/article/details/7726724 使用eclipse和JavaFX Scene Builder进行快速构建JavaFX ...
随机推荐
- ARCGIS 发布TIF,金字塔文件是否Server自动生成。
经过发布一个TIF带OVR的服务TIF_OVR, 和一个不带金字塔的TIF服务TIF_WITHOUT_OVR. 证实,在..\arcgisserver\directories\arcgissystem ...
- html5--4-4 audio元素/格式的转换
html5--4-4 audio元素/格式的转换 学习要点 掌握audio元素的用法 视频/音频文件的格式转换 当前,audio 元素支持三种音频格式: Ogg 免费, 支持的浏览器:Firefox. ...
- html5--3.19 新增的progress/meter元素
html5--3.19 新增的progress/meter元素 学习要点 了解progress/meter元素的用法 progress元素 是HTML5中新增的元素,用来建立一个进度条 通常与Java ...
- C# 获取utc时间,以及utc datetime 互相转化
C# 获取utc时间,以及utc datetime 互相转化 大部分源于http://blog.sina.com.cn/s/blog_4c6e822d0102dsdz.html 刚开始学习一点C# ...
- 封装class类为jar包提供给其他项目使用
一.完成class类的编写与测试工作 二.完善javadoc注释,生成自己的API 注释要按照标准要求进行 Project -- generate javadoc
- hdu-4081 Qin Shi Huang's National Road System(最小生成树+bfs)
题目链接: Qin Shi Huang's National Road System Time Limit: 2000/1000 MS (Java/Others) Memory Limit: ...
- 非旋treap套线段树
BZOJ3065. 去年用pascal 块链过了.. 今年来试了试非旋treap大法 注定被块链完爆 代码留这. 第一份 :辣鸡的 垃圾回收做法 跑得极慢 #include <bits/ ...
- bzoj3836
状压dp 图上怎么跑dp?我们跑三进制状压dp,0表示选了,1表示既没选也没覆盖,2表示没选但是被覆盖了. 状态是dp[dep][S]表示当前走到了深度为dep的节点,状态为S,按照dfs序转移 每次 ...
- AngularJS系统学习之Directive(指令)
本文转自https://www.w3ctech.com/topic/1612 原文作者: Nicolas Bevacqua 原文:AngularJS’ Internals In Depth, Part ...
- 揭开 iOS 7 之 Multipath TCP 的面纱(转)
看到中文圈似乎讨论 iOS 7 的这个特性的还不多,于是我稍微研究了一下这个「Mutlipath TCP」,写点心得.过程是这样的: Olivier Bonaventure 通过 Wireshark ...