本文参考:https://blog.csdn.net/wxy941011/article/details/80428470

原因

如果客户端连续不断的向服务端发送数据包时,服务端接收的数据会出现两个数据包粘在一起的情况,这就是TCP协议中经常会遇到的粘包以及拆包的问题。

我们都知道TCP属于传输层的协议,传输层除了有TCP协议外还有UDP协议。

TCP

TCP是基于字节流的,虽然应用层和TCP传输层之间的数据交互是大小不等的数据块,但是TCP把这些数据块仅仅看成一连串无结构的字节流,没有边界;另外从TCP的帧结构也可以看出,在TCP的首部没有表示数据长度的字段(也就是说TCP并不知道发送的单个数据的长度,只要缓冲区空间足够或是缺少,就有可能发生粘包(和下一个数据流黏在一起)或拆包(本数据流被拆分)),基于上面两点,在使用TCP传输数据时,才有粘包或者拆包现象发生的可能。

UDP

那么UDP是否会发生粘包或拆包的现象呢?答案是不会。UDP是基于报文发送的,从UDP的帧结构可以看出,在UDP首部采用了16bit来指示UDP数据报文的长度,因此在应用层能很好的将不同的数据报文区分开,从而避免粘包和拆包的问题。

打个比方

TCP中传输数据字节流就像是在两个人之间传递水,它们通过一个容器(缓冲区)来盛装水,甲连续地向乙传输水,如果有两次的水量刚好可以被容器装进去那就有可能将两次的水(数据字节流)放到同一个容器(缓冲区)中进行传递(粘包),如果不够那么一次的水可能分两次传输(拆包),基本上有三种情况:

容器>=两次水量,两次水量>容器>一次水量,容器<一次水量【要注意每一次的水量可能不一样】

部分原因

  • 要发送的数据大于TCP发送缓冲区剩余空间大小,将会发生拆包

  • 待发送数据大于MSS(最大报文长度),TCP在传输前将进行拆包

  • 要发送的数据小于TCP发送缓冲区的大小,TCP将多次写入缓冲区的数据一次发送出去,将会发生粘包

  • 接收数据端的应用层没有及时读取接收缓冲区中的数据,将发生粘包

原因并不全面,可能会有其他原因,常见的为上述内容

表现形式

现在假设客户端向服务端连续发送了两个数据包,用packet1和packet2来表示,那么服务端收到的数据可以分为三种,

  • 第一种情况

    接收端正常收到两个数据包,即没有发生拆包和粘包的现象,此种情况不在本文的讨论范围内。

  • 第二种情况

    接收端只收到一个数据包,由于TCP是不会出现丢包的,所以这一个数据包中包含了发送端发送的两个数据包的信息,这种现象即为粘包。这种情况由于接收端不知道这两个数据包的界限,所以对于接收端来说很难处理。

  • 第三种情况

    这种情况有两种表现形式,如下图。接收端收到了两个数据包,但是这两个数据包要么是不完整的,要么就是多出来一块,这种情况即发生了拆包和粘包。这两种情况如果不加特殊处理,对于接收端同样是不好处理的。

解决方法

就像上述原因中提到1. TCP是基于字节流的,虽然应用层和TCP传输层之间的数据交互是大小不等的数据块,但是TCP把这些数据块仅仅看成一连串无结构的字节流,没有边界;2. 另外从TCP的帧结构也可以看出,在TCP的首部没有表示数据长度的字段(也就是说TCP并不知道发送的单个数据的长度

因此,解决问题的关键在于如何给每个数据包添加边界信息,基本上有以下三种常见解决办法

  • 发送端给每个数据包添加包首部,首部中应该至少包含数据包的长度,这样接收端在接收到数据后,通过读取包首部的长度字段,便知道每一个数据包的实际长度了。【本次项目的解决方法】

  • 发送端将每个数据包封装为固定长度(不够的可以通过补0填充),这样接收端每次从接收缓冲区中读取固定长度的数据就自然而然的把每个数据包拆分开来。

  • 可以在数据包之间设置边界,如添加特殊符号,这样,接收端通过这个边界就可以将不同的数据包拆分开。

代码

使用第一种方法,写一个构造包的类,包括 包头(数据长度)和包尾(数据)

  • 用到的using形式的代码的解释

// 正常情况下
Memory ms = new MemoryStream();
// 各种流操作
ms.Close();// 关闭流

// 使用using
using (Memory ms = new MemoryStream()){
// 各种流操作
// 使用完毕自动关闭流
}
  • 用到的MemoryStream,内存流对象

    new MemoryStream().GetBuffer() 从中返回其中写入的无符号字节数组(就是返回写入这个内存流对象的数据流数据)

  • 用到的BinaryWriter,二进制写入

    new BinaryWriter.Write(byte[] targetBuffer) 用于写入数据(与上述内存流对象联合使用)

  • 用到的Buffer.BlockCopy,拷贝数据流至

    参数(源数据流,源数据流偏移,要copy到的字节数组对象,字节流对象偏移,要copy的数据长度)

上面三条的使用流程:

  • 建立内存流对象 new MemoryStream()

  • 向内存流对象写入数据 new BynaryWriter.Write(data)

  • 将写入的数据(原缓冲区内容,即下面代码中的data)拷贝至新建的字节数组(目标缓冲区)

  • 关闭流(auto)

构建包

就是将数据构建为一个包——包头(数据长度)+包尾(数据)

class EncodeTool{
// 构造包 包头+包尾
public static byte[] EncodePacket(byte[] data){
using(MemoryStream ms = new MemoryStream()){
using(BinaryWriter bw = new BinaryWriter(ms)){
// 1. 写入包头(数据长度)
bw.Write(data.length);
// 2. 写入包尾(数据)
bw.Write(data);
// 3. 拷贝
byte[] targetBuffer = new byte[ms.length];
Buffer.BlockCopy(ms.GetBuffer(),0,targetBuffer,0,(int)ms.Length);
// 这里的ms.Length是长整型的,为了匹配形参,强制转换为int类型
return targetBuffer;
// 4. 自动关闭流
// 5. 返回构建的数据包
}
}
}
}

解析包

上面讲解了如何将数据构建为数据包,那么如何对这个包进行读取呢?方法为将数据包按照数据长度来读取缓冲区中相应长度的数据

  • 用到的ref关键字,在参数前面加ref标明这个参数会在方法中被改变,这里为地址处存储的值的更新,因为数据包(缓冲区)被解析后返回数据,那么原本的数据包就可以情况并接收之后的数据了,所以需要更新

  • 用到的 List<>,数据包用List来接收是为了在解析时候的方便,这个在查看代码中使用到的地方就可以理解

  • 用到的BinaryReader,与上述内容的BinaryWriter类似,一个是写入,一个是读取

    new BynaryReader().ReadInt32(),这个方法表示读取数据流的前四个字节并使流的当前位置提升四个字节(就好比一个队列中被去除了四个字节其他的依次向前移)

// 承接上面EncodeTool类
public static byte[] DecodePacket(ref List<byte> cache)
{
if (cache.Count < 4)
{
// cache的数据长度还不到一个int类型数据->包头也不够->没数据
return null;
}
using(MemoryStream ms = new MemoryStream())
{
using (BinaryReader br = new BinaryReader(ms))
{
int length = br.ReadInt32();// 刚好对应构建包中的包头部分
// 1. 计算缓冲区剩下的数据字节长度(即数据部分)
int remainLength = (int)(ms.Length - ms.Position);// 这里的ms.position自行体会
if (remainLength < length)
{
// 如果剩下的数据长度小于读取到的数据长度,就说明这个缓冲区内并不存在一个完整的包(也就是数据>缓冲区的情况)
return null;
}
// 至少包括一个完整的包
byte[] data = br.ReadBytes(length);// 读取length长度的数据(即解析的数据包中的数据)并存储至data字节数组
// 2. 更新数据缓存,将被读取的数据移除,继续读取下一个数据包
cache.Clear();// 这里就是为什么本方法形参前需要加ref关键字的原因
int remainLengthAgain = (int)(ms.Length - ms.Position);// 清空之后重新获取剩下的数据长度
cache.AddRange(br.ReadBytes(remainLengthAgain));// 读取处已解析数据包外的数据部分并转移至缓冲区
// 3. 返回解析的数据
return data;
}
}
}

TCP的粘包和拆包问题及解决办法(C#)的更多相关文章

  1. TCP的粘包和拆包问题及解决

    前言 TCP属于传输层的协议,传输层除了有TCP协议外还有UDP协议.那么UDP是否会发生粘包或拆包的现象呢?答案是不会.UDP是基于报文发送的,从UDP的帧结构可以看出,在UDP首部采用了16bit ...

  2. 关于TCP的粘包和拆包

    问题产生 一个完整的业务可能会被TCP拆分成多个包进行发送,也有可能把多个小的包封装成一个大的数据包发送,这个就是TCP的拆包和封包问题. 下面可以看一张图,是客户端向服务端发送包: 1. 第一种情况 ...

  3. tcp的粘包和拆包示例以及使用LengthFieldFrameDecoder来解决的方法

    粘包和拆包是什么? TCP协议是一种字节流协议,没有记录边界,我们在接收消息的时候,不能人为接收到的数据包就是一个整包消息 当客户端向服务器端发送多个消息数据的时候,TCP协议可能将多个消息数据合并成 ...

  4. Netty—TCP的粘包和拆包问题

    一.前言 虽然TCP协议是可靠性传输协议,但是对于TCP长连接而言,对于消息发送仍然可能会发生粘贴的情形.主要是因为TCP是一种二进制流的传输协议,它会根据TCP缓冲对包进行划分.有可能将一个大数据包 ...

  5. TCP的粘包、拆包及解决方法

    TCP粘包,拆包及解决方法 粘包拆包问题是处于网络比较底层的问题,在数据链路层.网络层以及传输层都有可能发生.我们日常的网络应用开发大都在传输层进行,由于UDP有消息保护边界,不会发生粘包拆包问题,因 ...

  6. netty 解决TCP粘包与拆包问题(一)

    1.什么是TCP粘包与拆包 首先TCP是一个"流"协议,犹如河中水一样连成一片,没有严格的分界线.当我们在发送数据的时候就会出现多发送与少发送问题,也就是TCP粘包与拆包.得不到我 ...

  7. 【Netty】TCP粘包和拆包

    一.前言 前面已经基本上讲解完了Netty的主要内容,现在来学习Netty中的一些可能存在的问题,如TCP粘包和拆包. 二.粘包和拆包 对于TCP协议而言,当底层发送消息和接受消息时,都需要考虑TCP ...

  8. C#网络编程学习(5)---Tcp连接中出现的粘包、拆包问题

    本文参考于CSDN博客wxy941011 1.疑问 我们使用第四个博客中的项目. 修改客户端为:连接成功后循环向服务器发送从1-100的数字.看看服务器会不会正常的接收100次数据. 可是我们发现服务 ...

  9. 【游戏开发】网络编程之浅谈TCP粘包、拆包问题及其解决方案

    引子 现如今手游开发中网络编程是必不可少的重要一环,如果使用的是TCP协议的话,那么不可避免的就会遇见TCP粘包和拆包的问题,马三觉得haifeiWu博主的 TCP 粘包问题浅析及其解决方案 这篇博客 ...

随机推荐

  1. 依赖注入在 dotnet core 中实现与使用:4. 集成 Autofac

    本示例使用 .net core 5 rc-1 实现. 1. 添加 Nuget 包引用 使用 Autofac 当然要添加 Autofac 的 Nuget 包,主要涉及到两个: Autofac.Exten ...

  2. const pointers

    1 指针 p对应的地址是常量,但是里面存放的data不是常量 2 地址里存放的data是常量,但是地址不是常量 3 地址和指针都是常量

  3. Java知识系统回顾整理01基础04操作符01算术操作符

    一.算数操作符类别 基本的有: + - * / % 自增 自减: ++ -- 二.基本算数操作符 + - * / 基本的加 减 乘 除 public class HelloWorld { public ...

  4. C#入门——Console.Write()与Console.WriteLine()

    参考:https://blog.csdn.net/qujunyao/article/details/72884670 两者区别: Console.Write("abc"); 输出到 ...

  5. 《我想进大厂》之Redis夺命连环11问

    这是面试题系列第三篇--redis专题. 说说Redis基本数据类型有哪些吧 字符串:redis没有直接使用C语言传统的字符串表示,而是自己实现的叫做简单动态字符串SDS的抽象类型.C语言的字符串不记 ...

  6. URLEncoder.encode编码空格变+号

    今天调用rest接口的时候,使用URLEncoder编码将空格转为了+号,而rest接口方需要将空格转为%20,参照标准 之后用了不少在线的工具测试,有的将空格转为了+号,有的则是转为了%20.看了一 ...

  7. MeteoInfoLab脚本示例:inpolygon

    inpollygon函数是用来判断带坐标(x/y)的数据是否在某个或者一组多边形(Polygon)中,返回的结果中如果做多边形内则值为1,否则值为-1.下面一个例子演示了利用一个shape文件和inp ...

  8. 物联网wifi模块

    物联网wifi模块 物联网wifi模块 是上海卓岚推出的MQTT+JSON转Modbus物联网WiFi核心模块.支持以MQTT的方式连接云端服务器,支持可以界面话配置,自主采集Modbus仪表/645 ...

  9. swoole协程通道channel

    swoole 协程通道 为了协程直接互相通讯传递数据 和go的通道很相似 Co\run(function(){ $chan = new Swoole\Coroutine\Channel(1); Swo ...

  10. openresty使用redis作本地缓存

    一,为什么要使用redis作本地缓存? 1,使用缓存通常会有三层 当使用openresty作为web服务器时,我们更看重是的它可以通过lua编程的扩展能力,就openresty而言,它可以实现的功能非 ...