5. 用Rust手把手编写一个Proxy(代理), 通讯协议建立, 为内网穿透做准备
用Rust手把手编写一个Proxy(代理), 通讯协议建立, 为内网穿透做准备
项目 ++wmproxy++
gite: https://gitee.com/tickbh/wmproxy
github: https://github.com/tickbh/wmproxy
什么是通讯协议?
在tcp的流传输过程中,可以看做是一堆的字节的集合体,是一种“流”式协议,就像河里的水,中间没有边界。或者好比不懂汉语的来看古文,因为古文里没有任何的句读,不知何时另起一行。那我们如何正确的做到拆包解包,保证数据格式的正确呢?
以下是客户端发送两个30字节的包(P1及P2),服务端读取数据可能读出来的可能
gantt
title 粘包的可能,例每个包30字节
%% This is a comment
dateFormat X
axisFormat %s
section 示例1
P2 :a1, 1, 30
P1 :after a1, 60
section 示例2
P2,P1 :1,60
section 示例3
P2部分 :a3, 1, 20
P2部分P1全部 :after a3, 60
section 示例4
P2全部P1部分 :a4, 1, 40
P1部分 :after a4, 60
若没有事先约定好格式,在服务端部分无法正确的解析出P1包和P2包,也就意味着无法理解客户端发的内容。若此时我们约定每个包的大小固定为30字节,那么2,3,4三种可能不管收到多少,都必须等待30字节填充完毕后解析出P1,剩余的数据待待60字节接收完毕后解析P2包
粘包拆包常见的解决方案
对于粘包和拆包问题,常见的解决方案有四种:
- 发送端将每个包都封装成固定的长度,比如512字节大小。如果不足512字节可通过补0或空等进行填充到指定长度;
- 发送端在每个包的末尾使用固定的分隔符,例如\r\n。如果发生拆包需等待多个包发送过来之后再找到其中的\r\n进行合并;例如,Redis协议,每一行的结尾都是CRLF,在碰到结尾的时候才进行转发;
- 将消息分为头部和消息体,头部中保存整个消息的长度,只有读取到足够长度的消息之后才算是读到了一个完整的消息,例如HTTP2协议,固定先读3个字节的长度,9个字节的长度头信息;
- 通过自定义协议进行粘包和拆包的处理。
在此的解决方案
选择了分为头部和消息体方案,头部分为8个字节,然后前3个字节表示包体的长度,单包支持长度为8-167777215也就是16m的大小,足够应对大多数情况。
网络的拓扑图
因为每个链接的处理函数均在不同的协程里,所以这里用了Sender/Receiver来同步数据。
A[中心客户端/CenterClient]<-->|tls加密连接或普通连接|B[中心服务端/CenterServer]
C[客户端链接]<-->|Sender/Receiver|A
B<-->|Sender/Receiver|D[服务端链接]
协议的分类
协议相关的类均在
prot
目录下面,统一对外的为枚举ProtFrame
,类的定义如下
pub enum ProtFrame {
/// 收到新的Socket连接
Create(ProtCreate),
/// 收到旧的Socket连接关闭
Close(ProtClose),
/// 收到Socket的相关数据
Data(ProtData),
}
主要涉及类的编码及解析在方法encode
,parse
,定义如下
/// 把字节流转化成数据对象
pub fn parse<T: Buf>(
header: ProtFrameHeader,
buf: T,
) -> ProxyResult<ProtFrame> {
}
/// 把数据对象转化成字节流
pub fn encode<B: Buf + BufMut>(
self,
buf: &mut B,
) -> ProxyResult<usize> {
}
消息的包头
任何消息优先获取包头信息,从而才能进行相应的类型解析,类为
ProtFrameHeader
,定义如下,总共8个字节
pub struct ProtFrameHeader {
/// 包体的长度, 3个字节, 最大为16m
pub length: u32,
/// 包体的类型, 如Create, Data等
kind: ProtKind,
/// 包体的标识, 如是否为响应包等
flag: ProtFlag,
/// 3个字节, socket在内存中相应的句柄, 客户端发起为单数, 服务端发起为双数
sock_map: u32,
}
消息类型的定义
暂时目前定义三种类型,
Create
,Close
,Data
,
- Socket创建,类为
ProtCreate
/// 新的Socket连接请求,
/// 接收方创建一个虚拟链接来对应该Socket的读取写入
#[derive(Debug)]
pub struct ProtCreate {
sock_map: u32,
mode: u8,
domain: Option<String>,
}
- Socket关闭,类为
ProtClose
/// 旧的Socket连接关闭, 接收到则关闭掉当前的连接
#[derive(Debug)]
pub struct ProtClose {
sock_map: u32,
}
- Socket数据包,类为
ProtData
/// Socket的数据消息包
#[derive(Debug)]
pub struct ProtData {
sock_map: u32,
data: Binary,
}
一个数据包的自白
我是一段数据,我要去找服务器获得详细的数据
首先我得和服务器先能沟通上,建立一条可以通讯的线
A[我]-->|请求连接建立|B[客户端代理]
B-->|把链接交由|C[中心客户端]
C-->|生成sock_map如1,并发送ProtCreate|D[中心服务端]
D-->|根据ProtCreate创建与sock_map对应的唯一id|E[虚拟TCP连接]
E-->|根据相应信息连接到服务端|F[服务端]
此时我已经和服务端构建起了一条通讯渠道,接下来我要和他发送数据了
A[我]-->|发送字节数据|B[客户端代理]
B-->|读出数据交由|C[中心客户端]
C<-->|加工成ProtData发送|D[中心服务端]
D-->|根据ProtData的sock_map发送给对应|E[虚拟TCP连接]
E-->|解析成数据流写入|F[服务端]
F-->|把数据流返回|E
E-->|读出数据交由|D
C-->|根据ProtData的sock_map发送给对应|B
B-->|解析成数据流写入|A
至此一条我与服务端已经可以说悄悄话啦。
内网穿透
内网穿秀本质上从中心服务端反向交由中心客户端构建起一条通讯渠道,如今数据协议已经建立,可由服务端推送数据到客户端进行处理,后续实现请看下篇
5. 用Rust手把手编写一个Proxy(代理), 通讯协议建立, 为内网穿透做准备的更多相关文章
- 分享一个内网穿透工具frp
首先简单介绍一下内网穿透: 内网穿透:通过公网,访问局域网里的IP地址与端口,这需要将局域网里的电脑端口映射到公网的端口上:这就需要用到反向代理,即在公网服务器上必须运行一个服务程序,然后在局域网中需 ...
- 【代理】内网穿透工具 frp&frps
frp 是一个高性能的反向代理应用,可以帮助您轻松地进行内网穿透,对外网提供服务,支持 tcp, http, https 等协议类型,并且 web 服务支持根据域名进行路由转发. ### frp 的作 ...
- 借助FRP反向代理实现内网穿透
一.frp 是什么? frp 是一个专注于内网穿透的高性能的反向代理应用,支持 TCP.UDP.HTTP.HTTPS 等多种协议.可以将内网服务以安全.便捷的方式通过具有公网 IP 节点的中转暴露到公 ...
- frp实现基于反向代理的内网穿透
个人博客主页: xzajyjs.cn frp是什么 简单地说,frp就是一个反向代理软件,它体积轻量但功能很强大,可以使处于内网或防火墙后的设备对外界提供服务,它支持HTTP.TCP.UDP等众多协议 ...
- 【新晋开源项目】内网穿透神器[中微子代理] 加入 Dromara 开源社区
1.关于作者 dromara开源组织成员,dromara/neutrino-proxy项目作者 名称:傲世孤尘.雨韵诗泽 名言: 扎根土壤,心向太阳.积蓄能量,绽放微光. 拘浊酒邀明月,借赤日暖苍穹. ...
- MFC+WinPcap编写一个嗅探器之七(协议)
这一节是本系列教程的结尾了,内容也比较简单,主要是对网络协议进行分析,其实学过计算机网络的同学完全可以略过 在整个项目中需要有一个头文件存放各层协议的头部定义,我把它们放在了head.h中,这个头文件 ...
- ssh后门反向代理实现内网穿透
如图所示,内网主机ginger 无公网IP地址,防火墙只允许ginger连接blackbox.example.com主机 假如你是ginger的管理员root,你想要用tech主机连接ginger主机 ...
- 新的知识点来了-ES6 Proxy代理 和 去银行存款有什么关系?
ES给开发者提供了一个新特性:Proxy,就是代理的意思.也就是我们这一节要介绍的知识点. 以前,ATM还没有那么流行的时候(暴露年纪),我们去银行存款或者取款的时候,需要在柜台前排队,等柜台工作人员 ...
- Java实战_手把手编写记事本
Java运用SWT插件编写桌面记事本应用程序 可实现windows系统桌面记事本基本功能.傻瓜式教学,一步一步手把手操作.小白也可自己编写出完整的应用程序. 须要工具:Eclipse(带SWT插件) ...
- 浏览器 Proxy SwitchyOmega 插件设置代理访问内网服务器
使用Proxy SwitchyOmega 插件通过代理 直接访问到内网网站 一.使用场景 如下图所示,如果在电脑的网络设置中开启代理,每次更换代理就需要进入这里设置改变代理.且我们可能回需求到两个网页 ...
随机推荐
- Python之Excel表格数据处理
正式开讲之前,我们需要先了解几个基本的知识点:1.Python字典(Dictionary) 的setdefault()方法描述:如果键不存在于字典中,将会添加键并将值设为默认值.语法:dict.set ...
- Spring Boot实现高质量的CRUD-3
(续前文) 7.Service接口类 Service类提供业务的实现逻辑,其调用Dao类的方法进行数据存取,并为Controller类提供方法.类似于Dao的接口类,服务层使用接口类,便于代码 ...
- 天下苦 Spring 久矣,Solon v2.3.3 发布
Solon 是什么框架? 一个,Java 新的生态型应用开发框架.它从零开始构建,有自己的标准规范与开放生态(全球第二级别的生态).与其他框架相比,它解决了两个重要的痛点:启动慢,费资源. 解决痛点? ...
- 解密Prompt系列9. 模型复杂推理-思维链COT基础和进阶玩法
终于写了一篇和系列标题沾边的博客,这一篇真的是解密prompt!我们会讨论下思维链(chain-of-Thought)提示词究竟要如何写,如何写的更高级.COT其实是Self-ASK,ReACT等利用 ...
- Java求数组元素的最大值和最小值
代码如下: public static void main(String[] args) { int [] a = {1,2,3,88,2,90}; int max = a[0]; int min = ...
- React ISR 如何实现 - 最后的 Demo
之前写了两个 demo 讲解了如何实现 SSR 和 SSG,今天再写个 demo 说在 ISR 如何实现. 什么是 ISR ISR 即 Incremental Static Regeneration ...
- JavaScript进阶指南: DOM与BOM操作,从初学者到专家,一步也能登天一篇文章就足够了
DOM与BOM操作 复习链接: http://c.biancheng.net/view/9360.html 事件对象: https://www.runoob.com/jsref/dom-obj-eve ...
- 详解在Linux中修改Tomcat使用的jdk版本
问题分析 由于部署个人项目使用了openjdk11,但是我之前安装的是jdk1.8,jdk版本升级的后果就是,tomcat运行的时候报一点小bug(因为之前安装tomcat默认使用了系统的jdk版本) ...
- 《逆向工程核心原理》之DLL注入
DLL注入 DLL注入指的是向运行中的其他进程强制插入特定的DLL文件.从技术细节来说,DLL注入命令其他进程自行调用LoadLibrary() API,加载(Loading)用户指定的DLL文件.D ...
- ubuntu安装rpm格式包
首先,我们要安装alien这一软件: $sudo apt-get install alien ##alien默认没有安装,所以首先要安装它 $sudo alien xxxx.rpm ##将rpm转换为 ...