简析XDP的重定向机制
- GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源。
- GreatSQL是MySQL的国产分支版本,使用上与MySQL一致。
一. XDP Socket示例解析
源码参见:https://github.com/xdp-project/xdp-tutorial/tree/master/advanced03-AF_XDP
该示例演示了如何通过BPF将网络数据包从XDP Hook点旁路到用户态的XDP Socket,解析过程中为突出重点,将只关注重点代码段,一些函数会被精简,比如:错误处理等
二. BPF 程序 af_xdp_kern.c
BPF程序是运行在内核态的一段代码,如下:
struct bpf_map_def SEC("maps") xsks_map = {
.type = BPF_MAP_TYPE_XSKMAP,
.key_size = sizeof(int),
.value_size = sizeof(int),
.max_entries = 64, /* Assume netdev has no more than 64 queues */
};
SEC("xdp_sock")
int xdp_sock_prog(struct xdp_md *ctx)
{
int index = ctx->rx_queue_index;
if (bpf_map_lookup_elem(&xsks_map, &index))
return bpf_redirect_map(&xsks_map, index, 0);
return XDP_PASS;
}
struct bpf_map_def SEC("maps") xsks_map
: 定义了一个BPF_MAP_TYPE_XSKMAP
类型的映射表,当采用SEC("maps")方式来显示定义时,将在生成的bpf目标文件的ELF格式中看到相关描述,当BPF程序被加载到内核时,会自动创建名为“xsks_map”的描述符, 用户态可通过查找“xsks_map”来获取该map的描述符,这样用户态和内核BPF程序就可以共同访问该maptype = BPF_MAP_TYPE_XSKMAP
:指定该map的类型,它与bpf_redirect_map() 结合使用以将收到的帧传递到指定套接字key_size = sizeof(int),value_size = sizeof(int)
:指定key,value长度针对以上key,value需要说明一下:对于
BPF_MAP_TYPE_XSKMAP
类型的map,value必须是XDP socket描述符,key必须是int类型,原因在于bpf_redirect_map()的第二个参数,参见下面2.10max_entries = 64
:指定map最多存储64个元素SEC("xdp_sock")
:指定prog函数符号,应用层可通过查找"xdp_sock"加载该prog,并绑定到指定网卡int xdp_sock_prog(struct xdp_md *ctx)
:当网卡收到数据包时,会在xdp hook点调用该函数int index = ctx->rx_queue_index
: 获取该数据包来自网卡到哪个rx队列ID,ctx有许多成员,比如:网卡ID,数据帧等等if (bpf_map_lookup_elem(&xsks_map, &index))
: 判断xsks_map是否存在key为index(即rx队列号)的数据,注意,这里实际上就是判断该网卡是否绑定了xdp Socketbpf_redirect_map(&xsks_map, index, 0)
:bpf_redirect_map
函数作用就是重定向,比如:将数据重定向到某个网卡,CPU, Socket等等;当bpf_redirect_map
函数的第一个参数的map类型为BPF_MAP_TYPE_XSKMAP
时,则表示将数据重定向到XDP Scoketbpf_redirect_map()
会查找参数1即xsks_map 中 key为index 的 value 是否存在,若存在,则检查value是否是一个XDP Scoket,并且是否绑定到了该网卡(可以绑定到任意有效队列)
综合以上,该bpf程序实现的功能就是:将收到的数据包重定向到xsks_map
中指定的XDP Socket
三. 用户态程序 af_xdp_user.c
该程序实现bpf加载到网卡,创建XDP Scoket并绑定到网卡的指定队列,并通过XDP Scoket收发数据,这里仅分析xXDP Scoket相关部分
int main(int argc, char **argv)
{
...
bpf_obj = load_bpf_and_xdp_attach(&cfg);
map = bpf_object__find_map_by_name(bpf_obj, "xsks_map");
...
xsks_map_fd = bpf_map__fd(map);
...
umem = configure_xsk_umem(packet_buffer, packet_buffer_size);
...
xsk_socket = xsk_configure_socket(&cfg, umem);
...
rx_and_process(&cfg, xsk_socket);
...
}
static struct xsk_socket_info *xsk_configure_socket(struct config *cfg,
struct xsk_umem_info *umem)
{
...
ret = xsk_socket__create(&xsk_info->xsk, cfg->ifname,
cfg->xsk_if_queue, umem->umem, &xsk_info->rx,
&xsk_info->tx, &xsk_cfg);
...
}
bpf_obj = load_bpf_and_xdp_attach(&cfg)
: 加载bpf程序,并绑定到网卡map = bpf_object__find_map_by_name(bpf_obj, "xsks_map")
: 查找bpf程序内定义的xsks_mapumem = configure_xsk_umem(packet_buffer, packet_buffer_size)
: 为XDP Scoket准备UMEMxsk_configure_socket()
通过调用bpf helper函数xsk_socket__create()创建XDP Scoket并绑定到cfg->ifname网卡的cfg->xsk_if_queue队列,默认情况下将该【cfg->xsk_if_queue, xsk_info->xsk fd】添加到xsks_map, 这样bpf程序就可以重定向到该XDP Scoket(参见2.9, 2.10), 除非指定XSK_LIBBPF_FLAGS__INHIBIT_PROG_LOAD标志
static void rx_and_process(struct config *cfg,
struct xsk_socket_info *xsk_socket)
{
struct pollfd fds[2];
int ret, nfds = 1;
memset(fds, 0, sizeof(fds));
fds[0].fd = xsk_socket__fd(xsk_socket->xsk);
fds[0].events = POLLIN;
while(!global_exit) {
if (cfg->xsk_poll_mode) {
ret = poll(fds, nfds, -1);
if (ret <= 0 || ret > 1)
continue;
}
handle_receive_packets(xsk_socket);
}
}
- XDP Scoket也是一个文件描述符,因此可以通过poll/epoll/select来等待IO事件,需要说明的是:收/发的数据包是原始的以太网帧,因此在包处理上要麻烦一些
四. 总结
- 以上简略分析了bpf程序如何将数据重定向到用户态程序,通过xsks_map来实现bpf与用户态程序的交互;
- 需要说明的是,这些分析仅是梳理了浅层次的代码,实际上BPF是如何将数据读写到XDP Scoket收发缓冲区的呢?其实是通过创建共享内存并关联XDP Scoket的rx_ring,tx_ring,以及umem来实现的,后续继续分析
- bpf程序通常都非常简单,复杂的是用户态程序,此外,BPF有非常多的技术细节,限于篇幅及主题不在此展开。
Enjoy GreatSQL
关于 GreatSQL
GreatSQL是由万里数据库维护的MySQL分支,专注于提升MGR可靠性及性能,支持InnoDB并行查询特性,是适用于金融级应用的MySQL分支版本。
相关链接: GreatSQL社区 Gitee GitHub Bilibili
GreatSQL社区:
欢迎来GreatSQL社区发帖提问
https://greatsql.cn/
技术交流群:
微信:扫码添加
GreatSQL社区助手
微信好友,发送验证信息加群
。
简析XDP的重定向机制的更多相关文章
- Linux VFS机制简析(二)
Linux VFS机制简析(二) 接上一篇Linux VFS机制简析(一),本篇继续介绍有关Address space和address operations.file和file operations. ...
- Linux VFS机制简析(一)
Linux VFS机制简析(一) 本文主要基于Linux内核文档,简单分析Linux VFS机制,以期对编写新的内核文件系统(通常是给分布式文件系统编写内核客户端)的场景有所帮助. 个人渊源 切入正文 ...
- Linux内存管理机制简析
Linux内存管理机制简析 本文对Linux内存管理机制做一个简单的分析,试图让你快速理解Linux一些内存管理的概念并有效的利用一些管理方法. NUMA Linux 2.6开始支持NUMA( Non ...
- Binder机制简析(三)
注册Service Service组件运行在Server进程中,首先要将Service注册到Service Manager中,再启动一个Binder线程池来等待和处理Client的通信请求. 注册过程 ...
- 简析 .NET Core 构成体系
简析 .NET Core 构成体系 Roslyn 编译器 RyuJIT 编译器 CoreCLR & CoreRT CoreFX(.NET Core Libraries) .NET Core 代 ...
- [转载] Thrift原理简析(JAVA)
转载自http://shift-alt-ctrl.iteye.com/blog/1987416 Apache Thrift是一个跨语言的服务框架,本质上为RPC,同时具有序列化.发序列化机制:当我们开 ...
- SpringMVC源码情操陶冶-HandlerAdapter适配器简析
springmvc中对业务的具体处理是通过HandlerAdapter适配器操作的 HandlerAdapter接口方法 列表如下 /** * Given a handler instance, re ...
- JAVA JVM常见内存参数配置简析
JVM常见内存参数配置简析 常见参数 -Xms .-Xmx.-XX:newSize.-XX:MaxnewSize.-Xmn(-XX:newSize.-XX:MaxnewSize) 简析 1.-Xm ...
- Linux驱动之中断处理体系结构简析
S3C2440中的中断处理最终是通过IRQ实现的,在Linux驱动之异常处理体系结构简析已经介绍了IRQ异常的处理过程,最终分析到了一个C函数asm_do_IRQ,接下来继续分析asm_do_IRQ, ...
随机推荐
- JS:this关键字1
this 代表了当前的对象,哪个对象调用了this所在的函数,this就代表了哪个对象: 例1: function fn(){ var a = 1; console.log(this) } fn() ...
- sublime_text 3安装Emmet时出现PyV8警告
使用Emmet是需要在PyV8依赖下才可以的.1. 下面是下载网址:PyV8下载地址 下载自己系统版本的压缩包,然后解压,自己创建一个名为PyV8文件夹.将解压后的文件放入该文件夹里. 打开首选项里的 ...
- VueX的模块你知道多少?
为什么会出现VueX的模块呢?当你的项目中代码变多的时候,很难区分维护.那么这时候Vuex的模块功能就这么体现出来了. 那么我们就开始吧!一.模块是啥? /* eslint-disable no-un ...
- KTL 一个支持C++14编辑公式的K线技术工具平台 - 第七版,体验GPGPU。
K,K线,Candle蜡烛图. T,技术分析,工具平台 L,公式Language语言使用c++14,Lite小巧简易. 项目仓库:https://github.com/bbqz007/KTL 国内仓库 ...
- RPA应用场景-定点取数
场景概述定点取数 所涉系统名称业务系统,Excel 人工操作(时间/次) 8 小时 所涉人工数量 2 操作频率实时 场景流程 1.从业务系统中拉取指定字段值的数据填入Excel: 2.将Excel每隔 ...
- Java开发学习(七)----DI依赖注入之自动装配与集合注入
一.自动配置 上一篇博客花了大量的时间把Spring的注入去学习了下,总结起来就两个字麻烦.麻烦在配置文件的编写配置上.那有更简单方式么?有,自动配置 1.1 依赖自动装配 IoC容器根据bean所依 ...
- 当在命令行输入"pip install xxx"
当输入"pip install xxx"时发生了什么 不知道你在下载一些包的时候有没有什么疑惑,输入了"pip install xxx" ,系统是如何找到对应的 ...
- for循环 --和复合赋值
阶乘 1.n!=1x2x3x4x...xn 2.写出一个程序,让用户输入n,然后计算输出n! *变量: *显然读用户的输入需要一个int的n,然后计算的结果需要用一个变量保存,可以是int的facto ...
- Data too long for column 'xxx' at row
Data too long for column 'xxx' at row 数据库的默认的utff-8,且连接的字符串也设置了utf-8,数据库字段用的text,但是还是报错,原因超出了长度,要最大的 ...
- 6 zookeeper实现分布式锁
zookeeper实现分布式锁 仓库地址:https://gitee.com/J_look/ssm-zookeeper/blob/master/README.md 锁:我们在多线程中接触过,作用就是让 ...