参考博客 Pktgen概述 Pktgen,(Packet Gen-erator)是一个基于DPDK的软件框架,发包速率可达线速. 提供运行时管理,端口实时测量. 可以控制 UDP, TCP, ARP, ICMP, GRE, MPLS and Queue-in-Queue等包. 可以通过TCP进行远程控制. Pktgen官网 安装使用过程 版本:Ubuntu 16.04 DPDKL 18.02 cpu配置: 安装DPDK依赖: DPDK安装依赖项合集 环境合集 安装DPDK:Quick Start

gdb了ovs的代码,发现是 dpdk的imiss计数在不断的丢包. 看了ovs-openvswitchd的日志,重启时发现如下行: --21T11::.427Z||timeval|WARN|Unreasonably long 22418ms poll interval (474ms user, 21612ms system) --21T11::.427Z||timeval|WARN|faults: minor, major --21T11::.427Z||timeval|WARN|disk:

第一部分 硬件识别包类型 网卡,是可以识别包类型的.在dpdk的API中.识别完之后,存在这个结构里: struct rte_mbuf { ...... union { uint32_t packet_type; /**< L2/L3/L4 and tunnel information. */ struct { uint32_t l2_type:; /**< (Outer) L2 type. */ uint32_t l3_type:; /**< (Outer) L3 type. */ u

被NFV的论文折磨了两天,今天上午看了两篇DPDK的综述. 传统的包捕获机制 1. BPF 两个组成部分:转发部分和过滤部分. 转发部分负责从链路层提取数据包并转发给过滤部分. 过滤部分根据过滤规则,决定包的转发或者丢弃,然后交给应用层. 缺点:所有动作都在内核中完成.可移植性差. 2. libpcap 将网卡设置为混杂模式,拷贝所有流经网卡的数据包. 用BPF过滤后交付内核中的数据包缓冲区. 应用程序通过系统调用的方式,从数据包缓冲区来获取数据包. 缺点:浪费CPU周期. 2. pf_ring

三层包测试 发包方式:192.168.20.205 发包工具:pktgen 发包网卡:i350 收包设备:1922.168.20.185 CPU:Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz 收包方式:网卡ixgeb驱动,单队列,promisc计数 收包网卡: 82599EB 传输链路:千兆RJ45网线直连 发包方法: Pktgen:/> set 0 size 500 Pktgen:/> set 0 count 1000000 Pktgen:/> se

原创翻译,转载请注明出处. DPDK的librte_pdump库,提供了在DPDK框架下抓包的功能.这个库通过完全复制Rx和Tx的mbuf到一个新的内存池,因此它降低应用程序的性能,所以只推荐在调试的时候使用.pdump库提供了如下的API来初始化这个抓包框架,使能或者停止抓包,以及清理退出抓包框架. rte_pdump_init(): 初始化抓包框架. rte_pdump_enable(): 在一个端口队列开启抓包.注意: 过滤选项将在以后实现,目前只是个占位的. rte_pdump_enab

看到知乎上有个关于linux多进程.多线程的讨论:http://www.zhihu.com/question/19903801/answer/14842584 自己项目里也对这个问题有过很多探讨和测试,所以正好开贴整理一下,题目有点长,其实就2点: 1. 多进程模型和多线程模型,这两种模型在linux上有什么区别,各有何优缺点? 这里仅限于linux平台,因为linux平台跟win平台关于线程的实现差异很大. 2. 采用intel dpdk做包处理程序,是采用多进程模型好,还是多线程模型好? 这

这次主要是测试在dpdk方案下,ineedle的处理包的性能. 发包工具: 使用立永当时写的一个发包工具:linux_pcap 做法:大概是从网上抓取了一些数据包,将源ip替换为随即ip,sip替换为要监控的ip地址.然后用pcap工具进行发包 设备:这次发包工具运行在测试机上,也就是这次跑ineedle的DELLR430设备,用em2端口发包,用p1p4接口来接收包. 注意:要打开网卡的混杂模式. 说明:这个设备性能比较好,发包正常的包最大速度能够达到:75M/s.单包发送(排除IO干扰)情况

做这个程序的意图是wireshark插件编写复杂(虽然也支持lua),而轻量级的工具如smartsniff,minisniff不支持插件化数据分析,各种工具用下来或多或少不顺手.以前写的外挂也都是手工+写代码的方式分析数据,过程非常痛苦.因而诞生了这个抓包后可lua脚本分析的工具.希望对做网络数据分析的同学有帮助. 说明:1.闭源免费.使用raw socket,lua 5.3.1,最大抓取60万数据包,和wireshark/tcpdump文件格式兼容2.在winxp-32和win10-64测试正

[中英对照]Introduction to DPDK: Architecture and Principles | DPDK概论: 体系结构与实现原理   Introduction to DPDK: Architecture and Principles | DPDK概论:体系结构与实现原理 Linux network stack performance has become increasingly relevant over the past few years. This is perfe

基于DPDK的高效数据包捕获技术分析与应用 本文应用场景 网络安全领域的数据包捕获技术,对系统有高性能需求,要在短时间内成功收集.分析.处理大量数据,实时捕获效率低下. 旧有传统数据包处理机制 BPF,伯克利封包处理器,是 Unix Linux 上的链路层的一种原始接口,许多功能以此为基础. libpcap,linux 下的 C 语言网络数据包捕获函数库,大多数网络包分析软件以此为基础. pf-ring 是 Luca Deri 发明的一种 API 函数库. 有所缺陷: 在 Linux 内核中完成

TCP(transport control protocol,传输控制协议)是面向连接的,面向流的,提供高可靠性服务.收发两端(客户端和服务器端)都要有一一成对的socket, 因此,发送端为了将多个发往接收端的包,更有效的发到对方,使用了优化方法(Nagle算法),将多次间隔较小且数据量小的数据,合并成一个大的数据块, 然后进行封包.这样,接收端,就难于分辨出来了,必须提供科学的拆包机制.即面向流的通信是无消息保护边界的. UDP(user datagram protocol,用户数据报协议)

目录 文章目录 目录 前文列表 传统内核协议栈的数据转发性能瓶颈是什么? DPDK DPDK 基本技术 DPDK 架构 DPDK 核心组件 应用 NUMA 亲和性技术减少跨 NUMA 内存访问 应用 CPU 绑核技术减少上下文切换损耗 应用大页内存技术减少 TLB miss 应用 PMD 轮询技术减少网卡外设的硬件中断 应用 UIO 和内存池技术减少内存拷贝 应用无锁循环队列较少锁操作对 CPU 的开销 DPDK 优化技术 DPDK 性能影响因素 硬件结构的影响 OS 版本及其内核的影响 OVS

[前言] 使用DPDK开发的朋友应该都了解使用dpdk的fwd线程的工作模式是polling模式,即100%轮询的方式去加速网络IO,这样我们在操作系统层面上来观察目标processer会发现usage一直为100%,但是这真的是系统的真实负载么?很显然并不是,本文给出一种方法来计算dpdk的fwd线程的真实负载的方法. [场景] 使用DPDK头痛的一点就是DPDK的fwd线程工作在polling模式,会直接消耗一整个processer的计算资源,有的时候为了性能考虑,往往还会给当前proces

DPDK之什么是imissed.ierrors.rx_nombuf 在采用DPDK进行网络抓包时常常会通过rte_eth_stats_get函数获取当前网卡的丢包状态,首先看一下该函数的声明: // 函数声明(dpdk-stable-19.11.3/lib/librte_ethdev/rte_ethdev.h) int rte_eth_stats_get(uint16_t port_id, struct rte_eth_stats *stats); // rte_eth_stats 结构体(dp

做这个程序的意图是wireshark插件编写复杂(虽然也支持lua),而轻量级的工具如smartsniff,minisniff不支持插件化数据分析,各种工具用下来或多或少不顺手.以前写的外挂也都是手工+写代码的方式分析数据,过程非常痛苦.因而诞生了这个抓包后可lua脚本分析的工具.希望对做网络数据分析的同学有帮助. 说明:1.闭源免费.使用raw socket,lua 5.3.1,最大抓取60万数据包,和wireshark/tcpdump文件格式兼容2.在winxp-32和win10-64测试正

注: 之所以要中英文对照翻译下面的文章,是因为SPDK严重依赖于DPDK的实现. Introduction to DPDK: Architecture and PrinciplesDPDK概论:体系结构与实现原理 Linux network stack performance has become increasingly relevant over the past few years. This is perfectly understandable: the amount of data

一.上节总结回顾 上一节,我们回顾了经典的 C10K 和 C1000K 问题.简单回顾一下,C10K 是指如何单机同时处理 1 万个请求(并发连接 1 万)的问题,而 C1000K 则是单机支持处理 100 万个请求(并发连接 100 万)的问题. I/O 模型的优化,是解决 C10K 问题的最佳良方.Linux 2.6 中引入的 epoll,完美解决了C10K 的问题,并一直沿用至今.今天的很多高性能网络方案,仍都基于 epoll. 自然,随着互联网技术的普及,催生出更高的性能需求.从 C10

SRIOV介绍.VF直通配置,以及包转发率性能测试 小慢哥的原创文章,欢迎转载 目录 ▪ 1. SRIOV介绍 ▪ 2. 环境说明 ▪ 3. 开启SRIOV ▪ 4. 生成VF ▪ 5. VF直通 ▪ 6. 开启irqbalance ▪ 7. VM迁移 ▪ 8. 带宽限速 ▪ 9. 安全 ▪ 10. 其他使用限制 ▪ 11. 性能测试 ▪ 12. windows虚拟机使用VF ▪ 13. 运维命令 ▪ 14. 宿主屏蔽VF驱动 ▪ 附. 包转发率测试方法 ▪ 附. 参考文档 1. SRIOV介绍

因为工作需要,最近再次学习了node,上一次学习node是2014年,纯粹是个人兴趣,学了入门之后没有运用,加上赶别的项目又不了了之.这次正好捡起来.废话不多说,这里的MEAN指的是Mongodb.Express.Angular和Node. 通过整个项目逐步整合在一起.MEAN栈最大的特色不是运用了哪些框架或第三方,而是前后端都是一种语言,即JavaScript.早些年我也是对node抱着疑态度,觉得这个页面上操作dom的脚本语言,能扛得起后端那么多模块吗?但怀疑不防多了解一下,才决定写这个系列

BLE传输性能主要受以下几个因素影响:操作类型,Connection Interval,每个Connection Event内发送的帧数.每一帧数据的长度.具体参见如下链接: https://devzone.nordicsemi.com/question/3440/how-do-i-calculate-throughput-for-a-ble-link/ https://atmosphere.anaren.com/wiki/Data_rates_using_BLE https://punchth