http://www.brendangregg.com/ebpf.html https://qmonnet.github.io/whirl-offload/2016/09/01/dive-into-bpf/ A thorough introduction to eBPF https://lwn.net/Articles/740157/ http://netdevconf.org/1.2/papers/borkmann.pdf https://qmonnet.github.io/whirl-off…

libpcap支持一种功能非常强大的过滤语言——“伯克利包过滤”语法.使用BPF过滤规则,你可以确定该获取和检查哪些流量,忽略哪些流量.BPF让你能够通过比较第2.3.4层协议中各个数据字段值的方法对流量进行过滤.BPF中内置了一些“基元”来指代一些常用的协议字段.可以用“host”."prot"之类的基元写出非常简洁的BPF过滤规则,也可以检测位于指定偏移量上的字段(甚至可以是一个位)的值.BPF过滤器也可以由详尽的条件链和嵌套的逻辑“与”.“或”操作组成. BPF基元 现在,构造一…

就网络抓包来说,绝大部分的情况下,我们都是对特定的ip/端口/协议进行捕获和分析,否则就会有大量的垃圾报文,使得分析和性能低下.大部分的抓包工具都采用BPF语法,具体可参考 http://biot.com/capstats/bpf.html 好像没有一个官方地址说明完整的.…

ASPF ASPF(Application Specific Packet Filter)是针对应用层的包过滤,其原理是检测通过设备的报文的应用层协议信息,记录临时协商的数据连接,使得某些在安全策略中没有明确定义要放行的报文也能够得到正常转发. 通过以下实验说明,ASFP: FTP客户端经过防火墙访问FTP服务器 配置完成后,尝试登陆FTP服务器,可以正常登陆,但是不能够正常进行数据连接. 查看会话状态: 已经成功建立session会话. FTP协议是一个典型的多通道协议,在其工作过程中,FTP…

Luca Canali on 26 May 2016 Topic: In this post you will find a short discussion and pointers to the code of a few sample scripts that I have written using Linux BPF/bcc and uprobes for Oracle tracing. Previous work and motivations Tools for dynamic t…

源起 最近看到国内两篇文章[1][2]先后翻译了就职于Netflix的性能分析大牛Brendan Gregg于2017年7月31日写的<Golang bcc/BPF Function Tracing>[3],这迅速引起了我的兴趣,2016年时我曾在做MQTT服务器端开发时便意识到软件调试及动态追踪技术的重要性,其间研究春哥(章亦春 agentzh)的<动态追踪技术漫谈>[4]时,文中提及"最近几年 Linux 的主线开发者们,把原来用于防火墙的 netfilter 里所使…

BPF for storage:一种受外核启发的反式 译自:BPF for storage: an exokernel-inspired approach BPF主要用于报文处理,通过绕过网络栈提高报文的处理速度.本文则用于通过绕过存储栈(文件系统.BIO等层)来提高存储的读写效率,但在实现过程中也遇到了相应的挑战,如文件和块的映射关系,多进程共享存储块以及进程间的QoS等. 概要 内核存储路径开销占新式NVMe存储设备访问延迟的一半.本文中我们将探究使用BPF在内核的I/O处理栈中注入用户定自…

全面介绍eBPF-概念 前面介绍了BCC可观测性和BCC网络,但对底层使用的eBPF的介绍相对较少,且官方欠缺对网络方面的介绍.下面对eBPF进行全面介绍. 目录 全面介绍eBPF-概念 BPF概述 eBPF的演进 使用eBPF可以做什么? 内核的eBPF校验器 bpf()系统调用 eBPF 程序类型 eBPF 数据结构 eBPF辅助函数 如何编写eBPF程序 seccomp 概述 历史 BPF 编写过滤器 XDP XDP模式 模式介绍 模式校验 XDP Action AF_XDP 术语 UME…

上一节(<4.1 SNIFFER(嗅探器)之数据捕获(上)>)中, 我们讲解了通过Raw Socket的方式来编写Sniffer的基本方法. 本节我们继续来编写Sniffer,只不过使用现成的库,可以大大 缩短我们的工作时间和编程难度,和上一篇文章对比就知道了. 4.1.6 使用Pypcap编写Sniffer 如果在你的电脑上找不到pypcap模块,需要手动进行安装一下.在Kali中使用下面的命令进行安装: apt-get install libpcap-dev pip install pyp…

Sniff方法定义: sniff(filter="",iface="any", prn=function, count=N) 1.filter的规则使用 Berkeley Packet Filter (BPF)语法,具体参考:http://blog.csdn.net/qwertyupoiuytr/article/details/54670477 2.iface用来指定要在哪个网络接口上进行抓包[即网卡的名称](通常不指定即所有网络接口):例如: dpkg = sni…

提高服务端性能的几个socket选项 在之前的一篇文章中,作者在配置了SO_REUSEPORT选项之后,使得应用的性能提高了数十倍.现在介绍socket选项中如下几个可以提升服务端性能的选项: SO_REUSEADDR SO_REUSEPORT SO_ATTACH_REUSEPORT_CBPF/EBPF 验证环境:OS:centos 7.8:内核:5.9.0-1.el7.elrepo.x86_64 默认行为 TCP/UDP连接主要靠五元组来区分一条链接.只要五元组不同,则视为不同的连接. {pr…

目录 Scapy scapy的安装和使用 发包 发包和收包 抓包 将抓取到的数据包保存 查看抓取到的数据包 格式化输出 过滤抓包 Scapy scapy是python中一个可用于网络嗅探的非常强大的第三方库,可以用它来做 packet 嗅探和伪造 packet. scapy已经在内部实现了大量的网络协议.如DNS.ARP.IP.TCP.UDP等等,可以用它来编写非常灵活实用的工具. 换言之,Scapy 是一个强大的操纵报文的交互程序.它可以伪造或者解析多种协议的报文,还具有发送.捕获.匹配请求和…

过滤器可以让你找出你所希望进行分析的数据包.简单来说,一个过滤器就是定义了一定条件,用来包含或者排除数据包的表达式.如果你不希望看到一些数据包,你可以写一恶搞过滤器来屏蔽它们.如果你希望只看到某些数据包,你可以写一个只显示这些数据包的过滤器. Wireshark主要提供两种主要的过滤器. 捕获过滤器:当进行数据包捕获时,只有那些满足给定的包含/排除表达式的数据包会被捕获. 显示过滤器:该过滤器根据指定的表达式用于在一个已捕获的数据包集合中,隐藏不想显示的数据包,或者只显示那些需要的数据包. 这里…

概览 LSF(Linux socket filter)起源于BPF(Berkeley Packet Filter).基础从架构一致.但使用更简单.LSF内部的BPF最早是cBPF(classic).后来x86平台首先切换到eBPF(extended).但因为非常多上层应用程序仍然使用cBPF(tcpdump.iptables),而且eBPF还没有支持非常多平台,所以内核提供了从cBPF向eBPF转换的逻辑,而且eBPF在设计的时候也是沿用了非常多cBPF的指令编码. 可是在指令集合寄存器.还有架…

Dive into BPF: a list of reading material Sep 1, 2016 • Quentin Monnet◀Table of contents What is BPF? Dive into the bytecode Resources Generic presentations About BPF About XDP About other components related or based on eBPF Documentation About BPF A…

概念 利用BPF( Berkeley Packet Filter)工具集结合iptables的xt_bpf模块可以实现高性能包过滤,从而应对大规模的ddos攻击.BPF Tools包含一组简单的python脚本,一部分用于分析pcap文件,其它主要用于生成bpf字节码. 一.下载并安装bpftools 在https://github.com/cloudflare/bpftools下载zip文件解压,也可以通过git下载,然后编译,安装脚本如下: #!/bin/bash #yum -y kerne…

Linux资源分析工具杂谈 开篇之前请大家先思考一个问题:        磁盘的平均I/O响应时间是1 ms,这个指标是好,还是差? 众所周知,计算机科学是客观的,也就是说对于一个给定的问题,我们总是能给出明确的答案,比如我们网上购物买了两件100元的衣服,我们应该付款200元,但是系统给我们计算出的金额确是300元,我们可以明确的告诉商家,结果算错了.与此不同,性能却常常是主观的,甚至对性能问题的判断都可能是不准确的,比如我们刚刚提到的1ms,一定有人认为是好的,也有人认为是差的,要客观的回答…

Linux未来监控tracing框架--eBPF eBPF源于早年间的成型于 BSD 之上的传统技术 BPF(Berkeley Packet Filter).BPF 的全称是 Berkeley Packet Filter,顾名思义,这是一个用于过滤(filter)网络报文(packet)的架构. BPF 是在 1997 年首次被引入 Linux 的,Linux 内核中的报文过滤机制其实是有自己的名字的:Linux Socket Filter,简称 LSF. 从 3.15 开始,一个套源于 BPF…

一.上节回顾 上一节,我以 ksoftirqd CPU 使用率高的问题为例,带你一起学习了内核线程 CPU 使用率高时的分析方法.先简单回顾一下. 当碰到内核线程的资源使用异常时,很多常用的进程级性能工具,并不能直接用到内核线程上.这时,我们就可以使用内核自带的 perf 来观察它们的行为,找出热点函数,进一步定位性能瓶颈.不过,perf 产生的汇总报告并不直观,所以我通常也推荐用火焰图来协助排查. 其实,使用 perf 对系统内核线程进行分析时,内核线程依然还在正常运行中,所以这种方法也被称为…

原文链接 Learn eBPF Tracing: Tutorial and Examples译者 弃余 在 LPC'18(Linux Plumber's conference) 会议上,至少有24个关于 eBPF 的演讲. eBPF 这一实用技术,将是每个开发者需要掌握的技巧. 也许你的新年目标得再多一个了:学习 eBPF! eBPF 的名称源于 extended Berkeley Packet Filter,如果从 eBPF 的功能来说,类似 Virtual Kernel Instructio…

I got the following error message when trying to open a network interface for capture using Wireshark on Mac OS X (Wireshark 1.5.1 Intel 64 beta and 1.4.6 Intel 64 show this behaviour): There are no interfaces on which a capture can be done. To solve…

winpcap抓包原理 WinPcap 是由伯克利分组捕获库派生而来的分组捕获库,它是在Windows 操作平台上来实现对底层包的截取过滤.WinPcap 是 BPF 模型和 Libpcap 函数库在 Windows 平台下网络数据包捕获和网络状态分析的一种体系结构,这个 体系结构是由一个核心的包过滤驱动程序,一个底层的动态连接库 Packet.dll 和一个高层的独立于系统的函数库 Libpcap 组成.底层的包 捕获驱动程序实际为一个协议网 络驱动程序,通过对 NDIS 中函数的调用为 Wi…

作为网络开发人员,使用fiddler无疑是最好的选择,方便易用功能强. 但是什么作为爱学习的同学,是不应该止步于http协议的,学习wireshark则可以满足这方面的需求.wireshark作为抓取各种底层协议的包有着强大的功能,用于网络排错或者一些其他通讯方面的查看,是必须的. 以前有自己看过wireshark相关的简要教程,也是一知半解.借助<Wireshark数据包分析实战>一书,更准确知晓wireshark到底能干啥吧! 1. 网络七层协议(老生长谈了,看过许许多多的书,都会提到的一…

catalog . 引言 . sandbox introduction . Sandboxie . seccomp(short for secure computing mode): API级沙箱 . 利用do_syscall_trace一次性对所有系统调用进行Hook监控 . cuckoo . Detux . remnux . Noriben Malware Analysis Sandbox . Limon Sandbox for Analyzing Linux Malwares . 基于do…

特别提醒:自行定制的内核,必須经过全方位测试无誤后,方能用于生产环境 基于:/usr/src/sys/amd64/conf/GENERIC cpu HAMMER ident TEST_kernel ##makeoptions DEBUG=-g # Build kernel with gdb() debug symbols:若不使用 Dtrace 可注释掉 ##makeoptions WITH_CTF= # Run ctfconvert() for DTrace support:若不使用 Dtra…

Linux就这个范儿 第13章 打通任督二脉 0111010110……你有没有想过,数据从看得见或看不见的线缆上飞来飞去,是怎么实现的呢?数据传输业务的未来又在哪里?在前面两章中我们学习了Linux网络方面的各种工具,打造了形形色色的网络服务.然而我们并不满足于仅仅知道这些表面的知识,还希望深入了解它们的底层实现.那就来吧,打通任督二脉,探究不同类型的网络以及隐藏在网络后面的世界. 13.1 了解网络驱动工欲善其事,必先利其器.二十年前我们还走在狭窄的乡间小道开着信息牛车.时至今日,信息高速公路…

2015/02/15,centos6.5-64-minimal,初始205个包 [root@localhost snort]# yum install wget[root@localhost snort]# wget https://www.snort.org/downloads/snort/daq-2.0.4.tar.gz[root@localhost snort]# wget https://www.snort.org/downloads/snort/snort-2.9.7.0.tar.gz…

# cd /usr/src/sys/i386/conf # cp GENERIC GENERIC.20060812# ee GENERIC 如果要加入ipf防火墙的话则加入options         IPFIREWALLoptions         IPFIREWALL_DEFAULT_TO_ACCEPToptions         IPFIREWALL_FORWARDoptions         IPDIVERT # cd /usr/src/sys/i386/conf 运行confi…

home Choosing a Linux Tracer (2015) 08 Jul 2015 Linux Tracing is Magic! A tracer is an advanced performance analysis and troubleshooting tool, but don't let that intimidate you... If you've used strace(1) or tcpdump(8) – you've used a tracer. System…

一.  pcap简介 封装了OS提供的底层抓包技术,对外提供一些统一的抓包(及发送)接口.实现这些功能的其他技术包括:BPF(Berkeley Packet Filter),DLPI(Data Link Provider Interface),NIT ,Linux专用的SOCKET_PACKET或PF_PACKET等. 二.  pcap Linux安装 参考<INSTALL.txt>. 进入pcap源码目录,执行./configure,这将检测系统环境,并生成Makefile文件:执行make…