DPDK+OpenvSwitch-centos7.4安装

系统版本

[root@controller ~]# cat /etc/redhat-release
CentOS Linux release 7.4.1708 (Core)

DPDK版本:

dpdk-18.02

硬件支持检查:

$grep hpet/proc/timer_list   //需支持hpet

如无显示，需设置BIOS：Advanced -> PCH-IO Configuration -> High Precision Timer ->(Change from Disabled to Enabled if necessary)

[root@controller ~]# grep hpet /proc/timer_list
Clock Event Device: hpet
set_next_event: hpet_legacy_next_event
set_mode: hpet_legacy_set_mode

安装必要软件:

yum install -y lrzsz gcc make  numactl-devel  pciutils

安装kernel-devel和kernel-headers 需要跟自己的内核版本对应上，我的是3.10.0-693.el7.x86_64(centos7.4)，那就需要安装对应的的kernel-devel-3.10.0-693.el7.centos.x86_64.rpm，kernel-headers-3.10.0-693.el7.centos.x86_64.rpm

用yum info kernel-headers检查当前yum源中的kernel信息，如果对不上大家可以自行下载src包进行编译

我也是编译好的这里就直接安装了

yum localinstall kernel-devel-3.10.0-693.el7.centos.x86_64.rpm

yum localinstall kernel-headers-3.10.0-693.el7.centos.x86_64.rpm

编译DPDK的时候需要用到这个目录

ln -sf /usr/src/kernels/3.10.0-693.el7.centos.x86_64/ /lib/modules/3.10.0-693.el7.x86_64/build

配置hugepages页

mkdir -p /dev/hugepages

mount -t hugetlbfs none /dev/hugepages -o pagesize=2MB

echo 1024 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

echo 1024 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages

查看hugepages页

[root@controller ~]# cat /proc/meminfo |grep Huge

AnonHugePages: 1781760 kB
HugePages_Total: 2048
HugePages_Free: 2048
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB

开机挂载hugepages页目录

[root@controller ~]# egrep -v "^#|^$" /etc/fstab
/dev/mapper/centos-root / xfs defaults 0 0
UUID=f3da6cd0-9c70-4683-be74-265a8ffe3e92 /boot xfs defaults 0 0
nodev /dev/hugepages hugetlbfs pagesize=1GB 0 0

赋予权限(正常下载dpdk的这个过程可以不用看,我是从别的机器上cp安装文件的有些文件没有执行权限)

chmod +x /root/dpdk-18.02/x86_64-native-linuxapp-gcc/app/dpdk-pmdinfogen

chmod +x /root/dpdk-18.02/buildtools/*

开始安装DPDK，cd到dpdk目录执行：

make install T=x86_64-native-linuxapp-gcc DESTDIR=/usr/src/dpdk

T就是你的机器架构,dpdk官方上有解释。

DESTDIR 就是dpdk安装目录

正常情况不会有报错的按照上面的方法。

根据需要导入对应的模块，当然也可以全部导入

1、UIO

一个用于设置设备的小内核模块，将设备内存映射到用户空间并注册中断。在许多情况下，Linux内核中包含的标准uio_pci_generic模块可以提供uio功能。

该模块可以使用以下命令加载：

modprobe uio_pci_generic

2、对于一些不支持传统中断的设备，例如虚拟功能（VF）设备，可能需要使用igb_uio模块来代替uio_pci_generic。

modprobe uio

insmod kmod/igb_uio.ko  #kmod路径在/root/dpdk-18.02/x86_64-native-linuxapp-gcc/kmod，在dpdk源码文件的地方

3、VFIO

依靠IOMMU保护，与UIO相比，它是更强大，更安全的驱动程序。要使用VFIO，必须加载vfio-pci模块：
注意：内核必须版本必须>=v3.6.0,必须支持硬件IO虚拟化（如 Intel® VT-d）

绑定网卡测试:

cd /root/dpdk-18.02/usertools

查看网卡绑定状态:

[root@controller usertools]# ./dpdk-devbind.py --status

Network devices using DPDK-compatible driver这栏中为<none>就是还没有绑定的网卡, 紫色框中就是可以绑定的网卡的名称

绑定网卡:

[root@controller usertools]# ./dpdk-devbind.py --bind=uio_pci_generic  02:00.1

--bind=可以改成上面说到的三种模块

02:00.1 网卡的设备号，这里也可以时候网卡的名字

查看下绑定情况

取消绑定:

./dpdk-devbind.py --bind=igb  02:00.1  #igb就是普通的网卡或者ixgbe都行