从0开始的InfiniBand硬件踩坑过程

由于科学计算实验的需求，需要使用InfiniBand做一个持久性内存全互联的分布式存储系统。其中从网卡到交换机使用Mellanox全家桶，而在Mellanox网卡与交换机的使用过程中还是遇到了不少的问题。在此将博主从0到RDMA的实践过程做一个总结，以避免大家在做此类研究的时踩坑、浪费时间。

1.首先准备了Mellanox的网卡（博主使用的是ConnectX-3 354A）插到Pice*8的槽上，用InfiniBand连接线将网卡与交换机或者网卡与网卡之间来连接起来。不用奇怪，此时网卡上的灯不会亮

2.进入到节点上查看PCI设备可以看到网卡      lspci |grep Mellanox

查看主机是否安装HCA   lspci -v |grep Mellanox

3.安装IB网卡驱动

上官网找到符合自己系统的驱动

https://cn.mellanox.com/page/products_dyn?product_family=26&mtag=linux_sw_drivers

红色框中连接不能直接wget，点进去之后会有让你Accept的东西，然后才给你下载连接。

在这有些小建议，最好用最新系统装，并且把内核更新到最新，网卡驱动版本一般都会比较超前，不用担心越界。老一些版本的系统可能会出稀奇古怪的内核不匹配问题，或者重启之后就出现mlx4_ib belong to kernel which is not a part of MLNX failed  skipping 这样子的错误，博主在centos 7.4折腾了很久都是这个错误，更新版本与内核后就没这个问题了。至于这个问题的具体原因网上有其他博客说过这个的解决方案，但非常麻烦且各种缺失这了那了。

查看系统版本：uname -a  lsb_release-a

更新系统版本：yum  update；

更新内核：yum upgrade kernel

Wget到驱动安装包后解压

# tar -zxvf  MLNX_OFED_LINUX-4.7-1.0.0.1-rhel7.7-x86_64.tgz

进入到MLNX_OFED_LINUX-4.7-1.0.0.1-rhel7.7-x86_64文件夹，执行驱动安装

# ./mlnxofedinstall

这时候有可能会提示缺少这了那了，根据提示缺啥按

yum install gtk2 atk tcl tcsh tk

然后重新执行  # ./mlnxofedinstall 继续根据提示缺少啥安装啥，如果不出问题，系统会自己查找到Mellanox设备，并且会提示update  firmware之类的东西，不用担心，系统重启后会自动更新。这块忘了截图

小Tips ：一般安装好了以后系统就直接自己启动了IB驱动，并且默认的是开机自启动，不用自己设置。

如果没有启动#systemctl start openibd  启动一下

设置开机自启动（一般不用）：#chkconfig openibd on

启动好了可以看到

安装完驱动，插好线，这个时候就可以看到网卡上的端口灯亮了，通过ibstat可以看到具体的IB端口信息

如上图，显示的是端口1正在初始化，且状态是LinkUp，初始化状态表示还存在问题（暂时先不考虑）。

卸载驱动则可以通过/usr/sbin/ofed_uninstall.sh或者进入到安装驱动的文件夹下运行卸载驱动程序。

通过ibnodes可以查看互联的IB节点信息

4.设置infiniband网卡IP  IPoIB

Ifconfig 可以看到网卡信息

但会出现Infiniband hardware address can be incorrect! Please read BUGS section in ifconfig(8)的提示，这块主要是由于IB网卡的MAC地址比较长，而ifconfig一般只认前八位。现在都推荐用 ip  a命令查看网卡信息（我还是喜欢用ifconfig）。

InfiniBand网卡的IP设置办法与以太网查不到，但要注意是的一定要加上TYPE，要不然会当作普通以太网处理，去查找以太网设备，然后提示找不到设备，或者网卡不符合，如图

其中 HWADDR与UUID可以不写，写的话要自己给ifcfg-ib0生成一个UUID，#uuidgen eth1，最主要的就是一定要加TYPE=InfiniBand，博主在这块浪费了好久时间，做了很多无用功，不过也搞清楚了这中间的部分细节。设置好了通过ip  a可以查看

5.IB网性能测试

还记得之前ibstat的initialzing吗，这个状态在IB网使用时会出现问题。

IB带宽测试在服务端执行：ib_send_bw -a -c UD -d mlx4_0 -i 1

在客户端执行ib_send_bw -a -c UD -d mlx4_0 -i 1 10.0.0.6

不行的原因initialzing,主要由于opensm没有开启。开启opensm可以整成运行服务端，客户端也一样

一切正常后测试过程可以看到

可以使用qperf测试其他内容，在服务端执行qperf

客户端执行qperf 10.0.0.5 ud_lat ud_bw rc_rdma_read_bw rc_rdma_write_bw uc_rdma_write_bw tcp_bw tcp_lat udp_bw udp_lat可以看到

至此InfiniBand硬件设置踩坑过程结束。