K8S Flannel网络插件

0.前言

参考文档：https://github.com/containernetworking/cni

Pod网络插件，为了实现Pod网络而需要的插件、组件。由于Kubernetes通过开放的CNI接口来允许插件的接入，所以它又称之为CNI网络插件。

为了解决跨主机容器间通信问题，市面上存在很多解决方案，为了兼容和规范这些解决方案，Kubernetes仅设计了网络模型，却将Pod网络的实现交给了CNI网络插件，并允许网络插件通过标准的CNI（Container Network Interface，容器网络接口）连接到容器管理系统。

CNI网络插件主要解决的就是容器跨主机通信问题而存在的，并使跨主机间运行的Pod位于同一个网络平面，其大致解决步骤通常有两步：分配设置自定义容器网络（PodIP在集群中全局唯一性）和实现容器网络通信（处理方法通常有路由、覆盖网络{Vxlan、IPIP}等等）。

每个Pod都会创建一个名叫"pause"的根容器，其他运行的业务容器都是复制该容器的网络，这个容器就是Kubernetes为了自定义网络等特殊功能而存在的。

CNI网络插件分为以下四种：

• MAIN，主要的，创建接口，主要网络的实现。如：bridge、ipvlan、loopback、macvlan、ptp、vlan、host-device。
• Windows，特用于Windows的MAIN插件。如：win-bridge、win-overlay。
• IPAM，仅提供IP地址分配功能。如：dhcp、host-local、static。
• META，其他插件，通过调用第三方插件来实现网络功能。如：tuning、portmap、bandwidth、sbr、firewall、flannel。
  
  光单独靠一种CNI网络插件是无法实现完整的Pod网络通信和更高级的网络策略功能的，第三方组织可以灵活的组合这些CNI插件实现基本Pod网络功能和更高级功能，所以市面上流行出来很多解决方案。
  
  在现今，比较常用的流行的Pod网络解决方案有Flannel和Calico（支持网络策略功能）、Canal（由Flannel实现网络通信+Calico提供网络策略）。

1.Flannel概述

参考文档：https://github.com/flannel-io/flannel

Flannel是一种专为Kubernetes设计简单易配置的Pod网络通信方案。

1.1.PodIP（容器IP）地址分配方法

Flannel在每个主机运行一个代理"flanneld"负责从预置的网络地址空间"10.244.0.0/16"中为每个节点主机分配一个独立的子网"如10.244.0.0/24、10.244.1.0/24...依次类推"，每个节点都拥有一个独立子网。Flannel直接通过Kubernetes API 或Etcd来存储网络配置、分配的子网和任何辅助数据（例如主机的公共IP）。

[root@k8s-master01 ~]# ps aux |grep flannel |grep -v grep
root     129882  0.1  1.1 1406468 21844 ?       Ssl  01:58   0:01 /opt/bin/flanneld --ip-masq --kube-subnet-mgr
[root@k8s-master01 ~]# ifconfig
cni0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.244.0.1  netmask 255.255.255.0  broadcast 10.244.0.255
        inet6 fe80::40e6:c0ff:fe73:7322  prefixlen 64  scopeid 0x20<link>
        ether 42:e6:c0:73:73:22  txqueuelen 1000  (Ethernet)
        RX packets 2135  bytes 173643 (169.5 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 2144  bytes 221369 (216.1 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.124.134  netmask 255.255.255.0  broadcast 192.168.124.255
        ether 00:0c:29:40:e3:9f  txqueuelen 1000  (Ethernet)
        RX packets 21776361  bytes 3312500382 (3.0 GiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 21943903  bytes 3680963238 (3.4 GiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.244.0.0  netmask 255.255.255.255  broadcast 0.0.0.0
        inet6 fe80::743d:5cff:febf:9d75  prefixlen 64  scopeid 0x20<link>
        ether 76:3d:5c:bf:9d:75  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 8 overruns 0  carrier 0  collisions 0
....
veth5af012c2: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet6 fe80::7c96:79ff:feb5:e5d1  prefixlen 64  scopeid 0x20<link>
        ether 7e:96:79:b5:e5:d1  txqueuelen 0  (Ethernet)
        RX packets 1071  bytes 102134 (99.7 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 1091  bytes 112057 (109.4 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
veth72fc4936: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet6 fe80::f44a:83ff:fe6b:e926  prefixlen 64  scopeid 0x20<link>
        ether f6:4a:83:6b:e9:26  txqueuelen 0  (Ethernet)
        RX packets 1064  bytes 101399 (99.0 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 1072  bytes 110626 (108.0 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

Flannel会在每个创建的Pod从子网中"10.244.0.0/24"分配一个集群中全局唯一的PodIP，每个主机上创建一个名为"cni|cbr0"的拥有IP地址"10.244.0.1"的虚拟网卡(地址在全局唯一)作为Pod的网关，

用于跨主机Pod间网络通信。如下图所示：

1.2.跨主机Pod网络通信实现方法

参考文档：https://github.com/flannel-io/flannel/blob/master/Documentation/backends.md

Flannel支持多种跨主机间Pod通信处理方法（backend mechanisms，又称之为后端机制）。

1.2.1.HOST-GW

host-gw，Host GateWay，主机网关，在节点主机上创建到达目标Pod地址的路由直接完成报文转发。

该模式仅适用于物理主机在同一个局域网中，在跨网段的物理主机网络中，需要在跨网段的路由设备上手动添加静态路由，随着路由的跳数会增加路由条目的数量，增加复杂度。

1.2.2.VXLAN

VxLAN（默认），VxLAN，Virtual extensible Local Area Network，虚拟可扩展局域网。Flannel使用Linux内核的VxLAN模块将虚拟网络数据包信息封装到物理网络的报文中，然后通过物理网络传输报文，类似于VPN隧道封装技术。这将会在所有节点主机上创建一个名叫"flannel.1"的虚拟网卡用于VxLAN报文的封装和解封装工作，Flannel会将这个网卡的MAC和IP相关信息记录到Etcd。

VxLAN有两种跨主机通信机制：

VxLAN Default：默认机制



VxLAN DirectRouting：使用直接路由的方式通信，类似于host-gw，当主机在同一个子网时则通过静态路由的方式直接将Pod网络报文转发到其他主机上，如果主机在不同子网中时则采用默认的VxLAN通信方式。在配置参数中使用"DirectRouting：true"即可。

1.2.3.UDP

UDP，使用普通的UDP报文封装成隧道转发，工作原理等同于VxLAN，只不过封装的报文为UDP报文。仅用于调试，当前面两种模式不适用时，则可以使用该通信方式（早期的Linux内核不支持VxLAN）。该模式性能与前两种对比较低。

2.安装Flannel网络插件

参考文档：https://github.com/flannel-io/flannel

当前主机环境：

• 主机系统版本：CentOS Linux release 7.6.1810 (Core)
• Kubernetes版本：v1.23.0
  
  安装要求：无

1、配置Github域名加速

安装清单文件来源于Github，所以需要配置一下域名加速。

浏览器输入"https://www.ipaddress.com/"查询获取域名解析国内IP。



向主机Host文件添加记录：

[root@k8s-master01 ~]# cat >> /etc/hosts <<EOF
185.199.108.133 raw.githubusercontent.com
EOF

2、下载清单文件

Kubernetes v1.17+：

[root@k8s-master01 ~]# wget https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml -O flannel.yml

Kubernetes v1.6~v1.15：

[root@k8s-master01 ~]# wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/k8s-manifests/kube-flannel-legacy.yml -O flannel-legacy.yml

3、配置Flannel

Flannel默认使用的Pod子网（CIDR）是"10.244.0.0/16"，如果你在初始化集群的时候设置的Pod子网为其他网段，则这边需要修改为相同的子网。

Flannel默认使用的后端机制为VXLAN。配置后端可以参考"https://github.com/flannel-io/flannel/blob/master/Documentation/backends.md"文档。

[root@k8s-master01 ~]# vim flannel.yml
...
kind: ConfigMap
apiVersion: v1
metadata:
  name: kube-flannel-cfg
  namespace: kube-system
  labels:
    tier: node
    app: flannel
data:
  cni-conf.json: |
    {
      "name": "cbr0",
      "cniVersion": "0.3.1",
      "type": "flannel",
      "delegate": {
        "hairpinMode": true,
        "isDefaultGateway": true
      }
    }
  net-conf.json: |
    {
      "Network": "10.244.0.0/16",
      "Backend": {
        "Type": "vxlan"
      }
    }
...

4、使用清单文件安装Flannel

[root@k8s-master01 ~]# kubectl apply -f flannel.yaml

3.Flannel配置详解（安装Flannel前必读）

参考文档：https://github.com/flannel-io/flannel/blob/master/Documentation/backends.md

通过flannel.yaml清单文件可以看到flannel的配置信息保存到了ConfigMap/kube-flannel-cfg中名叫net-conf.json的文件。

我们可以通过修改相关配置来修改Flannel的工作模式和相关参数。

kind: ConfigMap
apiVersion: v1
metadata:
  name: kube-flannel-cfg
  namespace: kube-system
  labels:
    tier: node
    app: flannel
data:
  cni-conf.json: |
    {
      "name": "cbr0",
      "cniVersion": "0.3.1",
      "plugins": [
        {
          "type": "flannel",
          "delegate": {
            "hairpinMode": true,
            "isDefaultGateway": true
          }
        },
        {
          "type": "portmap",
          "capabilities": {
            "portMappings": true
          }
        }
      ]
    }
  net-conf.json: |
    {
      "Network": "10.244.0.0/16",
      "Backend": {
        "Type": "vxlan"
      }
    }

3.2.配置Flannel工作模式为VXLAN相关配置项

VxLAN，Virtual extensible Local Area Network，虚拟可扩展局域网。

Type(string): vxlan

设置Flannel工作模式为"vxlan"。

VNI(number)

设置要使用的VXLAN标识符(VNI)。在Linux中默认值为1。 在Windows上应该大于或等于4096。

Port(number)

用于发送封装数据包的 UDP 端口。 在Linux上，默认值为内核默认值，目前为8472，但在Windows上，必须为4789。

GBP(Boolean):

Group Based Policy，启用基于VXLAN组的策略。默认为false。Windows不支持GBP。

DirectRouting(Boolean):

直接路由的意思，当主机位于同一个局域网时，则采用静态路由的方式进行Pod间通信，类似于host-gw的工作方式。当主机在不同的子网中时，则采用Vxlan隧道方式通信。该配置默认值为false。Windows不支持该功能。

MacPrefix(String):

仅用于Windows，设置Mac前缀。默认为OE-2A。

3.3.配置Flannel工作模式为HOST-GW相关配置项

Host GateWay，主机网关。

Type(string): host-gw

设置Flannel工作模式为"host-gw"。

3.4.配置Flannel工作模式为UDP相关配置项

仅当主机不支持VxLAN和host-gw模式的时候才建议使用该模式。

Type(string): udp

设置Flannel工作模式为"udp"。

Port(number):

设置发送封装数据包要使用的UDP端口。默认为8285.

4.完全卸载Flannel网络插件

想要完全的从主机上移除Flannel，除了需要删除已运行的Pod之外，还需要删除主机中相关的创建虚拟网卡设备和相关CNI配置文件。

1、基于安装清单删除Flannel创建的资源对象

在任一Master节点上操作:

[root@k8s-master01 ~]# kubectl delete -f flannel.yml

2、移除虚拟网卡

在所有主机上操作：

[root@k8s-master01 ~]# ifconfig cni0 down
[root@k8s-master01 ~]# ip link delete cni0
[root@k8s-master01 ~]# ifconfig flannel.1 down
[root@k8s-master01 ~]# ip link delete flannel.1

3、删除Flannel相关CNI配置文件

[root@k8s-master01 ~]# rm -rf /var/lib/cni/
[root@k8s-master01 ~]# rm -rf /etc/cni/net.d/*

4、重启kubelet服务

[root@k8s-master01 ~]# systemctl restart kubelet
[root@k8s-master01 ~]# kubectl get nodes
NAME           STATUS     ROLES                  AGE     VERSION
k8s-master01   NotReady   control-plane,master   3h56m   v1.23.0
k8s-master02   NotReady   control-plane,master   3h55m   v1.23.0
k8s-master03   NotReady   control-plane,master   3h55m   v1.23.0
k8s-node01     NotReady   <none>                 3h52m   v1.23.0