一 部署flannel

1.1 安装flannel

kubernetes 要求集群内各节点(包括 master 节点)能通过 Pod 网段互联互通。flannel 使用 vxlan 技术为各节点创建一个可以互通的 Pod 网络,使用的端口为 UDP 8472。

flanneld 第一次启动时,从 etcd 获取配置的 Pod 网段信息,为本节点分配一个未使用的地址段,然后创建 flannedl.1 网络接口(也可能是其它名称,如 flannel1 等)。

flannel 将分配给自己的 Pod 网段信息写入 /run/flannel/docker 文件,docker 后续使用这个文件中的环境变量设置 docker0 网桥,从而从这个地址段为本节点的所有 Pod 容器分配 IP。
更多flannel参考:《008.Docker Flannel+Etcd分布式网络部署》。
  1. 1 [root@k8smaster01 ~]# cd /opt/k8s/work/
  2. 2 [root@k8smaster01 work]# mkdir flannel
  3. 3 [root@k8smaster01 work]# wget https://github.com/coreos/flannel/releases/download/v0.11.0/flannel-v0.11.0-linux-amd64.tar.gz
  4. 4 [root@k8smaster01 work]# tar -xzvf flannel-v0.11.0-linux-amd64.tar.gz -C flannel

1.2 分发flannel

  1. 1 [root@k8smaster01 ~]# cd /opt/k8s/work
  2. 2 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh
  3. 3 [root@k8smaster01 work]# for master_ip in ${MASTER_IPS[@]}
  4. 4 do
  5. 5 echo ">>> ${master_ip}"
  6. 6 scp flannel/{flanneld,mk-docker-opts.sh} root@${master_ip}:/opt/k8s/bin/
  7. 7 ssh root@${master_ip} "chmod +x /opt/k8s/bin/*"
  8. 8 done

1.3 创建flannel证书和密钥

  1. 1 [root@k8smaster01 ~]# cd /opt/k8s/work
  2. 2 [root@k8smaster01 work]# cat > flanneld-csr.json <<EOF
  3. 3 {
  4. 4 "CN": "flanneld",
  5. 5 "hosts": [],
  6. 6 "key": {
  7. 7 "algo": "rsa",
  8. 8 "size": 2048
  9. 9 },
  10. 10 "names": [
  11. 11 {
  12. 12 "C": "CN",
  13. 13 "ST": "Shanghai",
  14. 14 "L": "Shanghai",
  15. 15 "O": "k8s",
  16. 16 "OU": "System"
  17. 17 }
  18. 18 ]
  19. 19 }
  20. 20 EOF
  21. 21 #创建flanneld的CA证书请求文件
解释:
该证书只会被 kubectl 当做 client 证书使用,所以 hosts 字段为空。
  1. 1 [root@k8smaster01 ~]# cd /opt/k8s/work
  2. 2 [root@k8smaster01 work]# cfssl gencert -ca=/opt/k8s/work/ca.pem \
  3. 3 -ca-key=/opt/k8s/work/ca-key.pem -config=/opt/k8s/work/ca-config.json \
  4. 4 -profile=kubernetes flanneld-csr.json | cfssljson -bare flanneld #生成CA密钥(ca-key.pem)和证书(ca.pem)

1.4 分发证书和私钥

  1. 1 [root@k8smaster01 ~]# cd /opt/k8s/work
  2. 2 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh
  3. 3 [root@k8smaster01 work]# for master_ip in ${MASTER_IPS[@]}
  4. 4 do
  5. 5 echo ">>> ${master_ip}"
  6. 6 ssh root@${master_ip} "mkdir -p /etc/flanneld/cert"
  7. 7 scp flanneld*.pem root@${master_ip}:/etc/flanneld/cert
  8. 8 done

1.5 写入集群 Pod 网段信息

  1. 1 [root@k8smaster01 ~]# cd /opt/k8s/work
  2. 2 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh
  3. 3 [root@k8smaster01 work]# etcdctl \
  4. 4 --endpoints=${ETCD_ENDPOINTS} \
  5. 5 --ca-file=/opt/k8s/work/ca.pem \
  6. 6 --cert-file=/opt/k8s/work/flanneld.pem \
  7. 7 --key-file=/opt/k8s/work/flanneld-key.pem \
  8. 8 mk ${FLANNEL_ETCD_PREFIX}/config '{"Network":"'${CLUSTER_CIDR}'", "SubnetLen": 21, "Backend": {"Type": "vxlan"}}'
注意:注意:本步骤只需执行一次。


提示:flanneld 当前版本 (v0.11.0) 不支持 etcd v3,故使用 etcd v2 API 写入配置 key 和网段数据;


写入的 Pod 网段 ${CLUSTER_CIDR} 地址段(如 /16)必须小于 SubnetLen,必须与 kube-controller-manager 的 --cluster-cidr 参数值一致。

1.6 创建flanneld的systemd

  1. 1 [root@k8smaster01 ~]# cd /opt/k8s/work
  2. 2 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh
  3. 3 [root@k8smaster01 work]# cat > flanneld.service << EOF
  4. 4 [Unit]
  5. 5 Description=Flanneld overlay address etcd agent
  6. 6 After=network.target
  7. 7 After=network-online.target
  8. 8 Wants=network-online.target
  9. 9 After=etcd.service
  10. 10 Before=docker.service
  11. 11
  12. 12 [Service]
  13. 13 Type=notify
  14. 14 ExecStart=/opt/k8s/bin/flanneld \\
  15. 15 -etcd-cafile=/etc/kubernetes/cert/ca.pem \\
  16. 16 -etcd-certfile=/etc/flanneld/cert/flanneld.pem \\
  17. 17 -etcd-keyfile=/etc/flanneld/cert/flanneld-key.pem \\
  18. 18 -etcd-endpoints=${ETCD_ENDPOINTS} \\
  19. 19 -etcd-prefix=${FLANNEL_ETCD_PREFIX} \\
  20. 20 -iface=${IFACE} \\
  21. 21 -ip-masq
  22. 22 ExecStartPost=/opt/k8s/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker
  23. 23 Restart=always
  24. 24 RestartSec=5
  25. 25 StartLimitInterval=0
  26. 26
  27. 27 [Install]
  28. 28 WantedBy=multi-user.target
  29. 29 RequiredBy=docker.service
  30. 30 EOF
解释:
mk-docker-opts.sh:该脚本将分配给 flanneld 的 Pod 子网段信息写入 /run/flannel/docker 文件,后续 docker 启动时使用这个文件中的环境变量配置 docker0 网桥;
flanneld:使用系统缺省路由所在的接口与其它节点通信,对于有多个网络接口(如内网和公网)的节点,可以用 -iface 参数指定通信接口;
flanneld:运行时需要 root 权限;
-ip-masq: flanneld 为访问 Pod 网络外的流量设置 SNAT 规则,同时将传递给 Docker 的变量 --ip-masq(/run/flannel/docker 文件中)设置为 false,这样 Docker 将不再创建 SNAT 规则; Docker 的 --ip-masq 为 true 时,创建的 SNAT 规则比较“暴力”:将所有本节点 Pod 发起的、访问非 docker0 接口的请求做 SNAT,这样访问其他节点 Pod 的请求来源 IP 会被设置为 flannel.1 接口的 IP,导致目的 Pod 看不到真实的来源 Pod IP。 flanneld 创建的 SNAT 规则比较温和,只对访问非 Pod 网段的请求做 SNAT。

1.7 分发flannel systemd

  1. 1 [root@k8smaster01 ~]# cd /opt/k8s/work
  2. 2 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh
  3. 3 [root@k8smaster01 work]# for master_ip in ${MASTER_IPS[@]}
  4. 4 do
  5. 5 echo ">>> ${master_ip}"
  6. 6 scp flanneld.service root@${master_ip}:/etc/systemd/system/
  7. 7 done

二 启动并验证

2.1 启动flannel

  1. 1 [root@k8smaster01 ~]# source /opt/k8s/bin/environment.sh
  2. 2 [root@k8smaster01 ~]# for master_ip in ${MASTER_IPS[@]}
  3. 3 do
  4. 4 echo ">>> ${master_ip}"
  5. 5 ssh root@${master_ip} "systemctl daemon-reload && systemctl enable flanneld && systemctl restart flanneld"
  6. 6 done

2.2 检查flannel启动

  1. 1 [root@k8smaster01 ~]# source /opt/k8s/bin/environment.sh
  2. 2 [root@k8smaster01 ~]# for master_ip in ${MASTER_IPS[@]}
  3. 3 do
  4. 4 echo ">>> ${master_ip}"
  5. 5 ssh root@${master_ip} "systemctl status flanneld|grep Active"
  6. 6 done

2.3 检查pod网段信息

  1. 1 [root@k8smaster01 ~]# source /opt/k8s/bin/environment.sh
  2. 2 [root@k8smaster01 ~]# etcdctl \
  3. 3 --endpoints=${ETCD_ENDPOINTS} \
  4. 4 --ca-file=/etc/kubernetes/cert/ca.pem \
  5. 5 --cert-file=/etc/flanneld/cert/flanneld.pem \
  6. 6 --key-file=/etc/flanneld/cert/flanneld-key.pem \
  7. 7 get ${FLANNEL_ETCD_PREFIX}/config #查看集群 Pod 网段(/16)
  1. 1 [root@k8smaster01 ~]# source /opt/k8s/bin/environment.sh
  2. 2 [root@k8smaster01 ~]# etcdctl \
  3. 3 --endpoints=${ETCD_ENDPOINTS} \
  4. 4 --ca-file=/etc/kubernetes/cert/ca.pem \
  5. 5 --cert-file=/etc/flanneld/cert/flanneld.pem \
  6. 6 --key-file=/etc/flanneld/cert/flanneld-key.pem \
  7. 7 ls ${FLANNEL_ETCD_PREFIX}/subnets #查看已分配的 Pod 子网段列表(/24)
  8. 8 [root@k8smaster01 ~]# source /opt/k8s/bin/environment.sh
  9. 9 [root@k8smaster01 ~]# etcdctl \
  10. 10 --endpoints=${ETCD_ENDPOINTS} \
  11. 11 --ca-file=/etc/kubernetes/cert/ca.pem \
  12. 12 --cert-file=/etc/flanneld/cert/flanneld.pem \
  13. 13 --key-file=/etc/flanneld/cert/flanneld-key.pem \
  14. 14 get ${FLANNEL_ETCD_PREFIX}/subnets/172.30.32.0-21 #查看某一 Pod 网段对应的节点 IP 和 flannel 接口地址
解释:


172.30.32.0/21 被分配给节点 k8smaster01 (172.24.8.71);


VtepMAC 为 k8smaster01 节点的 flannel.1 网卡 MAC 地址。

2.4 检查flannel网络信息

  1. 1 [root@k8smaster01 ~]# ip addr show
解释:flannel.1 网卡的地址为分配的 Pod 子网段的第一个 IP(.0),且是 /32 的地址。


  1. 1 [root@k8smaster01 ~]# ip route show |grep flannel.1
  2. 2 172.30.128.0/21 via 172.30.128.0 dev flannel.1 onlink
  3. 3 172.30.208.0/21 via 172.30.208.0 dev flannel.1 onlink


解释:


到其它节点 Pod 网段请求都被转发到 flannel.1 网卡;


flanneld 根据 etcd 中子网段的信息,如 ${FLANNEL_ETCD_PREFIX}/subnets/172.30.32.0-21 ,来决定进请求发送给哪个节点的互联 IP。

2.5 验证各节点flannel

在各节点上部署 flannel 后,检查是否创建了 flannel 接口(名称可能为 flannel0、flannel.0、flannel.1 等):
  1. 1 [root@k8smaster01 ~]# source /opt/k8s/bin/environment.sh
  2. 2 [root@k8smaster01 ~]# for master_ip in ${MASTER_IPS[@]}
  3. 3 do
  4. 4 echo ">>> ${master_ip}"
  5. 5 ssh ${master_ip} "/usr/sbin/ip addr show flannel.1|grep -w inet"
  6. 6 done
输出:
  1. 1 >>> 172.24.8.71
  2. 2 inet 172.30.32.0/32 scope global flannel.1
  3. 3 >>> 172.24.8.72
  4. 4 inet 172.30.128.0/32 scope global flannel.1
  5. 5 >>> 172.24.8.73
  6. 6 inet 172.30.208.0/32 scope global flannel.1
在各节点上 ping 所有 flannel 接口 IP,确保能通:
  1. 1 [root@k8smaster01 ~]# source /opt/k8s/bin/environment.sh
  2. 2 [root@k8smaster01 ~]# for master_ip in ${MASTER_IPS[@]}
  3. 3 do
  4. 4 echo ">>> ${master_ip}"
  5. 5 ssh ${master_ip} "ping -c 1 172.30.32.0"
  6. 6 ssh ${master_ip} "ping -c 1 172.30.128.0"
  7. 7 ssh ${master_ip} "ping -c 1 172.30.208.0"
  8. 8 done

007.Kubernetes二进制部署Flannel的更多相关文章

  1. Kubernetes 二进制部署(一)单节点部署(Master 与 Node 同一机器)

    0. 前言 最近受“新冠肺炎”疫情影响,在家等着,入职暂时延后,在家里办公和学习 尝试通过源码编译二进制的方式在单一节点(Master 与 Node 部署在同一个机器上)上部署一个 k8s 环境,整理 ...

  2. 012.Kubernetes二进制部署worker节点Flannel

    一 部署flannel 1.1 安装flannel kubernetes 要求集群内各节点(包括 master 节点)能通过 Pod 网段互联互通.flannel 使用 vxlan 技术为各节点创建一 ...

  3. Kubernetes 二进制部署(二)集群部署(多 Master 节点通过 Nginx 负载均衡)

    0. 前言 紧接上一篇,本篇文章我们尝试学习多节点部署 kubernetes 集群 并通过 haproxy+keepalived 实现 Master 节点的负载均衡 1. 实验环境 实验环境主要为 5 ...

  4. kubernetes二进制部署k8s-master集群controller-manager服务unhealthy问题

    一.问题现象 我们使用二进制部署k8s的高可用集群时,在部署多master时,kube-controller-manager服务提示Unhealthy [root@ceph-01 system]# k ...

  5. k8s1.13.0二进制部署-flannel网络(二)

    Flannel容器集群网络部署 Overlay Network:覆盖网络,在基础网络上叠加的一种虚拟网络技术模式,该网络中的主机通过虚拟链路连接起来.VXLAN:将源数据包封装到UDP中,并使用基础网 ...

  6. 003.Kubernetes二进制部署准备

    一 前置准备 1.1 前置条件 相应的充足资源的Linux服务器: 设置相应的主机名,参考命令: hostnamectl set-hostname k8smaster Mac及UUID唯一: 若未关闭 ...

  7. 008.Kubernetes二进制部署Nginx实现高可用

    一 Nginx代理实现kube-apiserver高可用 1.1 Nginx实现高可用 基于 nginx 代理的 kube-apiserver 高可用方案. 控制节点的 kube-controller ...

  8. 013.Kubernetes二进制部署worker节点Nginx实现高可用

    一 Nginx代理实现kube-apiserver高可用 1.1 Nginx实现高可用 基于 nginx 代理的 kube-apiserver 高可用方案. 控制节点的 kube-controller ...

  9. 015.Kubernetes二进制部署所有节点kubelet

    一 部署 kubelet kubelet 运行在每个 worker 节点上,接收 kube-apiserver 发送的请求,管理 Pod 容器,执行交互式命令,如 exec.run.logs 等. k ...

随机推荐

  1. [洛谷] 通往奥格瑞玛的道路 [Vijos]

    题目背景 在艾泽拉斯大陆上有一位名叫歪嘴哦的神奇术士,他是部落的中坚力量 有一天他醒来后发现自己居然到了联盟的主城暴风城 在被众多联盟的士兵攻击后,他决定逃回自己的家乡奥格瑞玛 题目描述 在艾泽拉斯, ...

  2. 安装高可用Hadoop生态 (三) 安装Hadoop

    3.    安装Hadoop 3.1. 解压程序 ※ 3台服务器分别执行 .tar.gz -C/opt/cloud/packages /opt/cloud/bin/hadoop /etc/hadoop ...

  3. 用go语言爬取珍爱网 | 第三回

    前两节我们获取到了城市的URL和城市名,今天我们来解析用户信息. 用go语言爬取珍爱网 | 第一回 用go语言爬取珍爱网 | 第二回 爬虫的算法: 我们要提取返回体中的城市列表,需要用到城市列表解析器 ...

  4. 在集成环境中修改配置文件php.ini不生效的解决办法

    配置完成之后一定要重启服务,如果重启服务还是不生效. 就去看一下phpinfo(),找到Loaded Configuration File选项,这个才是真正读取的配置文件

  5. HikariCP重要参数配置

    概述 HikariCP是Spring Framework 5.0的默认数据库连接池,这得益于他的高性能.但是如果配置不当,数据库连接池也可能因影响到系统性能. 重要参数 maximum-pool-si ...

  6. Django与drf 源码视图解析

    0902自我总结 Django 与drf 源码视图解析 一.原生Django CBV 源码分析:View """ 1)as_view()是入口,得到view函数地址 2) ...

  7. java架构之路-(Redis专题)Redis的主从、哨兵和集群

    我们使用的redis,单机的绝对做不到高可用的,万一单机的redis宕机了,就没有备用的了,我们可以采用集群的方式来保证我们的高可用操作. 主从架构 大致就是这样的,一个主节点,两个从节点(一般两个就 ...

  8. vue-router之to属性赋值

    to属性赋值 <!-- html --> <div id="app"> <router-link to="/bj/朝阳区"> ...

  9. C# 结合 Golang 开发

    1. 实现方式与语法形式 基本方式:将 Go 程序编译成 DLL 供 C# 调用. 1.1 Go代码 注意:代码中 export 的注释是定义的入口描述不能省略 package main import ...

  10. Juc1024小半年总结-面试篇

    大家好,我叫Juc 这大概是我时隔2年度多 第一次以分享的形式发的第一篇公众号 今天是2019年10月26 本想在10月24就分享一下 可惜前面两天时间太忙... 很凑巧,今天我出来工作刚好满4个月, ...