Calico搭建配置

Calico 是一个纯三层的协议，为 OpenStack 虚机和 Docker 容器提供多主机间通信。Calico 不使用重叠网络比如 flannel 和 libnetwork 重叠网络驱动，

Calico 依赖 etcd 在不同主机间共享和交换信息，存储 Calico 网络状态。Calico 网络中每个主机都要运行 Calico 组件，提供容器 interface 管理，动态路由，动态 ACL，报告状态等功能。

Calico 目前只支持 TCP、UDP、ICMP、ICMPv6 协议。

Calico 包括如下重要组件：Felix，etcd，BGP Client，BGP Route Reflector。

• Felix：主要负责路由配置以及 ACLS 规则的配置以及下发，它存在在每个 node 节点上。
• etcd：分布式键值存储，主要负责网络元数据一致性，确保 Calico 网络状态的准确性，可以与 kubernetes 共用。
• BGPClient(BIRD)：主要负责把 Felix 写入 kernel 的路由信息分发到当前 Calico 网络，确保 workload 间的通信的有效性。
• BGPRoute Reflector(BIRD)：大规模部署时使用，摒弃所有节点互联的 mesh 模式，通过一个或者多个 BGPRoute Reflector 来完成集中式的路由分发。

首先需要配置NetworkManager

在尝试使用Calico网络之前配置NetworkManager

NetworkManager操纵默认网络命名空间中接口的路由表，其中Calico veth对锚定用于连接到容器。这可能会干扰Calico代理正确路由的能力。

创建以下配置文件 /etc/NetworkManager/conf.d/calico.conf 以防止NetworkManager干扰接口：

[keyfile]
unmanaged-devices=interface-name:cali*;interface-name:tunl*

修改从官网下载的yaml文件，并根据实际情况进行修改

vim calico.yaml
 
# 注意修改如下选项:
# etcd 地址
 
  etcd_endpoints: "https://172.16.1.64:2379,https://172.16.1.65:2379,https://172.16.1.66:2379"
 
# etcd 证书路径
  # If you're using TLS enabled etcd uncomment the following.
  # You must also populate the Secret below with these files.
    etcd_ca: "/calico-secrets/etcd-ca"
    etcd_cert: "/calico-secrets/etcd-cert"
    etcd_key: "/calico-secrets/etcd-key"  
 
# etcd 证书 base64 地址 (执行里面的命令生成的证书 base64 码，填入里面),填入后记得把括号去除
 
data:
  etcd-key: (cat /etc/kubernetes/ssl/etcd-key.pem | base64 | tr -d '\n')
  etcd-cert: (cat /etc/kubernetes/ssl/etcd.pem | base64 | tr -d '\n')
  etcd-ca: (cat /etc/kubernetes/ssl/ca.pem | base64 | tr -d '\n')
 
# 修改 pods 分配的 IP 段
 
            - name: CALICO_IPV4POOL_CIDR
              value: "10.254.60.0/18"

修改kubelet相应的设置，增加 cni 插件 --network-plugin=cni

Calico安装为CNI插件。必须通过传递--network-plugin=cni参数将kubelet配置为使用CNI网络。（在kubeadm上，这是默认设置。）

# vim  /etc/systemd/system/kubelet.service

中间配置增加

--network-plugin=cni \

# 重新加载配置

systemctl daemon-reload
systemctl restart kubelet.service
systemctl status kubelet.service

二进制安装calicoctl，部署到一台主master节点即可

# curl -O -L https://github.com/projectcalico/calicoctl/releases/download/v3.3.1/calicoctl
# mv calicoctl /usr/local/bin/
# chmod +x /usr/local/bin/calicoctl

创建 calicoctl.cfg 配置文件

# mkdir /etc/calico
# vim /etc/calico/calicoctl.cfg
apiVersion: projectcalico.org/v3
kind: CalicoAPIConfig
metadata:
spec:
  datastoreType: "kubernetes"
  kubeconfig: "/root/.kube/config"   #此处配置的calicoctl选择连接的是Kubernetes API datastore，而不是etcd数据库，因为是在主节点上进行的安装，免去了配置TLS的过程

　　

使用calicoctl查看calico状态

[root@es-60 ~]# calicoctl node status
Calico process is running.
 
IPv4 BGP status
+---------------+-------------------+-------+----------+-------------+
| PEER ADDRESS  |     PEER TYPE     | STATE |  SINCE   |    INFO     |
+---------------+-------------------+-------+----------+-------------+
| 172.17.213.61 | node-to-node mesh | up    | 03:46:37 | Established |
+---------------+-------------------+-------+----------+-------------+
 
IPv6 BGP status
No IPv6 peers found.
 
[root@es- ~]# calicoctl get node  #查看已注册的节点列表
NAME
es-60
es-61 

[root@es-60 ~]# calicoctl get workloadendpoints #查看工作中的负载节点
 WORKLOAD                   NODE   NETWORKS         INTERFACE
 nginx-dm-76d4ccdd7b-f2c2z  es-60  10.254.83.67/32  calidf627dba5ad
 nginx-dm-76d4ccdd7b-w9c9q  es-61  10.254.95.67/32  cali937a51d3ab8

收集诊断信息

如果遇到问题可以使用calicoctl命令行工具收集诊断信息。这应该以超级用户权限运行，例如：
# calicoctl node diags

参考链接： https://docs.projectcalico.org/v3.3/usage/troubleshooting/#configure-networkmanager