使用k8s operator安装和维护etcd集群

关于Kubernetes Operator这个新生事物，可以参考下文来了解这一技术的来龙去脉：

https://yq.aliyun.com/articles/685522?utm_content=g_1000036786。

在 Operator 里，你提交的 API 对象不再是一个单体应用的描述，而是一个完整的分布式应用集群的描述。这里的区别在于，整个分布式应用集群的状态和定义，都成了Kubernetes 控制器需要保证的“终态”。比如，这个应用有几个实例，实例间的关系如何处理，实例需要把数据存储在哪里，如何对实例数据进行备份和恢复，都是这个控制器需要根据 API 对象的变化进行处理的逻辑。

从上述叙述中，你就应该能够明白， Operator 其实就是一段代码，这段代码 Watch 了 etcd 里一个描述分布式应用集群的API 对象，然后这段代码通过实现 Kubernetes 的控制器模式，来保证这个集群始终跟用户的定义完全相同。而在这个过程中，Operator 也有能力利用 Kubernetes 的存储、网络插件等外部资源，协同的为应用状态的保持提供帮助。

所以说，Operator 本身在实现上，其实是在 Kubernetes 声明式 API 基础上的一种“微创新”。它合理的利用了 Kubernetes API 可以添加自定义 API 类型的能力，然后又巧妙的通过 Kubernetes 原生的“控制器模式”，完成了一个面向分布式应用终态的调谐过程。

Etcd-Operator的github地址如下：

https://github.com/coreos/etcd-operator

下面，讲讲如何一步一步的在k8s中安装一个新的etcd集群。

一，获取github上最新的Etcd-Operator代码。

二，将其example目录上传到k8s master相关目录。

三，运行rbac目录下的create_role.sh脚本，创建基本的rbac角色。

四，将如下三个镜像导入harbor仓库备用。

1，  xxxx/3rd_part/quay.io/coreos/etcd-operator:v0.9.3

2，  xxxx/3rd_part/busybox:1.28.0-glibc(initial container需要)

3，  xxxx/3rd_part/k8s.gcr.io/etcd-amd64:v3.1.12(tag非要有v才行)

五，运行example目录下的deployments.yaml文件，建立operator的deployment。

此yaml文件内容如下(有小修改)：

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: etcd-operator
spec:
  replicas: 1
  template:
    metadata:
      labels:
        name: etcd-operator
    spec:
      containers:
      - name: etcd-operator
        image: harbor/3rd_part/quay.io/coreos/etcd-operator:v0.9.3
        command:
        - etcd-operator
        # Uncomment to act for resources in all namespaces. More information in doc/user/clusterwide.md
        - -cluster-wide
        env:
        - name: MY_POD_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: MY_POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name

六，运行example目录下的example-etcd-cluster.yaml文件，建立etcd集群。

此yaml文件内容如下(有小修改，特别注意红色字体，对于FQ，或是服务器不能上网，绝对有用，填补国内空白，达到国际领先水平:))：

apiVersion: "etcd.database.coreos.com/v1beta2"
kind: "EtcdCluster"
metadata:
  name: "xxx-etcd-cluster"
  ## Adding this annotation make this cluster managed by clusterwide operators
  ## namespaced operators ignore it
  annotations:
    etcd.database.coreos.com/scope: clusterwide
spec:
  size: 1
  version: "3.1.12"
  repository: "harbor/3rd_part/k8s.gcr.io/etcd-amd64"
  pod:
    busyboxImage: "harbor/3rd_part/busybox:1.28.0-glibc"

七，验证。

默认，会生成一个service供内部服务访问(此例为sis-fic-etcd-cluster-client)。

https://github.com/coreos/etcd-operator/blob/master/doc/user/client_service.md

1，  生成一个临时pod

kubectl run --rm -i --tty fun --image k8s.gcr.io/etcd-amd64:3.1.12 --restart=Never -- /bin/sh

2，  在此pod里运行如下命令验证

ETCDCTL_API=3 etcdctl --endpoints http://etcd-cluster-client.default:2379 put foo bar

3，  返回OK结果即为OK。

4，  如果需要集群外访问，可仿如下yaml开通nodeport。

apiVersion: v1
kind: Service
metadata:
  labels:
    name: xxx-etcd-cluster
  name: xxx-etcd-cluster
spec:
  ports:
  - port: 2379
    targetPort: 2379
  selector:
    name: xxx-etcd-cluster

八，支持TLS。

使用example目录下的tls目录下文件即可完成。参考URL：

https://github.com/coreos/etcd-operator/blob/master/doc/user/cluster_tls.md

九，完。