Kubernetes 部署 Nacos 1.4 集群

文章转载自：http://www.mydlq.club/article/104/

系统环境：

• Nacos 版本：1.4.1
• Mysql 版本：8.0.19
• Kubernetes 版本：1.20.1

一、什么是 Nacos

Nacos 是阿里开源的服务注册中心与配置中心组件，能够帮助开发人员快速实现动态服务发现、服务配置、服务元数据及流量管理。同时能够与 SpringCloud、Kubernetes、Dubbo 等开源生态无缝集成。

Nacos 支持如下核心特性：

• 服务发现： 支持 DNS 与 RPC 服务发现，也提供原生 SDK 、OpenAPI 等多种服务注册方式和 DNS、HTTP 与 API 等多种服务发现方式。
• 服务健康监测： Nacos 提供对服务的实时的健康检查，阻止向不健康的主机或服务实例发送请求。
• 动态配置服务： Nacos 提供配置统一管理功能，能够帮助我们将配置以中心化、外部化和动态化的方式管理所有环境的应用配置和服务配置。
• 动态 DNS 服务： Nacos 支持动态 DNS 服务权重路由，能够让我们很容易地实现中间层负载均衡、更灵活的路由策略、流量控制以及数据中心内网的简单 DNS 解析服务。
• 服务及其元数据管理： Nacos 支持从微服务平台建设的视角管理数据中心的所有服务及元数据，包括管理服务的描述、生命周期、服务的静态依赖分析、服务的健康状态、服务的流量管理、路由及安全策略、服务的 SLA 以及最首要的 metrics 统计数据。

二、提前部署 Mysql

Nacos 需要提前部署 Mysql，目前支持 5.7 及 8.0 版本。

三、导入 SQL 相关数据

等数据库创建完成后，还需要导入 SQL 文件来创建它的表结构和一些基础数据。操作如下，我们进入 Mysql 客户端，执行 source 命令导入 SQL 文件。

$ mysql -uroot -p123456

mysql> source /data/nacos.sql

SQL 地址：https://files.cnblogs.com/files/sanduzxcvbnm/nacos-deploy.zip

也可以通过 Navicat 等可视化工具进行快捷导入。

四、部署 Nacos

这里我们部署 Nacos 集群模式，整体如下示意图，会在 Kubernetes 中创建一个 Service，该 Service 关联 Nacos 中的多个 Pod，一个 Pod 就是 Nacos 节点，Pod 之间通过该 Service 进行交互。最后我们会配置一个 NodePort 方式对外访问。当然，你如果你的 Kubernetes 集群已经部署了 Ingress Controller 则可以创建 Ingress 规则对外提供访问。

1、创建 RBAC 资源

nacos-rbac.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: nacos-admin
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nacos-admin-clusterrole
rules:
- apiGroups: [""]
  resources: ["persistentvolumes"]
  verbs: ["get", "list", "watch", "create", "delete"]
- apiGroups: [""]
  resources: ["persistentvolumeclaims"]
  verbs: ["get", "list", "watch", "update"]
- apiGroups: [""]
  resources: ["endpoints"]
  verbs: ["get", "list", "watch", "create", "update", "patch"]
- apiGroups: ["storage.k8s.io"]
  resources: ["storageclasses"]
  verbs: ["get", "list", "watch"]
- apiGroups: [""]
  resources: ["events"]
  verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nacos-admin-binding
subjects:
- kind: ServiceAccount
  name: nacos-admin
  namespace: mydlqcloud
roleRef:
  kind: ClusterRole
  name: nacos-admin-clusterrole
  apiGroup: rbac.authorization.k8s.io

执行部署 Nacos RBAC 资源

-n：指定部署的 Namespace

$ kubectl apply -f nacos-rbac.yaml -n mydlqcloud

2、创建数据库配置 ConfigMap 资源

nacos-config.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  name: nacos-config
data:
  SERVICE_NAME: "nacos-headless"
  DOMAIN_NAME: "cluster.local"
  NACOS_REPLICAS: "3"
  PREFER_HOST_MODE: "hostname"
  NACOS_SERVER_PORT: "8848"
  NACOS_APPLICATION_PORT: "8848"
  JVM_XMX: "2g"
  JVM_XMS: "2g"
  JVM_XMN: "1g"
  MYSQL_SERVICE_HOST: "mysql"
  MYSQL_SERVICE_DB_NAME: "nacos_config_cluster"
  MYSQL_SERVICE_PORT: "3306"
  MYSQL_SERVICE_USER: "root"
  MYSQL_SERVICE_PASSWORD: "123456"

参数说明：

• MYSQL_SERVICE_HOST：数据库地址（这里使用上面部署的 Mysql，由于部署在 K8S 里面，所以使用 Mysql Service 提供的 K8S 内部地址）
• MYSQL_SERVICE_PORT: 数据库端口。
• MYSQL_SERVICE_DB_NAME: 指定使用的库名称。
• MYSQL_SERVICE_USER: 数据库用户名。
• MYSQL_SERVICE_PASSWORD: 数据库密码。
• NACOS_APPLICATION_PORT：指定 Nacos 端口号。
• PREFER_HOST_MODE：配置 Nacos 集群节点间服务发现使用的模式，支持 hostname、ip 两种模式。
• JVM_XMS: 设置 JVM 最大堆内存大小。
• JVM_XMX: 设置 JVM 最初是堆内存大小。
• JVM_XMN: 设置 JVM 堆内新生代的内存大小。
• SERVICE_NAME：指定 Nacos 部署在 K8S 中的 Service 名称。
• DOMAIN_NAME：指定 k8s domain 配置，一般默认即可。

执行部署 Nacos 数据库 ConfigMap 资源

-n：指定部署的 Namespace

$ kubectl apply -f nacos-config.yaml -n mydlqcloud

3、创建 Nacos 应用

nacos-deploy.yaml

apiVersion: v1
kind: Service
metadata:
  name: nacos-headless
  labels:
    app: nacos
spec:
  ports:
    - name: server
      port: 8848
      targetPort: 8848
    - name: rpc
      port: 7848
      targetPort: 7848
  clusterIP: None
  selector:
    app: nacos
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: nacos
spec:
  serviceName: nacos-headless
  replicas: 3
  template:
    metadata:
      labels:
        app: nacos
    spec:
      terminationGracePeriodSeconds: 10  #配置优雅停机时间
      serviceAccountName: nacos-admin    #分配服务账户给应用，方便应用能够获取一定的权限
      initContainers:                    #初始化镜像执行初始化操作
        - name: peer-finder-plugin-install
          image: nacos/nacos-peer-finder-plugin:1.0
          volumeMounts:
            - mountPath: "/home/nacos/plugins/peer-finder"
              name: plugindir
      affinity:    #配置Pod反亲和性，放置Pod都起在同一节点上（如果都在一个节点，节点宕机将会使全部实例不可用）
        podAntiAffinity:
          # requiredDuringSchedulingIgnoredDuringExecution: #硬策略，pod一定不能启在同一个节点上
          #   - topologyKey: "kubernetes.io/hostname"
          #     labelSelector:
          #       matchExpressions:
          #         - key: "app"
          #           operator: In
          #           values:
          #             - nacos
          preferredDuringSchedulingIgnoredDuringExecution:  #软策略，尽可能pod不启在同一个节点上
            - weight: 100
              podAffinityTerm:
                topologyKey: "kubernetes.io/hostname"
                labelSelector:
                  matchExpressions:
                    - key: app
                      operator: In
                      values:
                        - nacos
      containers:
        - name: nacos
          image: nacos/nacos-server:1.4.1
          resources:
            limits:
              cpu: 2
              memory: "2Gi"
            requests:
              cpu: 100m
              memory: "1Gi"
          ports:
            - name: client-port
              containerPort: 8848
            - name: rpc
              containerPort: 7848
          envFrom:
            - configMapRef:
                name: nacos-config
          env:
            - name: POD_NAMESPACE
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: metadata.namespace
          volumeMounts:
            - name: plugindir
              mountPath: /home/nacos/plugins/peer-finder
            - name: datadir
              mountPath: /home/nacos/data
            - name: logdir
              mountPath: /home/nacos/logs
  volumeClaimTemplates:
    - metadata:
        name: plugindir
      spec:
        storageClassName: nfs-storage #指定storageclass名称，这里需要根据你的K8S集群进行修改
        accessModes: ["ReadWriteMany"]
        resources:
          requests:
            storage: 5Gi
    - metadata:
        name: datadir
      spec:
        storageClassName: nfs-storage   #指定storageclass名称，这里需要根据你的K8S集群进行修改
        accessModes: ["ReadWriteMany"]
        resources:
          requests:
            storage: 5Gi
    - metadata:
        name: logdir
      spec:
        storageClassName: nfs-storage #指定storageclass名称，这里需要根据你的K8S集群进行修改
        accessModes: ["ReadWriteMany"]
        resources:
          requests:
            storage: 5Gi
  selector:
    matchLabels:
      app: nacos

上面配置中使用的是 StatefulSet 资源创建的 Nacos，所以需要存储驱动支持 StorageClass 来动态创建 PVC，这里使用的 NFS，并且使用 nfs-client-provisioner 插件来动态创建 PVC。

执行部署 Nacos 应用

-n：指定部署的 Namespace

$ kubectl apply -f nacos-deploy.yaml -n mydlqcloud

4、暴露 Nacos 对外访问

这里我们再创建一个 Service 资源，设置其类型为 NodePort 方式，提供 NodePort 端口为 30848，方便后续我们对 Nacos Dashboard 进行访问。

kind: Service
apiVersion: v1
metadata:
  name: nacos
  labels:
    app: nacos
spec:
  ports:
    - name: server
      port: 8848
      targetPort: 8848
      nodePort: 30848
  selector:
    app: nacos
  type: NodePort

这里使用 NodePort 方式暴露服务。当然，如果你的 Kubernetes 集群部署了 Ingress Controller，也可以配置 Ingress 路由规则，来让外部访问你的服务。

五、访问 Nacos 进行测试

本人这里的 Kubernetes 地址 IP 为 192.168.2.11，而上面配置的 Nacos Service 中指定 NodePort 端口为 30848，又由于 Nacos 默认会带上前缀 /nacos，所以我们可以输入地址 http://192.168.2.11:30848/nacos 访问 Nacos 页面。

输入用户名/密码： nacos/nacos ，登录 Nacos 后会看到如下页面：

六、Nacos 变量参数及其说明

Nacos 提供了很多可以配置的参数，以环境变量的方式让我们进行配置，部分参数如下所示：