Ubuntu 22.04 搭建K8s集群

目录

• 1. 虚拟机基础配置
  • 配置静态ip
  • 设置主机名
  • 设置hosts
  • 安装ssh
• 2. Ubuntu系统设置
  • 禁用swap
  • 修改内核参数
• 3. 安装containerd
• 4. 安装Kubernetes组件
  • 添加apt repo
  • 安装Kubectl, kubeadm & kubelet
• 5. 初始化Master节点
• 6. 加入Node节点
• 7. 配置集群网络
• 8. 测试K8s集群

本文基于Mac平台和Parallels软件，在其中创建三个Ubuntu系统，搭建了一个3个节点（1个master和2个Node）的K8s集群。下面的步骤没有特殊说明，都是需要在所有节点上分别执行的。也可以在一个虚拟机上执行完之后，复制当前虚拟机作为其他节点。

1. 虚拟机基础配置

基于Parallels虚拟机软件，在其中安装三个ubuntu系统，后续用于创建K8s集群的master节点和两个Node节点，三个节点均采用静态ip，具体配置如下：

• Master节点：192.168.31.200 master

• Node1节点：192.168.31.201 node1

• Node2节点：192.168.31.202 node2

配置静态ip

需要在三个节点上分别配置，下面以master为例：

修改虚拟机网络为桥接模式：

设置主机名

在Master节点运行

sudo hostnamectl set-hostname master

其他节点分别运行

sudo hostnamectl set-hostname node1
sudo hostnamectl set-hostname node2

设置hosts

方便节点之间相互访问，在每个节点的/etc/hosts上添加如下配置：

192.168.31.200 master
192.168.31.201 node1
192.168.31.202 node2

配置好之后，试下ping master、node1看能否正常访问。

安装ssh

安装ssh，方便后续连接到虚拟机执行cmd。

sudo apt update

sudo apt install openssh-server

sudo systemctl status ssh

# 如果遇到防火墙的问题，可以尝试下面的command来允许ssh。

sudo ufw allow ssh

后续为了方便在多个terminal同时输入command，可以使用iterm同时打开三个窗口，然后输入cmd + shift + I进入多个输入的模式，如果需要退出，可以输入⌘Command + ⇧Shift + ⌥Option + I。

2. Ubuntu系统设置

禁用swap

sudo swapoff -a
sudo sed -i '/ swap / s/^(.*)$/#1/g' /etc/fstab

这步之后，最好重启ubuntu系统保证修改生效。

修改内核参数

载入如下内核模块，

sudo tee /etc/modules-load.d/containerd.conf <<EOF
overlay
br_netfilter
EOF

sudo modprobe overlay
sudo modprobe br_netfilter

相关资料参考：

• Linux overlay文件系统解析

• linux透明防火墙--br_netfilter

配置下面的网络参数：

sudo tee /etc/sysctl.d/kubernetes.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

运行下面的command使改动生效：

sudo sysctl --system

3. 安装containerd

Docker，Kubernetes 等工具来运行一个容器时会调用组件（CRI）比如 containerd，CRI-O来来完成容器的创建、运行、销毁等实际工作。Docker 使用的是 containerd 作为其运行时；Kubernetes 支持 containerd，CRI-O等，这些组件都遵循了 OCI 规范，并通过 runc 来实现与操作系统内核交互来完成容器的创建和运行。

他们之间的相互关系如下：

具体安装步骤如下：

• 安装dependencies：

sudo apt install -y curl gnupg2 software-properties-common apt-transport-https ca-certificates

• 添加docker repo：

sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmour -o /etc/apt/trusted.gpg.d/docker.gpg
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

• 安装containerd

sudo apt update
sudo apt install -y containerd.io

• 配置containerd使用systemd作为cgroup

containerd config default | sudo tee /etc/containerd/config.toml >/dev/null 2>&1
sudo sed -i 's/SystemdCgroup \= false/SystemdCgroup \= true/g' /etc/containerd/config.toml

• 重启并设置开机自启

sudo systemctl restart containerd
sudo systemctl enable containerd

4. 安装Kubernetes组件

添加apt repo

curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
sudo apt-add-repository "deb http://apt.kubernetes.io/ kubernetes-xenial main"

安装Kubectl, kubeadm & kubelet

sudo apt update
sudo apt install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

apt-mark 用于将软件包标记/取消标记为自动安装。 hold 选项用于将软件包标记为保留，以防止软件包被自动安装、升级或删除。这里主要是为了防止kubelet等组件自动升级。

5. 初始化Master节点

这步需要在Master节点进行设置，运行如下的节点初始化整个k8s集群。

sudo kubeadm init --control-plane-endpoint=192.168.31.200

当看到如下的输出时，说明系统master节点初始化完成。

接着按照提示信息，进行后续的初始化工作：

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

完成上面的工作之后，可以尝试运行下面的command来查看当前集群的状态：

kubectl cluster-info
kubectl get nodes

输入类似如下

6. 加入Node节点

在master节点的初始化输出的最下面，会列出node节点加入的command，直接copy然后到每个node节点运行即可。下面是个例子，得换成实际的command，

sudo kubeadm join 192.168.31.200:6443 --token mjy0xx.95lsse7r7fw5sb00
--discovery-token-ca-cert-hash sha256:73b92db9baf19a3e14d679e6d44b5c7a804902d6ffa3d170858d2ccfd5e0c93f

加入成功之后，可以查看当前集群的node状态，此时由于没有安装网络相关插件，所有节点出于NotReady的状态。下一步会进行安装。

kubectl get nodes

7. 配置集群网络

一般可以安装Calico、Flannel和Weave-net等插件，下面以Calico为例进行操作。

curl https://projectcalico.docs.tigera.io/manifests/calico.yaml -O
kubectl apply -f calico.yaml

输出结果大概如下：

此时可以查看系统namespace下的所有基础组件的运行情况，

kubectl get pods -n kube-system

接下来检查节点状态：

kubectl get nodes

至此，整个k8s集群搭建完毕， 下面可以进行一些基本测试。

8. 测试K8s集群

这里部署了一个nginx的app来进行测试，

kubectl create deployment nginx-app --image=nginx --replicas=2

查看nginx的状态：

kubectl get deployment nginx-app

将deployment暴露出去，采用NodePort的方式（这种方式会在每个节点上开放同一个端口，外部可以通过节点ip+port的方式进行访问）

kubectl expose deployment nginx-app --type=NodePort --port=80

可以检查service的状态，

kubectl get svc nginx-app
kubectl describe svc nginx-app

下面是测试结果：

说明Nginx运行正常，整个k8s节点部署成功。

---

参考：

• https://www.linuxtechi.com/install-kubernetes-on-ubuntu-22-04/