13. 第十二篇 二进制安装kubelet
本文是二进制安装kubernetes v1.17.0的第十二篇，kubelet组件需要运行的所有节点上面（因为我们所有节点都运行Pod，包括Master节点），因为kubelet是运行Pod必须的组件，由它接收kube-apiserver发送的请求，管理此节点Pod及Pod内的容器，并且kubelet新版本内置了cAdvisor，通过它监控容器和节点资源，并定期向Master节点汇报资源使用情况等；
下载https://dl.k8s.io/v1.17.0/kubernetes-node-linux-amd64.tar.gz，二进制安装包中含有kubernetes/node/bin/kubeadm与kubernetes/node/bin/kubelet等其它文件，本篇我们使用到kubeadm与kubelet，把kubeadm copy到中控机的/data/k8s/bin/目录，把kubelet分发到所有节点上面/data/k8s/bin/目录。
创建kubelet引导配置文件
这里kubelet程序启动时使用引导令牌认证，即Bootstrap Token Auth。
kubelet启动时查找--kubeletconfig参数对应的文件是否存在，如果不存在则使用--bootstrap-kubeconfig参数指定的kubeconfig 文件，向kube-apiserver发送证书签名请求(CertificateSigningRequest，简称CSR)，kube-apiserver收到CSR请求后，对其中的 Token进行认证，当认证请求被approve（批准、赞成）后，并将请求的user设置为system:bootstrap:，请求的group 设置为system:bootstrappers，这一过程称为Bootstrap Token Auth，并且当CSR请求被批准后，kube-controller-manager会为kubelet创建TLS客户端证书、私钥并创建--kubeconfig参数指定的文件中，这个文件即是kubelet访问kube-apiserver使用的认证文件。
说明：
- kube-controller-manager需要配置
-–cluster-signing-cert-file和-–cluster-signing-key-file参数，才会为TLS Bootstrap 创建证书和私钥； - 证书和私钥存放在
-cert-dir参数指定的目录中；
由于所有节点都需要与kube-apiserver通信，即每个节点上面的kubelet作为客户端，kube-apiserver程序作为服务器，客户端访问kube-apiserver需要验证和认证，并且每个节点都不相同，所以需要为每个节点创建一个kubelet引导配置文件，然后启动时由kube-controller-manager生成证书和私钥，并创建kubeconfig配置文件供kubelet访问kube-apiserver使用。下面为每个节点创建kubelet引导配置文件并分发；
#!/bin/bash
cd /data/k8s/work
source /data/k8s/bin/env.sh
for node_name in ${NODE_NAMES[@]}
do
echo ">>> ${node_name}"
export BOOTSTRAP_TOKEN=$(kubeadm token create \
--description kubelet-bootstrap-token \
--groups system:bootstrappers:${node_name} \
--kubeconfig ~/.kube/config)
kubectl config set-cluster kubernetes \
--certificate-authority=/etc/kubernetes/cert/ca.pem \
--embed-certs=true \
--server=${KUBE_APISERVER} \
--kubeconfig=kubelet-bootstrap-${node_name}.kubeconfig
kubectl config set-credentials kubelet-bootstrap \
--token=${BOOTSTRAP_TOKEN} \
--kubeconfig=kubelet-bootstrap-${node_name}.kubeconfig
kubectl config set-context default \
--cluster=kubernetes \
--user=kubelet-bootstrap \
--kubeconfig=kubelet-bootstrap-${node_name}.kubeconfig
kubectl config use-context default --kubeconfig=kubelet-bootstrap-${node_name}.kubeconfig
done
# 分发
for node_name in ${NODE_NAMES[@]}
do
echo ">>> ${node_name}"
scp kubelet-bootstrap-${node_name}.kubeconfig root@${node_name}:/etc/kubernetes/kubelet-bootstrap.kubeconfig
done
从上面可知，我们向kubectl引导配置文件中写入的是Token，而kubeadm token create创建的Token，有效期默认是1天，如果kubelet在有效期内没有使用它引导的话，将kube-controller-manager清理掉，如果kubelet使用它引导结束后，kube-controller-manager会为kubelet创建各自的client和server证书等。
查看kubeadm创建的token
kubeadm token list --kubeconfig ~/.kube/config
创建user和group的CSR权限
根据上面Bootstrap Token Auth认证得知，kubelet启动时，kube-apiserver approve后会将请求的user设置为system:bootstrap:，请求group 设置为system:bootstrappers，但前提需要授权，否则启动kubelet时会失败；
kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --group=system:bootstrappers
创建配置模板并分发
#!/bin/bash
cd /data/k8s/work
source /data/k8s/bin/env.sh
cat > kubelet-config.yaml.template <<EOF
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: "##NODE_IP##"
staticPodPath: ""
syncFrequency: 1m
fileCheckFrequency: 20s
httpCheckFrequency: 20s
staticPodURL: ""
port: 10250
readOnlyPort: 0
rotateCertificates: true
serverTLSBootstrap: true
authentication:
anonymous:
enabled: false
webhook:
enabled: true
x509:
clientCAFile: "/etc/kubernetes/cert/ca.pem"
authorization:
mode: Webhook
registryPullQPS: 0
registryBurst: 20
eventRecordQPS: 0
eventBurst: 20
enableDebuggingHandlers: true
enableContentionProfiling: true
healthzPort: 10248
healthzBindAddress: "##NODE_IP##"
clusterDomain: "${CLUSTER_DNS_DOMAIN}"
clusterDNS:
- "${CLUSTER_DNS_SVC_IP}"
nodeStatusUpdateFrequency: 10s
nodeStatusReportFrequency: 1m
imageMinimumGCAge: 2m
imageGCHighThresholdPercent: 85
imageGCLowThresholdPercent: 80
volumeStatsAggPeriod: 1m
kubeletCgroups: ""
systemCgroups: ""
cgroupRoot: ""
cgroupsPerQOS: true
cgroupDriver: systemd
runtimeRequestTimeout: 10m
hairpinMode: promiscuous-bridge
maxPods: 220
podCIDR: "${CLUSTER_CIDR}"
podPidsLimit: -1
resolvConf: /etc/resolv.conf
maxOpenFiles: 1000000
kubeAPIQPS: 1000
kubeAPIBurst: 2000
serializeImagePulls: false
evictionHard:
memory.available: "100Mi"
nodefs.available: "10%"
nodefs.inodesFree: "5%"
imagefs.available: "15%"
evictionSoft: {}
enableControllerAttachDetach: true
failSwapOn: true
containerLogMaxSize: 20Mi
containerLogMaxFiles: 10
systemReserved: {}
kubeReserved: {}
systemReservedCgroup: ""
kubeReservedCgroup: ""
enforceNodeAllocatable: ["pods"]
EOF
# 分发
for node_ip in ${NODE_IPS[@]}
do
echo ">>> ${node_ip}"
sed -e "s/##NODE_IP##/${node_ip}/" kubelet-config.yaml.template > kubelet-config-${node_ip}.yaml.template
scp kubelet-config-${node_ip}.yaml.template root@${node_ip}:/etc/kubernetes/kubelet-config.yaml
done
配置详解
创建启动文件并分发
#!/bin/bash
cd /data/k8s/work
source /data/k8s/bin/env.sh
cat > kubelet.service.template <<EOF
[Unit]
Description=Kubernetes Kubelet
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=docker.service
Requires=docker.service
[Service]
WorkingDirectory=${K8S_DIR}/kubelet
ExecStart=/data/k8s/bin/kubelet \\
--bootstrap-kubeconfig=/etc/kubernetes/kubelet-bootstrap.kubeconfig \\
--cert-dir=/etc/kubernetes/cert \\
--cni-conf-dir=/etc/cni/net.d \\
--container-runtime=docker \\
--container-runtime-endpoint=unix:///var/run/dockershim.sock \\
--root-dir=${K8S_DIR}/kubelet \\
--kubeconfig=/etc/kubernetes/kubelet.kubeconfig \\
--config=/etc/kubernetes/kubelet-config.yaml \\
--hostname-override=##NODE_NAME## \\
--pod-infra-container-image=gcr.azk8s.cn/google_containers/pause-amd64:3.1 \\
--image-pull-progress-deadline=15m \\
--volume-plugin-dir=${K8S_DIR}/kubelet/kubelet-plugins/volume/exec/ \\
--logtostderr=true \\
--v=2
Restart=always
RestartSec=5
StartLimitInterval=0
[Install]
WantedBy=multi-user.target
EOF
# 分发
for node_name in ${NODE_NAMES[@]}
do
echo ">>> ${node_name}"
sed -e "s/##NODE_NAME##/${node_name}/" kubelet.service.template > kubelet-${node_name}.service
scp kubelet-${node_name}.service root@${node_name}:/etc/systemd/system/kubelet.service
done
配置参数详解
启动服务
#!/bin/bash
cd /data/k8s/work
source /data/k8s/bin/env.sh
for node_ip in ${NODE_IPS[@]}
do
echo ">>> ${node_ip}"
ssh root@${node_ip} "mkdir -p ${K8S_DIR}/kubelet/kubelet-plugins/volume/exec/"
ssh root@${node_ip} "/usr/sbin/swapoff -a"
ssh root@${node_ip} "systemctl daemon-reload && systemctl enable kubelet && systemctl restart kubelet"
done
服务启动后查看CSR，均处于Pending状态，需要approve后才可以通过
kubectl get csr
下面创建自动审批机制
创建ClusterRoleBinding自动approve
#!/bin/bash
cd /data/k8s/work
cat > auto-csr-for-kubelet.yaml <<EOF
# Approve all CSRs for the group "system:bootstrappers"
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: auto-approve-csrs-for-group
subjects:
- kind: Group
name: system:bootstrappers
apiGroup: rbac.authorization.k8s.io
roleRef:
kind: ClusterRole
name: system:certificates.k8s.io:certificatesigningrequests:nodeclient
apiGroup: rbac.authorization.k8s.io
---
# To let a node of the group "system:nodes" renew its own credentials
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: node-client-cert-renewal
subjects:
- kind: Group
name: system:nodes
apiGroup: rbac.authorization.k8s.io
roleRef:
kind: ClusterRole
name: system:certificates.k8s.io:certificatesigningrequests:selfnodeclient
apiGroup: rbac.authorization.k8s.io
---
# A ClusterRole which instructs the CSR approver to approve a node requesting a
# serving cert matching its client cert.
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: approve-node-server-renewal-csr
rules:
- apiGroups: ["certificates.k8s.io"]
resources: ["certificatesigningrequests/selfnodeserver"]
verbs: ["create"]
---
# To let a node of the group "system:nodes" renew its own server credentials
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: node-server-cert-renewal
subjects:
- kind: Group
name: system:nodes
apiGroup: rbac.authorization.k8s.io
roleRef:
kind: ClusterRole
name: approve-node-server-renewal-csr
apiGroup: rbac.authorization.k8s.io
EOF
kubectl apply -f auto-csr-for-kubelet.yaml
auto-approve-csrs-for-group 自动approve node的第一次CSR，注意第一次CSR时，请求的Group为system:bootstrappers；
node-client-cert-renewal 自动approve node后续过期的client证书，自动生成的证书Group为system:nodes；
node-server-cert-renewal 自动approve node后续过期的server证书，自动生成的证书Group；
基于安全考虑，CSR approving controllers不会自动approve kubelet server证书签名请求，需要手动approve
kubectl get csr | grep Pending | awk '{print $1}' | xargs kubectl certificate approve
验证
进程验证
#!/bin/bash
source /data/k8s/bin/env.sh
for node_ip in ${NODE_IPS[@]}
do
echo ">>> ${node_ip}"
ssh root@${node_ip} "systemctl status kubelet.service|grep -i Active"
done
验证结果：
>>> 192.168.16.104
Active: active (running) since Fri 2020-01-31 21:59:56 CST; 18h ago
>>> 192.168.16.105
Active: active (running) since Sun 2019-12-29 19:03:26 CST; 1 months 3 days ago
>>> 192.168.16.106
Active: active (running) since Sun 2019-12-29 19:03:02 CST; 1 months 3 days ago
>>> 192.168.16.107
Active: active (running) since Sun 2019-12-29 19:03:04 CST; 1 months 3 days ago
CSR验证
kubectl get csr
刚才处于pending状态的CSR均签发成功。
Node节点状态
[root@master01 ~]# kubectl get node
NAME STATUS ROLES AGE VERSION
master01.k8s.vip Ready <none> 33d v1.17.0
master02 Ready <none> 33d v1.17.0
master03 Ready <none> 33d v1.17.0
node01 Ready <none> 33d v1.17.0
[root@master01 ~]#
进程端口
#!/bin/bash
source /data/k8s/bin/env.sh
for node_ip in ${NODE_IPS[@]}
do
echo ">>> ${node_ip}"
ssh root@${node_ip} "netstat -antp |grep kubelet"
done
结果如下：
>>> 192.168.16.104
tcp 0 0 192.168.16.104:10248 0.0.0.0:* LISTEN 11217/kubelet
tcp 0 0 192.168.16.104:10250 0.0.0.0:* LISTEN 11217/kubelet
tcp 0 0 127.0.0.1:40471 0.0.0.0:* LISTEN 11217/kubelet
tcp 0 0 192.168.16.104:53896 192.168.16.253:8443 ESTABLISHED 11217/kubelet
>>> 192.168.16.105
tcp 0 0 127.0.0.1:43713 0.0.0.0:* LISTEN 28452/kubelet
tcp 0 0 192.168.16.105:10248 0.0.0.0:* LISTEN 28452/kubelet
tcp 0 0 192.168.16.105:10250 0.0.0.0:* LISTEN 28452/kubelet
tcp 0 0 192.168.16.105:59210 192.168.16.253:8443 ESTABLISHED 28452/kubelet
>>> 192.168.16.106
tcp 0 0 127.0.0.1:36795 0.0.0.0:* LISTEN 31918/kubelet
tcp 0 0 192.168.16.106:10248 0.0.0.0:* LISTEN 31918/kubelet
tcp 0 0 192.168.16.106:10250 0.0.0.0:* LISTEN 31918/kubelet
tcp 0 0 192.168.16.106:59192 192.168.16.253:8443 ESTABLISHED 31918/kubelet
>>> 192.168.16.107
tcp 0 0 192.168.16.107:10248 0.0.0.0:* LISTEN 24467/kubelet
tcp 0 0 192.168.16.107:10250 0.0.0.0:* LISTEN 24467/kubelet
tcp 0 0 127.0.0.1:38895 0.0.0.0:* LISTEN 24467/kubelet
tcp 0 0 192.168.16.107:51182 192.168.16.253:8443 ESTABLISHED 24467/kubelet
10248: healthz http 服务；
10250: https 服务，访问该端口时需要认证和授权；
总结
由于集群开启了TLS认证，每个节点上面的kubelet组件都需要使用由kube-apiserver使用的CA签发的有效证书才能与kube-apiserver 通讯；此时如果节点多起来，需要为每个节点单独签署证书将是一件非常繁琐的事情；TLS bootstrapping功能就是让kubelet 先使用一个预定的低权限用户连接到kube-apiserver，发送CSR请求，然后由kube-controller-manager动态签署；
kubelet组件采用主动的查询机制，定期向kube-apiserver获取当前节点应该处理的任务，如果有任务分配到了自己身上（如创建Pod），从而他去处理这些任务；
kubelet暴露了两个端口10248，http形式的healthz服务，另一个是10250，https服务，其实还有一个只读的10255端口，这里是禁用的。
13. 第十二篇 二进制安装kubelet的更多相关文章
- Python开发【第二十二篇】：Web框架之Django【进阶】
Python开发[第二十二篇]:Web框架之Django[进阶] 猛击这里:http://www.cnblogs.com/wupeiqi/articles/5246483.html 博客园 首页 ...
- 第十二篇 SQL Server代理多服务器管理
本篇文章是SQL Server代理系列的第十二篇,详细内容请参考原文 在这一系列的上一篇,我们查看了维护计划,一个维护计划可能会创建多个作业,多个计划.你还简单地看了SSIS子系统,并查看了维护计划作 ...
- 第十二篇 Integration Services：高级日志记录
本篇文章是Integration Services系列的第十二篇,详细内容请参考原文. 简介在前一篇文章我们配置了SSIS内置日志记录,演示了简单和高级日志配置,保存并查看日志配置,生成自定义日志消息 ...
- 【译】第十二篇 Integration Services：高级日志记录
本篇文章是Integration Services系列的第十二篇,详细内容请参考原文. 简介在前一篇文章我们配置了SSIS内置日志记录,演示了简单和高级日志配置,保存并查看日志配置,生成自定义日志消息 ...
- 【译】第十二篇 SQL Server代理多服务器管理
本篇文章是SQL Server代理系列的第十二篇,详细内容请参考原文 在这一系列的上一篇,我们查看了维护计划,一个维护计划可能会创建多个作业,多个计划.你还简单地看了SSIS子系统,并查看了维护计划作 ...
- 跟我学SpringCloud | 第十二篇：Spring Cloud Gateway初探
SpringCloud系列教程 | 第十二篇:Spring Cloud Gateway初探 Springboot: 2.1.6.RELEASE SpringCloud: Greenwich.SR1 如 ...
- Spring Cloud第十二篇 | 消息总线Bus
本文是Spring Cloud专栏的第十二篇文章,了解前十一篇文章内容有助于更好的理解本文: Spring Cloud第一篇 | Spring Cloud前言及其常用组件介绍概览 Spring ...
- Mysql优化（出自官方文档） - 第十二篇（优化锁操作篇）
Mysql优化(出自官方文档) - 第十二篇(优化锁操作篇) 目录 Mysql优化(出自官方文档) - 第十二篇(优化锁操作篇) 1 Internal Locking Methods Row-Leve ...
- 解剖SQLSERVER 第十二篇 OrcaMDF 行压缩支持（译）
解剖SQLSERVER 第十二篇 OrcaMDF 行压缩支持(译) http://improve.dk/orcamdf-row-compression-support/ 在这两个月的断断续续的开发 ...
随机推荐
- labview从入门到出家3--制作和调用子VI
当程序越写越大的时候,我们会发现代码界面会比较乱(线太多),那要怎么做可以让代码更简洁一点,我只管直接调用某个功能函数,而不需要在一个VI上面去实现这个功能函数呢?--子VI.好比C语言里面的Main ...
- 从傅里叶级数（Fourier series）到离散傅里叶变换（Discrete Fourier transform）
从傅里叶级数(Fourier series)到离散傅里叶变换(Discrete Fourier transform) 一. 傅里叶级数(FS) 首先从最直观的开始,我们有一个信号\(x(t)\)(满足 ...
- SSH 多密钥配置
目录 前言 一.SSH 是什么 二.密钥生成工具 三.密钥类型 四.本地配置 1.单密钥配置 2.多密钥配置 五.远端配置 1.GitHub/Gitee 2.服务器 前言 当我们从 GitHub 克隆 ...
- DBPack 读写分离功能发布公告
在 v0.1.0 版本我们发布了分布式事务功能,并提供了读写分离功能预览.在 v0.2.0 这个版本,我们加入了通过 UseDB hint 自定义查询请求路由的功能,并修复了一些 bug.另外,在这个 ...
- jdbc 12: 悲观锁
jdbc连接mysql,简单演示行级锁 通过debug模式进行演示 在Test1程序设置断点,让程序1,查询并锁定数据,且程序不执行完(此时停在debug断点处) 这时启动Test2程序,去修改已经被 ...
- Seata-初体验以及避坑
Seata是什么 这里引用官方解释 Seata 是一款开源的分布式事务解决方案,致力于提供高性能和简单易用的分布式事务服务.Seata 将为用户提供了 AT.TCC.SAGA 和 XA 事务模式,为用 ...
- Taurus.MVC WebAPI 入门开发教程1：框架下载环境配置与运行（含系列目录）。
前言: Taurus.MVC 微服务版本已经发布了:Taurus.MVC V3.0.3 微服务开源框架发布:让.NET 架构在大并发的演进过程更简单. 以前都是框架发布时写点相关功能点的文章,没有形成 ...
- SkiaSharp 之 WPF 自绘 粒子花园（案例版）
此案例包含了简单的碰撞检测,圆形碰撞检测方法,也可以说是五环弹球的升级版,具体可以根据例子参考. 粒子花园 这名字是案例的名字,效果更加具有科技感,很是不错,搞搞做成背景特效也是不错的选择. Wpf ...
- 运筹帷幄决胜千里，Python3.10原生协程asyncio工业级真实协程异步消费任务调度实践
我们一直都相信这样一种说法:协程是比多线程更高效的一种并发工作方式,它完全由程序本身所控制,也就是在用户态执行,协程避免了像线程切换那样产生的上下文切换,在性能方面得到了很大的提升.毫无疑问,这是颠扑 ...
- Blazor预研与实战
背景 最近一直在搞一件事,就是熟悉Blazor,后期需要将Blazor真正运用到项目内.前期做了一些调研,包括但不限于 Blazor知识学习 组件库生态预研 与现有SPA框架做比对 与WebForm做 ...