k8s的Health Check(健康检查)
强大的自愈能力是 Kubernetes 这类容器编排引擎的一个重要特性。自愈的默认实现方式是自动重启发生故障的容器。除此之外,用户还可以利用 Liveness 和 Readiness 探测机制设置更精细的健康检查,进而实现如下需求:
零停机部署。
避免部署无效的镜像。
更加安全的滚动升级。
下面通过实践学习 Kubernetes 的 Health Check 功能。
1.默认的健康检查
我们首先学习 Kubernetes 默认的健康检查机制:
每个容器启动时都会执行一个进程,此进程由 Dockerfile 的 CMD 或 ENTRYPOINT 指定。如果进程退出时返回码非零,则认为容器发生故障,Kubernetes 就会根据 restartPolicy
重启容器。
下面我们模拟一个容器发生故障的场景,Pod 配置文件如下:
apiVersion: v1
kind: Pod
metadata:
labels:
test: healthcheck
name: healthcheck
spec:
restartPolicy: OnFailure
containers:
- name: healthcheck
image: busybox
args:
- /bin/sh
- -c
- sleep ; exit
Pod 的 restartPolicy
设置为 OnFailure
,默认为 Always
。
sleep 10; exit 1
模拟容器启动 10 秒后发生故障。
执行 kubectl apply
创建 Pod,命名为 healthcheck
。
可看到容器当前已经重启了 4 次。
在上面的例子中,容器进程返回值非零,Kubernetes 则认为容器发生故障,需要重启。但有不少情况是发生了故障,但进程并不会退出。比如访问 Web 服务器时显示 500 内部错误,可能是系统超载,也可能是资源死锁,此时 httpd 进程并没有异常退出,在这种情况下重启容器可能是最直接最有效的解决方案,那我们如何利用 Health Check 机制来处理这类场景呢?
答案是 Liveness
2.Liveness探测
Liveness 探测让用户可以自定义判断容器是否健康的条件。如果探测失败,Kubernetes 就会重启容器。
还是举例说明,创建如下 Pod:
apiVersion: v1
kind: Pod
metadata:
labels:
test: liveness
name: liveness
spec:
restartPolicy: OnFailure
containers:
- name: liveness
image: busybox
args:
- /bin/sh
- -c
- touch /tmp/healthy; sleep ; rm -fr /tmp/healthy; sleep
livenessProbe:
exec:
command:
- cat
- /tmp/healthy
initialDelaySeconds:
periodSeconds:
启动进程首先创建文件 /tmp/healthy
,30 秒后删除,在我们的设定中,如果 /tmp/healthy
文件存在,则认为容器处于正常状态,反正则发生故障。
livenessProbe
部分定义如何执行 Liveness 探测:
探测的方法是:通过
cat
命令检查/tmp/healthy
文件是否存在。如果命令执行成功,返回值为零,Kubernetes 则认为本次 Liveness 探测成功;如果命令返回值非零,本次 Liveness 探测失败。initialDelaySeconds: 10
指定容器启动 10 之后开始执行 Liveness 探测,我们一般会根据应用启动的准备时间来设置。比如某个应用正常启动要花 30 秒,那么initialDelaySeconds
的值就应该大于 30。periodSeconds: 5
指定每 5 秒执行一次 Liveness 探测。Kubernetes 如果连续执行 3 次 Liveness 探测均失败,则会杀掉并重启容器。
下面创建 Pod liveness
:
从配置文件可知,最开始的 30 秒,/tmp/healthy
存在,cat
命令返回 0,Liveness 探测成功,这段时间 kubectl describe pod liveness
的 Events
部分会显示正常的日志。
2m3s =123s 123s-30s(初始化时间)=93s 可以检查三次,对应的RESTARTS次数 为3
3.Readiness探测
除了 Liveness 探测,Kubernetes Health Check 机制还包括 Readiness 探测。
用户通过 Liveness 探测可以告诉 Kubernetes 什么时候通过重启容器实现自愈;Readiness 探测则是告诉 Kubernetes 什么时候可以将容器加入到 Service 负载均衡池中,对外提供服务。
Readiness 探测的配置语法与 Liveness 探测完全一样,下面是个例子:
apiVersion: v1
kind: Pod
metadata:
labels:
test: readiness
name: readiness
spec:
restartPolicy: OnFailure
containers:
- name: readiness
image: busybox
args:
- /bin/sh
- -c
- touch /tmp/healthy; sleep ; rm -rf /tmp/healthy
readinessProbe:
exec:
command:
- cat
- /tmp/healthy
initialDelaySeconds:
periodSeconds:
这个配置文件只是将前面例子中的 liveness
替换为了 readiness
,我们看看有什么不同的效果。
Pod readiness
的 READY
状态经历了如下变化:
刚被创建时,
READY
状态为不可用。15 秒后(initialDelaySeconds + periodSeconds),第一次进行 Readiness 探测并成功返回,设置
READY
为可用。30 秒后,
/tmp/healthy
被删除,连续 3 次 Readiness 探测均失败后,READY
被设置为不可用 STATUS变为Completed,而RESTARTS一直为0。
通过 kubectl describe pod readiness
也可以看到 Readiness 探测失败的日志。
下面对 Liveness 探测和 Readiness 探测做个比较:
Liveness 探测和 Readiness 探测是两种 Health Check 机制,如果不特意配置,Kubernetes 将对两种探测采取相同的默认行为,即通过判断容器启动进程的返回值是否为零来判断探测是否成功。
两种探测的配置方法完全一样,支持的配置参数也一样。不同之处在于探测失败后的行为:Liveness 探测是重启容器;Readiness 探测则是将容器设置为不可用,不接收 Service 转发的请求。
Liveness 探测和 Readiness 探测是独立执行的,二者之间没有依赖,所以可以单独使用,也可以同时使用。用 Liveness 探测判断容器是否需要重启以实现自愈;用 Readiness 探测判断容器是否已经准备好对外提供服务。
4.Health Check在滚动更新中使用
对于多副本应用,当执行 Scale Up 操作时,新副本会作为 backend 被添加到 Service 的负责均衡中,与已有副本一起处理客户的请求。考虑到应用启动通常都需要一个准备阶段,比如加载缓存数据,连接数据库等,从容器启动到正真能够提供服务是需要一段时间的。我们可以通过 Readiness 探测判断容器是否就绪,避免将请求发送到还没有 ready 的 backend。
下面是示例应用的配置
重点关注 readinessProbe
部分。这里我们使用了不同于 exec
的另一种探测方法 -- httpGet
。Kubernetes 对于该方法探测成功的判断条件是 http 请求的返回代码在 200-400 之间。
schema
指定协议,支持 HTTP
(默认值)和 HTTPS
。path
指定访问路径。port
指定端口。
上面配置的作用是:
容器启动 10 秒之后开始探测。
如果
http://[container_ip]:8080/healthy
返回代码不是 200-400,表示容器没有就绪,不接收 Serviceweb-svc
的请求。每隔 5 秒再探测一次。
直到返回代码为 200-400,表明容器已经就绪,然后将其加入到
web-svc
的负责均衡中,开始处理客户请求。探测会继续以 5 秒的间隔执行,如果连续发生 3 次失败,容器又会从负载均衡中移除,直到下次探测成功重新加入。
对于 http://[container_ip]:8080/healthy
,应用则可以实现自己的判断逻辑,比如检查所依赖的数据库是否就绪,示例代码如下:
5.Health Check在滚动更新(Rolling Up)中的应用
现有一个正常运行的多副本应用,接下来对应用进行更新(比如使用更高版本的 image),Kubernetes 会启动新副本,然后发生了如下事件:
正常情况下新副本需要 10 秒钟完成准备工作,在此之前无法响应业务请求。
但由于人为配置错误,副本始终无法完成准备工作(比如无法连接后端数据库)。
先别继续往下看,现在请花一分钟思考这个问题:如果没有配置 Health Check,会出现怎样的情况?
因为新副本本身没有异常退出,默认的 Health Check 机制会认为容器已经就绪,进而会逐步用新副本替换现有副本,其结果就是:当所有旧副本都被替换后,整个应用将无法处理请求,无法对外提供服务。如果这是发生在重要的生产系统上,后果会非常严重。
如果正确配置了 Health Check,新副本只有通过了 Readiness 探测,才会被添加到 Service;如果没有通过探测,现有副本不会被全部替换,业务仍然正常进行。
下面通过例子来实践 Health Check 在 Rolling Update 中的应用。
用如下配置文件 app.v1.yml
模拟一个 10 副本的应用:
10 秒后副本能够通过 Readiness 探测。
接下来滚动更新应用,配置文件 app.v2.yml
如下:
很显然,由于新副本中不存在 /tmp/healthy
,是无法通过 Readiness 探测的。验证如下:
先关注 kubectl get pod
输出:
从 Pod 的
AGE
栏可判断,最后 5 个 Pod 是新副本,目前处于 NOT READY 状态。旧副本从最初 10 个减少到 8 个。
再来看 kubectl get deployment app
的输出:
DESIRED
10 表示期望的状态是 10 个 READY 的副本。CURRENT
13 表示当前副本的总数:即 8 个旧副本 + 5 个新副本。UP-TO-DATE
5 表示当前已经完成更新的副本数:即 5 个新副本。AVAILABLE
8 表示当前处于 READY 状态的副本数:即 8个旧副本。
5.1maxSurge
此参数控制滚动更新过程中副本总数的超过 DESIRED
的上限。maxSurge
可以是具体的整数(比如 3),也可以是百分百,向上取整。maxSurge
默认值为 25%。
在上面的例子中,DESIRED
为 10,那么副本总数的最大值为:
roundUp(10 + 10 * 25%) = 13
所以我们看到 CURRENT
就是 13。
5.2maxUnavailable
此参数控制滚动更新过程中,不可用的副本相占 DESIRED
的最大比例。 maxUnavailable
可以是具体的整数(比如 3),也可以是百分百,向下取整。maxUnavailable
默认值为 25%。
在上面的例子中,DESIRED
为 10,那么可用的副本数至少要为:
10 - roundDown(10 * 25%) = 8
所以我们看到 AVAILABLE
就是 8。
maxSurge
值越大,初始创建的新副本数量就越多;maxUnavailable
值越大,初始销毁的旧副本数量就越多。
理想情况下,我们这个案例滚动更新的过程应该是这样的:
首先创建 3 个新副本使副本总数达到 13 个。
然后销毁 2 个旧副本使可用的副本数降到 8 个。
当这 2 个旧副本成功销毁后,可再创建 2 个新副本,使副本总数保持为 13 个。
当新副本通过 Readiness 探测后,会使可用副本数增加,超过 8。
进而可以继续销毁更多的旧副本,使可用副本数回到 8。
旧副本的销毁使副本总数低于 13,这样就允许创建更多的新副本。
这个过程会持续进行,最终所有的旧副本都会被新副本替换,滚动更新完成。
而我们的实际情况是在第 4 步就卡住了,新副本无法通过 Readiness 探测。这个过程可以在 kubectl describe deployment app
的日志部分查看。
如果滚动更新失败,可以通过 kubectl rollout undo
回滚到上一个版本。
5.3定制maxSurge和maxUnavailable
如果要定制 maxSurge
和 maxUnavailable
,可以如下配置:
按照如上配置:
pods总数将会是14(10+10*35%)=14个,采用向上取整
不可用的是7个 (10-10*35%)=7,采用向下取整
可用的也是7个 14-7
k8s的Health Check(健康检查)的更多相关文章
- Docker容器和K8s添加Health Check
docker容器启动后,怎么确认容器运行正常,怎么确认可以对外提供服务了,这就需要health check功能了. 之前对health check的功能不在意,因为只要镜像跑起来了就是健康的,如果有问 ...
- nginx check健康检查
nginx利用第三方模块nginx_upstream_check_module来检查后端服务器的健康情况 大家都知道,前段nginx做反代,如果后端服务器宕掉的话,nginx是不能把这台realser ...
- 2.k8s.Pod生命周期,健康检查
#Pod生命周期,健康检查 pod创建过程 Init容器 就绪探测 存活探测 生命周期钩子 #Pod创建过程 master节点:kubectl -> kube-api -> kubenle ...
- k8s 存活探针(健康检查)
重启策略 (RestartPolicy ) Always:当容器终止退出后,总是重启容器,默认策略. OnFailure:当容器异常退出(退出状态码非0)时,才重启容器. Never:当容器终止退出, ...
- ASP.NET Core on K8S深入学习(6)Health Check
本篇已加入<.NET Core on K8S学习实践系列文章索引>,可以点击查看更多容器化技术相关系列文章. 一.关于K8S中的Health Check 所谓Health Check,就是 ...
- 使用.NET 6开发TodoList应用(28)——实现应用程序健康检查
系列导航及源代码 使用.NET 6开发TodoList应用文章索引 需求 应用健康检查在容器部署的微服务场景下非常常见,相比而言单体非容器部署的应用就不太关心这个特性,为了后续的内容我们在本文中简单介 ...
- kubernetes--应用程序健康检查
版权声明:本文属于原创,欢迎转载,转载请保留出处:http://blog.csdn.net/liyingke112 http://blog.csdn.net/liyingke112/article/d ...
- [置顶]
kubernetes--应用程序健康检查
K8S的应用程序健康检查分为livenessProbe和readinessProbe,两者相似,但两者存在着一些区别. livenessProbe在服务运行过程中检查应用程序是否运行正常,不正常将杀掉 ...
- linux运维、架构之路-K8s健康检查Health Check
一.Health Check介绍 强大的自愈能力是k8s容器编排引擎一个重要特性,自愈能力的默认实现方式为自动重启发生故障的容器,另外还可以利用Liveness和Readiness探测 ...
随机推荐
- Linux arm64内核启动
原创翻译,转载请注明出处. arm64的异常模型由一组异常级别(EL0-EL3)组成.EL0,EL1有安全模式和非安全模式的区别.EL2是虚拟机管理级别并且只有非安全模式.EL3是最高优先级并且只存在 ...
- Performanced C++ 经验规则
http://www.cnblogs.com/ccdev/archive/2012/12/27/2836448.html Performanced C++,意为“高性能C++“编程,是笔者和所在团队多 ...
- 【EasyNetQ】- 连接RabbitMQ
如果您习惯于处理与SQL Server等关系数据库的连接,那么您可能会发现EasyNetQ处理连接的方式有点奇怪.与关系数据库的通信始终由客户端启动.客户端打开连接,发出SQL命令,在必要时处理结果, ...
- null?对象?异常?到底应该如何返回错误信息
这篇文章记录我的一些思考.在工作了一段时间之后. 问题的核心很简单:到底如何返回错误信息. 学生时代,见到过当时的老师的代码: if (foo() == null) { } 当然,这位老师是一位比较擅 ...
- IntellIJ IDEA 配置 Git,顺带解决Git Push rejected问题
1.下载便携版本git https://git-scm.com/download/win 弹出的下载取消,重新选择 2.解压自压缩文件. 3.配置IDEA 4.测试 5.配置终端环境shell为bas ...
- [zoj] 3496 Assignment || 有源汇上下界最大流
原题 贴个博客吧 #include<cstdio> #include<algorithm> #include<cstring> #define N 510 #def ...
- 洛谷 P2168 [NOI2015]荷马史诗 解题报告
P2168 [NOI2015]荷马史诗 题目描述 追逐影子的人,自己就是影子 --荷马 Allison 最近迷上了文学.她喜欢在一个慵懒的午后,细细地品上一杯卡布奇诺,静静地阅读她爱不释手的<荷 ...
- redux-saga基本用法
redux-saga是管理redux异步操作的中间件,redux-saga通过创建sagas将所有异步操作逻辑收集在一个地方集中处理. sagas采用Generator函数来yield Effects ...
- 【NOIP 模拟赛】Evensgn 剪树枝 树形dp
由于树规做的少所以即使我考试想出来正确的状态也不会转移. 一般dp的转移不那么繁杂(除了插头.....),即使多那也是清晰明了的,而且按照树规的一般思路,我们是从下到上的,所以我们要尽量简洁地从儿子那 ...
- 如何实现加载DOM时执行js代码
有一些功能需求,需要在DOM载入时马上执行一些函数,但又不愿意仅为了这一个需求而引入整个JQuery库,于是就把jQuery的方法提取出来,单独使用了. 大家可以使用windows.onload事件, ...