1.在k8smaster 服务器检查节点状态 kubectl describe nodes  aaaa #没有报错,异常信息   2.在节点上检查kubelet服务状态 netstat -tlanp|grep 6443 #正常连接到lk8s master 服务器   3.检查节点kubelet日志 journalctl -u kubelet >> kubelet.log    发现线索: 15 Dec 08 17:31:24 prd-swakopuranium-dmcu01 kubelet[1…

我把三台虚拟机重启,发现2个节点一直处于NotReady状态,便去查找问题,到最后是因为子节点的kubelet的状态异常了,restart一下就好了,下面转一下解决的思路 昨天晚上,针对K8S环境做了一次压测,50路并发实施,早上起来看监控,发现昨晚8点之后,系统好像都宕掉了,一看master节点和一个node节点状态变成了not ready,主要定位手段如下: 1. 查看master kubelet状态 systemctl status kubelet 状态正常 2. 查看master kub…

开发部署pod的时候在wayne平台上部署不上去,删除也删除不了 先删除 kubectl delete pod pod-name --grace-period=0 --force 删除之后然后部署新的pod一直的状态在ContainerCreating 看日志kubectl describe pod 也是显示正常 看集群node状态kubectl get node,一会Noready一会ready 看kubectl日志 journalctl -xu kubelet提示都有报PLEG is not…

Kubernetes 1.19.3 OS: CentOS 7.9.2009 Kernel: 5.4.94-1.el7.elrepo.x86_64 Docker: 20.10.6 先说结论,runc v1.0.0-rc93 有 bug,会导致 docker hang 住. 发现问题 线上告警提示集群中存在 2-3 个 K8s 节点处于 NotReady 的状态,并且 NotReady 状态一直持续. kubectl describe node,有 NotReady 相关事件. 登录问题机器后,查看…

节点健康检测 意义 在K8S集群运行的过程中,节点常常会因为运行时组件的问题.内核死锁.资源不足等各种各样的原因不可用.Kubelet默认对节点的PIDPressure.MemoryPressure.DiskPressure等资源状态进行了监控,但是当Kubelet上报这些状态的时候,节点很可能已经长时间处于不可用状态了,并且Kubelet可能已经开始了驱逐Pod的操作.所以原生K8S对节点健康的检测机制在一些场景下是不完善的,我们需要能够在节点出现问题之前提前发现,并且需要更加细致化的指标来描…

简介 Node是Pod真正运行的主机,可以是物理机也可以是虚拟机. Node本质上不是Kubernetes来创建的, Kubernetes只是管理Node上的资源. 为了管理Pod,每个Node节点上至少需要运行container runtime(Docker).kubelet和kube-proxy服务. node基本操作:kubectl get nodes,查询所有node 从k8s移除node节点 获取节点列表:kubectl get node 确认需要移除的节点上面没有部署我们所需要的资源…

一,文章简述 大家好,本篇是个人的第 2 篇文章.是关于在之前项目中,k8s 线上集群中 Node 节点状态变成 NotReady 状态,导致整个 Node 节点中容器停止服务后的问题排查. 文章中所描述的是本人在项目中线上环境实际解决的,那除了如何解决该问题,更重要的是如何去排查这个问题的起因. 关于 Node 节点不可用的 NotReady 状态,当时也是花了挺久的时间去排查的. 二,Pod 状态 在分析 NotReady 状态之前,我们首先需要了解在 k8s 中 Pod 的状态都有哪些.并…

1.在master查看node状态 [root@master1 ~]# kubectl get nodes NAME STATUS ROLES AGE VERSION master1 Ready control-plane,master 17h v1.20.4 node1 NotReady <none> 17h v1.20.4 2.新手新装发现问题是node节点没有安装docker  真是坑啊 装一下 yum install docker 3.再去nodes状态 ok了 [root@maste…

首先是按照二进制方式安装的k8s. [root@ht22 calico]# cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core) [root@ht22 calico]# uname -r 3.10.0-1160.45.1.el7.x…

apiVersion: apps/v1 # for versions before 1.9.0 use apps/v1beta2 kind: Deployment metadata: name: villa-api labels: app: villa spec: selector: matchLabels: app: villa tier: frontend strategy: type: Recreate template: metadata: labels: app: villa tier…