kubernetes删除pod一直处理 Terminating状态 # kubectl get po -n mon NAME READY STATUS RESTARTS AGE alertmanager-d6ccb787b-4bvhx 1/1 Running 0 17h grafana-64855ff589-8ttkt 0/1 Terminating 0 17h grafana-677c547cf8-gd5d4 1/1 Running 0 17h kube-state-metrics-6d744

删除pod,pod一直处于Terminating状态 [root@yxz-cluster01 deploy_yaml]# kubectl get pod -n yunanbao NAME READY STATUS RESTARTS AGE yxz-script-77974f5dc8-5qw9v 0/1 Terminating 5 40m 解决办法 强制删除: kubectl delete pod [pod name] --force --grace-period=0 -n [namespace]

[摘要] kubernetes 可能会产生垃圾或者僵尸pod,在删除rc的时候,相应的pod没有被删除,手动删除pod后会自动重新创建,这时一般需要先删除掉相关联的resources,实际中还要具体情况具体分析. 在使用Helm部署gitlab的时候发现有垃圾的pod存在,一直删除不掉 # kubectl get pods -n kube-system NAME READY STATUS RESTARTS AGE gitlab-migrations.1-2km-4rwnm 1/1 Running

本篇为Pod Terminating原因追踪系列的第三篇,前两篇分别介绍了两种可能导致Pod Terminating的原因.在处理现网问题时,Pod Terminating属于比较常见的问题,而本系列的初衷便是记录导致Pod Terminating问题的原因,希望能够帮助大家在遇到此类问题时,开拓排查思路. 本篇将再介绍一种造成Pod Terminating的原因,即处理事件流的方法异常退出导致的Pod Terminating,当docker版本在19以下且containerd进程由于各种原因(

前一阵有客户docker18.06.3集群中出现Pod卡在terminating状态的问题,经过排查发现是containerd和dockerd之间事件流阻塞,导致后续事件得不到处理造成的. 定位问题的过程极其艰难,其中不乏大量工具的使用和大量的源码阅读.本文将梳理排查此问题的过程,并总结完整的dockerd和contaienrd之间事件传递流程,一步一步找到问题产生的原因,特写本文记录分享,希望大家在有类似问题发生时,能够迅速定位.解决. 对于本文中提到的问题,在docker19中已经得到解决,

前一段时间发现有一些containerd集群出现了Pod卡在Terminating的问题,经过一系列的排查发现是containerd对底层异常处理的问题.最后虽然通过一个短小的PR修复了这个bug,但是找到bug的过程和对问题的反思还是值得和大家分享的. 本文中会借由排查bug的过程来分析kubelet删除Pod的调用链,这样不仅仅可以了解containerd的bug,还可以借此了解更多Pod删除不掉的原因.在文章的最后会对问题进行反思,来探讨OCI出现的问题. 一个删除不掉的Pod 可能大家都

1.[root@pserver88 oa]# cat Dockerfile FROM tomcat RUN rm -rf /usr/local/tomcat/webapps/*ADD ROOT.war /usr/local/tomcat/webapps/ 2. [root@pserver78 oa]# cat oa.yaml ---apiVersion: extensions/v1beta1kind: Deploymentmetadata: labels: app: oa name: oaspe

一.概述 k8s中删除pod失败,可能是该pod有rc,rs上层控制,而且很有可能,所以删除上层对应的rc,rs,deployment即可: 删除的方法: 1.直接删除rc,rs,deployment等: 2.官方做法:先put rc副本数为0,再删除rc:使用api { "kind": "Scale", "apiVersion": "extensions/v1beta1", "metadata": { &

今天在k8s集群创建pod时,执行了如下命令: #kubectl run busybox-service --image=busybox --replicas=3 但是在创建过程中pod既然失败了, [root@k8s-master ~]# kubectl get pods NAME READY STATUS RESTARTS AGE busybox-service-556d89b4d9-2c8hq 0/1 CrashLoopBackOff 4 3m busybox-service-556d89

分析: 是因为删除了pod,但是没有删除对应的deployment,删除对应的deployment即可 实例如下: 删除pod [root@test2 ~]# kubectl get pod -n jenkins NAME READY STATUS RESTARTS AGE jenkins2-8698b5449c-grbdm 1/1 Running 0 8s [root@test2 ~]# kubectl delete pod jenkins2-8698b5449c-grbdm -n jenki

加参数 --force --grace-period=0,grace-period表示过渡存活期,默认30s,在删除POD之前允许POD慢慢终止其上的容器进程,从而优雅退出,0表示立即终止POD kubectl delete pod <your-pod-name> -n <name-space> --force --grace-period=0

监控页面出现看到有运行失败的pod 1) 查看有哪些不运行的podcustom-metrics-apiserver日志占满空间被驱逐 [root@hadoop03 ~]# kubectl get pod -A[root@hadoop03 ~]# kubectl get pod -n prom | grep Evicted custom-metrics-apiserver-694844dfbc-27jcs / Evicted 6d7h custom-metrics-apiserver-694844

Kubernetes中强制删除Pod.namespace 解决方法 可使用kubectl中的强制删除命令 # 删除POD kubectl delete pod PODNAME --force --grace-period=0 # 删除NAMESPACE kubectl delete namespace NAMESPACENAME --force --grace-period=0 若以上方法无法删除,可使用第二种方法,直接从ETCD中删除源数据 # 删除default namespace下的pod

关联博客<kubernetes/k8s CRI 分析-容器运行时接口分析> <kubernetes/k8s CRI分析-kubelet创建pod分析> 之前的博文先对 CRI 做了介绍,然后对 kubelet CRI 相关源码包括 kubelet 组件 CRI 相关启动参数分析.CRI 相关 interface/struct 分析.CRI 相关初始化分析.kubelet调用CRI创建pod分析 4 个部分进行了分析,没有看的小伙伴,可以点击上面的链接去看一下. 把之前博客分析到的

K8S 不能直接删除Pod,直接删除Pod,会被Deployment重启 删除前,必须先删除对应的Deployment 例子: // 查出Pod [root@k8s-master ~]# kubectl get pods NAME READY STATUS RESTARTS AGE nginx-65cbdd8bc4-mpkm4 0/1 ImagePullBackOff 0 37m nginx-65cbdd8bc4-tbgt8 0/1 ImagePullBackOff 0 3h1m // 查处其对

我这里的pod是与nfs有关,nfs挂载有问题导致pod有问题,执行完删除命令以后看到pod一直处于terminating的状态. 这种情况下可以使用强制删除命令: kubectl delete pod [pod name] --force --grace-period=0 -n [namespace] 注意:必须加-n参数指明namespace,否则可能报错pod not found.

k8s更新版本后,老的POD一直出现Terminating,多久都不能删除. 然后,进入具体的节点机器之后,查看日志输出如下类似: ERROR: driver "overlay" failed to remove root filesystem for 738f492a57f80951b279c3bd82f59b6230275a298ab74d7f26c4564cf3d1cf2c: remove /var/lib/docker/overlay/6031651302dba6053c5fd

加上这个选项 --grace-period=0 --force--grace-period=0 --force 先删除deployment,pod,svc再删除namespace > kubectl get pod -n istio-system NAME READY STATUS RESTARTS AGE istio-galley-75679b695b-5p8vn / Terminating 1h istio-sidecar-injector-c8c4c568b-x5m9j / Termina

多次变更服务后,发现部分pod delete僵死无法删除,一直处于Terminating状态 kubectl delete pod $pod-name一直卡住或不生效 已经删除管理资源的情况下发现仍然无法生效,强制删除异常pod # 确认依赖资源是否已删除 kubectl get all # Force delete a pod on a dead node kubectl delete pod foo --force --grace-period

有时候pod一直在Terminating kubectl delete pod xxx --force --grace-period=