Kubernetes 的 NameSpace 无法删除应该怎么办?
概述
有时候我们操作不规范,或者删除的先后顺序有问题,或者某项关键服务没有启动,导致 Kubernetes 经常会出现无法删除 NameSpace 的情况。这种情况下我们应该怎么办?
规范删除流程
其实,很多时候出现这种情况,主要是因为我们的删除操作不规范,典型的有下面几种情况:
- 删除的先后顺序有问题,如:
- 先删除了 Traefik 的关键组件,再尝试删除包含 Traefik Ingress 或 EdgeIngress 的 CRD
- 某项关键服务没有启动,如:
- 对于安装了 Prometheus Operator + custom adapter 的 Kubernetes 集群,在 Prometheus 的一些关键组件 scale down 的情况下,删除包含这些监控 CRD 或 HPA custom metric 的 NameSpace
...
综上,根源上,大部分情况下 NameSpace 无法删除,都是我们操作有错在先。
为了避免此类错误再犯,推荐搭建删除按照如下流程:
- 保证所有基础服务组件都是正常运行的状态(如前面提到的,ingress 组件,监控组件,servicemesh 组件。..)
- 检查要删除的 NameSpace 下的所有资源,特别是 CRD, 这里推荐使用 Krew - Kubernetes 的 CLI 插件管理器 安装
get-all
来真正地获取该 NameSpace 下的所有资源,如后面的代码块所示: - 针对其中的一些 CRD 或特殊资源,最好先明确指定删除并确保可以成功删除掉
- 最后,再删除该 NameSpace
第 2 步的代码块:(有如此多的 CRD)
❯ kubectl get-all -n cert-manager
NAME NAMESPACE AGE
configmap/cert-manager-webhook cert-manager 277d
configmap/kube-root-ca.crt cert-manager 277d
endpoints/cert-manager cert-manager 277d
endpoints/cert-manager-webhook cert-manager 277d
endpoints/cert-manager-webhook-dnspod cert-manager 277d
pod/cert-manager-6d6bb4f487-hkwpn cert-manager 85d
pod/cert-manager-6d6bb4f487-wgtd8 cert-manager 85d
pod/cert-manager-cainjector-7d55bf8f78-5797c cert-manager 277d
pod/cert-manager-webhook-577f77586f-txlcx cert-manager 85d
pod/cert-manager-webhook-577f77586f-xh4st cert-manager 85d
pod/cert-manager-webhook-dnspod-5d5566c7bc-5cj4s cert-manager 211d
secret/cert-manager-cainjector-token-h8cqq cert-manager 277d
secret/cert-manager-token-28knj cert-manager 277d
secret/cert-manager-webhook-ca cert-manager 277d
secret/cert-manager-webhook-dnspod-ca cert-manager 277d
secret/cert-manager-webhook-dnspod-letsencrypt cert-manager 277d
secret/cert-manager-webhook-dnspod-secret cert-manager 277d
secret/cert-manager-webhook-dnspod-token-jsjrn cert-manager 277d
secret/cert-manager-webhook-dnspod-webhook-tls cert-manager 277d
secret/cert-manager-webhook-token-qxq44 cert-manager 277d
secret/default-token-mkpmt cert-manager 277d
secret/ewhisper-crt-secret cert-manager 277d
secret/sh.helm.release.v1.cert-manager-webhook-dnspod.v1 cert-manager 277d
secret/sh.helm.release.v1.cert-manager.v1 cert-manager 277d
serviceaccount/cert-manager cert-manager 277d
serviceaccount/cert-manager-cainjector cert-manager 277d
serviceaccount/cert-manager-webhook cert-manager 277d
serviceaccount/cert-manager-webhook-dnspod cert-manager 277d
serviceaccount/default cert-manager 277d
service/cert-manager cert-manager 277d
service/cert-manager-webhook cert-manager 277d
service/cert-manager-webhook-dnspod cert-manager 277d
order.acme.cert-manager.io/ewhisper-crt-6v6s4-2449993249 cert-manager 209d
order.acme.cert-manager.io/ewhisper-crt-89n7g-2449993249 cert-manager 23d
order.acme.cert-manager.io/ewhisper-crt-8g496-2449993249 cert-manager 277d
order.acme.cert-manager.io/ewhisper-crt-jj24l-2449993249 cert-manager 83d
order.acme.cert-manager.io/ewhisper-crt-q8pvw-2449993249 cert-manager 149d
deployment.apps/cert-manager cert-manager 277d
deployment.apps/cert-manager-cainjector cert-manager 277d
deployment.apps/cert-manager-webhook cert-manager 277d
deployment.apps/cert-manager-webhook-dnspod cert-manager 277d
replicaset.apps/cert-manager-6d6bb4f487 cert-manager 277d
replicaset.apps/cert-manager-cainjector-7d55bf8f78 cert-manager 277d
replicaset.apps/cert-manager-webhook-577f77586f cert-manager 277d
replicaset.apps/cert-manager-webhook-dnspod-5d5566c7bc cert-manager 211d
replicaset.apps/cert-manager-webhook-dnspod-5d78f9bfcb cert-manager 217d
replicaset.apps/cert-manager-webhook-dnspod-7c5cd575fc cert-manager 277d
app.catalog.cattle.io/cert-manager cert-manager 270d
app.catalog.cattle.io/cert-manager-webhook-dnspod cert-manager 270d
certificaterequest.cert-manager.io/cert-manager-webhook-dnspod-ca-l57hl cert-manager 277d
certificaterequest.cert-manager.io/cert-manager-webhook-dnspod-webhook-tls-7zwdh cert-manager 277d
certificaterequest.cert-manager.io/cert-manager-webhook-dnspod-webhook-tls-gs57f cert-manager 34d
certificaterequest.cert-manager.io/ewhisper-crt-6v6s4 cert-manager 209d
certificaterequest.cert-manager.io/ewhisper-crt-89n7g cert-manager 23d
certificaterequest.cert-manager.io/ewhisper-crt-8g496 cert-manager 277d
certificaterequest.cert-manager.io/ewhisper-crt-jj24l cert-manager 83d
certificaterequest.cert-manager.io/ewhisper-crt-q8pvw cert-manager 149d
certificate.cert-manager.io/cert-manager-webhook-dnspod-ca cert-manager 277d
certificate.cert-manager.io/cert-manager-webhook-dnspod-webhook-tls cert-manager 277d
certificate.cert-manager.io/ewhisper-crt cert-manager 277d
issuer.cert-manager.io/cert-manager-webhook-dnspod-ca cert-manager 277d
issuer.cert-manager.io/cert-manager-webhook-dnspod-selfsign cert-manager 277d
endpointslice.discovery.k8s.io/cert-manager-9lm6j cert-manager 277d
endpointslice.discovery.k8s.io/cert-manager-webhook-dnspod-q7f8n cert-manager 277d
endpointslice.discovery.k8s.io/cert-manager-webhook-z6qdd cert-manager 277d
rolebinding.rbac.authorization.k8s.io/cert-manager-webhook:dynamic-serving cert-manager 277d
role.rbac.authorization.k8s.io/cert-manager-webhook:dynamic-serving cert-manager 277d
ingressroute.traefik.containo.us/alertmanager cert-manager 244d
ingressroute.traefik.containo.us/grafana cert-manager 255d
ingressroute.traefik.containo.us/grafana-rancher cert-manager 238d
ingressroute.traefik.containo.us/prometheus cert-manager 244d
ingressroute.traefik.containo.us/rsshub cert-manager 268d
ingressroute.traefik.containo.us/ttrss cert-manager 257d
tlsstore.traefik.containo.us/default cert-manager 268d
试试强制删除
如果 NameSpace 已经处于 terminating
的状态,且久久无法删除,可以试试加上这 2 个参数强制删除:
--force
--grace-period=0
kubectl delete ns ${NAMESPACE} --force --grace-period=0
强制删除失败?再来试试这种办法
强制删除失败?再来试试这种办法:调用 Kubernetes API 删除
Hard Way 步骤
首先,获取要删除 NameSpace 的 JSON 文件:
NAMESPACE=cert-manager
kubectl get ns ${NAMESPACE} -o json > namespace.json
然后,编辑 namespace.json
, 从 finalizers
字段中删除 kubernetes
的值并保存,示例如下:
{
"apiVersion": "v1",
"kind": "Namespace",
"metadata": {
...: ...
},
"spec": {
"finalizers": []
},
"status": {
"phase": "Terminating"
}
}
之后,可以通过 kubectl proxy
设置 APIServer 的临时 IP 和端口
kubectl proxy --port=6880 &
最后,进行 API 调用来强制删除:
curl -k -H "Content-Type: application/json" -X PUT --data-binary @namespace.json http://127.0.0.1:6880/api/v1/namespaces/${NAMESPACE}/finalize
验证是否已经成功删除:
kubectl get ns ${NAMESPACE}
编排成脚本
Notes:
依赖组件:
- kubectl
- jq
- curl
force-delete-ns.sh
#!/bin/bash
set -ex
PATH=$PATH:.
NAMESPACE=$1 # 读取命令行第一个参数
kill -9 $(ps -ef|grep proxy|grep -v grep |awk '{print $2}')
kubectl proxy --port=6880 &
kubectl get namespace ${NAMESPACE} -o json |jq '.spec = {"finalizers":[]}' > namespace.json
curl -k -H "Content-Type: application/json" -X PUT --data-binary @namespace.json 127.0.0.1:6880/api/v1/namespaces/${NAMESPACE}/finalize
使用方式示例:
bash force-delete-ns.sh cert-manager
总结
经常会碰到 Kubernetes 的 NameSpace 无法删除的情况,这时候应该如何解决?这里提供了 3 种方案:
- 尽量不要出现上面这种情况 (额。.. 废话)
- 加上
--force
flag 强制删除 - 调用 namespace 的 finalize API 强制删除
但是,真到了需要强制删除的阶段,2/3 部是无法保证 100% 成功的。
所以第一步才是正道 ...(呆,但是有用)
EOF
本文由博客一文多发平台 OpenWrite 发布!
Kubernetes 的 NameSpace 无法删除应该怎么办?的更多相关文章
- 记一次删除k8s namespace无法删除的问题
在用longhorn工具做k8s存储卷动态预配的时候,需要修改longhorn.yaml的一个默认参数,修改完成需要重新加载longhorn.yaml,结果重新加载出错了,修改的参数没有生效,于是执行 ...
- kubernetes进阶(01)kubernetes的namespace
一.Namespace概念 Namespace是对一组资源和对象的抽象集合,比如可以用来将系统内部的对象划分为不同的项目组或用户组. 常见的pods, services, replication co ...
- 用kubernetes部署oa 强制删除pod delete
1.[root@pserver88 oa]# cat Dockerfile FROM tomcat RUN rm -rf /usr/local/tomcat/webapps/*ADD ROOT.war ...
- 处理kubernetes 一些比较难删除的资源
kubernetes 提供了force 的命令在我们删除资源的时候,但是很多时候还是不可以的 一般删除资源的处理 命令 kubectl delete <resource> <reso ...
- kubernetes secret 和 serviceaccount删除
背景 今天通过配置创建了一个serviceaccounts和secret,后面由于某种原因想再次创建发现已存在一个serviceaccounts和rolebindings.rbac.authoriza ...
- kubernetes进阶(03)kubernetes的namespace
服务发现与负载均衡Kubernetes在设计之初就充分考虑了针对容器的服务发现与负载均衡机制,提供了Service资源,并通过kube-proxy配合cloud provider来适应不同的应用场景. ...
- kubernetes容器删除时快速释放ip的方案
问题的来由 在kubernetes集群的生产中,经常遇到这样的一个问题,就是在应用大规模更新时,大量容器删除而后大量容器创建,创建的容器需要很长时间才能就绪.这其中一个可能的原因,就是大量容器删除释放 ...
- 我们为什么会删除不了集群的 Namespace?
作者 | 声东 阿里云售后技术专家 导读:阿里云售后技术团队的同学,每天都在处理各式各样千奇百怪的线上问题.常见的有网络连接失败.服务器宕机.性能不达标及请求响应慢等.但如果要评选的话,什么问题看起 ...
- Openstack+Kubernetes+Docker微服务实践之路--RPC
重点来了,本文全面阐述一下我们的RPC是怎么实现并如何使用的,跟Kubernetes和Openstack怎么结合. 在选型一文中说到我们选定的RPC框架是Apache Thrift,它的用法是在Ma ...
- kubernetes容器编排系统介绍
版权声明:本文由turboxu原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/152 来源:腾云阁 https://www. ...
随机推荐
- 【Azure Developer】Python 读取 json文件及过滤出需要的结果
问题描述 首先,有名为 campsites.json 的JSON数据文件,数据格式为 { "type": "FeatureCollection", " ...
- 1、dubbo的简介
Dubbo是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案.简单的说,dubbo就是个服务框架,如果没有分布式的需求,其实是不需要用的,只有在分布式的时候 ...
- apt-get upgrade 和apt-get dist-upgrade区别
kali linux系统或者 debian等系统 以及centos 在系统升级后经常会出现系统无法启动,或者启动之后GUI功能没有的问题: 笔记: 区别这两种用法 apt-get update ...
- weekToDo - 一个本地todo软件 - 软件推荐 先用着试试
https://weektodo.me/ https://github.com/Zuntek/WeekToDoWeb/releases/download/v1.7.0/WeekToDo-Setup-1 ...
- 异步小工具 asyncTool
class asyncTool { constructor () { this.arr = [] this.ctx = {} } use (func) { const into = { func, n ...
- C#中的JSON序列化方法
在C#中的使用JSON序列化及反序列化时,推荐使用Json.NET--NET的流行高性能JSON框架,当然也可以使用.NET自带的 System.Text.Json(.NET5).DataContra ...
- 一次对requirements环境的配置
事情是这样的,我需要跑通一个代码,因此要配置环境,但是并不能利用requirements中给的指令直接配置,于是开始找一些其他的解决方法.作为一名小白,总是绕很多弯路. 记下一些蜿蜒. 首先,摘录re ...
- 一些网络编程方面的总结,以及redis、memcache、nginx组件的一些介绍
网络编程主要关注的一些问题 主要关注3个方面的问题 连接的建立 连接的断开 消息的发送和到达 连接的建立 主要分为两种情况:服务器处理接受客户端的连接:服务端作为客户端的连接第三方服务: //这是服务 ...
- RabbitMq消息队列进一步认识
参考:https://www.cnblogs.com/wanglijun/p/10896896.html(应用场景) https://blog.csdn.net/weixin_41588751/art ...
- Java加密技术(一)——BASE64与单向加密算法MD5&SHA&MAC
Javabase64macmd5sha 加密解密,曾经是我一个毕业设计的重要组件.在工作了多年以后回想当时那个加密.解密算法,实在是太单纯了. 言归正传,这里我们主要描述Java已经实 ...