k8s系列---故障

kubectl get namespace
 
prom            Terminating   45h

　　

namespace 出现Terminating 状态，一直删不掉

解决：

1：导出namespace的json文件
[root@master ~]# kubectl get namespace prom -o json > prom.json
2:修改json文件
{
    "apiVersion": "v1",
    "kind": "Namespace",
    "metadata": {
        "annotations": {
            "kubectl.kubernetes.io/last-applied-configuration": "{\"apiVersion\":\"v1\",\"kind\":\"Namespace\",\"metadata\":{\"annotations\":{},\"name\":\"prom\"}}\n"
        },
        "creationTimestamp": "2019-01-29T04:01:48Z",
        "deletionTimestamp": "2019-01-30T07:09:57Z",
        "name": "prom",
        "resourceVersion": "2427154",
        "selfLink": "/api/v1/namespaces/prom",
        "uid": "99b33767-237a-11e9-b2d9-000c297e6ade"
    },
    "spec": {
        "finalizers": [
        ]
    },
    "status": {
        "phase": "Terminating"
    }
}

　　

删除上面finalizers里的kubernetes

3：开个代理

[root@master ~]#  kubectl proxy --port=8001
Starting to serve on 127.0.0.1:8001

　　

4：执行json文件

[root@master ~]# curl -k -H "Content-Type: application/json" -X PUT --data-binary @prom.json http://127.0.0.1:8001/api/v1/namespaces/prom/finalize

　　

如果上面执行没删掉，出现code：409 ，则把上面json文件内的 "resourceVersion": "2427154", 这一行删掉，重新执行4

同一个yaml文件内两个subPath无法挂载到同一个pvc的问题

网上大多数给的参考是每个subPath都写了一个volumeMounts，而研发同学也没注意，就在同一个containers下的name下也写了两个volumeMounts，导致第一个volumeMounts挂载的时候总是挂载不上。

解决：

        volumeMounts:
          - name: log-data
            mountPath: /home
            subPath: testa
          - name: log-data
            mountPath: /usr/src/html
            subPath: testb

　　

运行一段时间后 pod出现 Evicted 状态

删除

kubectl get pods -n kube-system | grep Evicted | awk '{print $1}'  | xargs kubectl delete pod -n kube-syste

节点资源耗尽  NodeHasSufficientMemory

如何清理Docker占用的磁盘空间?

查看使用情况

docker system df

docker system prune

基于K8S的CI过程出现 jenkins一直转圈圈，jenkins-slave不创建

测试k8s和jenkins是否处于连通状态

配置方式

我之前是写的https://kubernetes.default，当时测试是没问题的，后来CI阶段的时候出现了上述问题

解决就是不用域名了，直接改ip

使用 # kubectl cluster-info可以查看 apiserver的地址和端口，最终测试通过

jenkins的地址就不要改了，改了发现build的时候还是转圈圈，虽然能拉下slave出来，查看slave的pod日志，发现连接64的50000端口去了，应该连接jenkins-pod的50000，于是jenkins改成域名的

最终配置如下

helm install时出现错误“Error: error installing: the server could not find the requested resource”

解决办法：大致就是helm版本不兼容 Kubernetes 1.16.0 的 apiVersion

https://www.chenshaowen.com/blog/summary-of-installation-problems-for-kubernetes-1.6.0.html

https://feisky.gitbooks.io/kubernetes/apps/helm.html

k8s集群在RBAC分级授权时发生误操作，应该是证书被覆盖，kubectl命令无法使用了，按照网上替换证书的方式操作不管用

保利点解决：kubeadmin reset -f  重置集群 重新加入，然后各类服务重新创建

kubeadm reset -f

kubeadm join 172.16.10.241:6443 --token olfmpz.2w1mzqjzhv5w0xlr --discovery-token-ca-cert-hash sha256:2cbfe9767b7cc83b03986238d6a409fa444948b34bfee920aa267cc18878305e