一,文章简述 大家好,本篇是个人的第 2 篇文章.是关于在之前项目中,k8s 线上集群中 Node 节点状态变成 NotReady 状态,导致整个 Node 节点中容器停止服务后的问题排查. 文章中所描述的是本人在项目中线上环境实际解决的,那除了如何解决该问题,更重要的是如何去排查这个问题的起因. 关于 Node 节点不可用的 NotReady 状态,当时也是花了挺久的时间去排查的. 二,Pod 状态 在分析 NotReady 状态之前,我们首先需要了解在 k8s 中 Pod 的状态都有哪些.并

上一篇我们部署了kubernetes的master集群,参考:二进制搭建kubernetes多master集群[三.配置k8s master及高可用] 本文在以下主机上操作部署k8s node k8s-node1:192.168.80.10 k8s-node2:192.168.80.11 k8s-node3:192.168.80.12 以下kubeadm和kubectl命令操作都是在k8s-master1上执行的. kubernetes work 节点运行如下组件: docker kubelet

Prometheus 监控K8S 资源状态对象 官方文档:https://github.com/kubernetes/kube-state-metrics kube-state-metrics是一个简单的服务,它监听Kubernetes API服务器并生成有关对象状态的指标.它不关注单个Kubernetes组件的运行状况,而是关注内部各种对象的运行状况,例如部署,节点和容器. 采集了k8s中各种资源对象的状态信息: kube-state-metrics kube_daemonset_* kube

系统环境: node节点 操作系统: CentOS-7-x86_64-DVD-1908.iso node节点 IP地址: 192.168.1.204 node节点 hostname(主机名, 请和保持node节点主机名 和master不同):k8s.node03 目标: 在该机器安装k8s node节点,并加入指定集群 步骤如下: 1. 安装基础工具 yum install vim yum install lrzsz yum install dockersystemctl start docke

Prometheus 监控K8S Node监控 Prometheus社区提供的NodeExporter项目可以对主机的关键度量指标进行监控,通过Kubernetes的DeamonSet可以在各个主机节点上部署有且仅有一个NodeExporter实例,实现对主机性能指标数据的监控,但由于容器隔离原因,使用容器NodeExporter并不能正确获取到宿主机磁盘信息,故此本课程将NodeExporter部署到宿主机. node_exporter:用于*NIX系统监控,使用Go语言编写的收集器 使用文档

原文:https://www.wchao.site/archives/granafa-k8s 其他参考:https://blog.csdn.net/bbwangj/article/details/82658419 k8s node 图表不显示问题. 收集节点信息,依赖node-exporter 暴露的http接口.以获取cpu使用率接口为例,其格式如下: node_cpu_seconds_total{beta_kubernetes_io_arch="amd64",beta_kubern

Pod控制器: ReplicationController:早期K8s只有这一个控制器,但后来发现让这一个来完成所有任务,太复杂.因此被废弃. ReplicaSet: 它用于帮助用户创建指定数量的Pod副本,并确保Pod副本数量一直满足用户期望的副本数量. 副本数量"多退少补"等机制.[它可认为就是ReplicationController的新版本.] 它由三个主要组件组成: 1. 用户期望的Pod的副本数量.     2. 标签选择器: 使用它来选择自己管理的Pod     3. P

今天给同事 一个k8s 集群 出现not ready了 花了 40min 才搞定 这里记录一下 避免下载 再遇到了 不清楚. 错误现象:untime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized 解决办法: docker pull quay.io/coreos/flann

1.因昨天虚机异常关闭,导致今天上去查看时,node节点状态显示为down 2.查了些相关资料,找到处理办法(因我的节点没有任何数据,所以直接对其进行清除) docker swarm leave --force 这个命令是将你的节点从swarm中离开,所以,在down的节点服务器上执行. 3.完成后,在重新构建swarm,如果加入节点异常,关闭manager节点的防火墙 4.如果你节点上已构建容器 关闭:docker node update –availability drain worker1

kubernetes断电重启 导致部分pod无法删除 dashboard上处于黄色 kubectl get处于terminate 状态 kubectl delete报错: An error occurred while waiting for the object to be deleted: too old resource version: kubectl get nodes发现node失联: 但是发现能ssh到失联的node上去,于是重启kubelet systemctl restart

kubernetes断电重启 导致部分pod无法删除 dashboard上处于黄色 kubectl get处于terminate 状态 kubectl delete报错: An error occurred while waiting for the object to be deleted: too old resource version: kubectl get nodes发现node失联: 但是发现能ssh到失联的node上去,于是重启kubelet systemctl restart

node执行 mkdir -p /root/.kube master执行 scp admin.conf node1:/root/.kube/config

kubernetes等容器技术可以将所有的业务进程运行在公共的资源池中,提高资源利用率,节约成本,但是为避免不同进程之间相互干扰,对底层docker, kubernetes的隔离性就有了更高的要求,kubernetes作为一门新盛的技术,在这方面还不够成熟, 近期在一个staging集群就发生了,inode资源被耗尽的事件: 现象 在测试集群中,许多pod被Evicted掉 [root@node01 ~]$ kubectl get pods NAME READY STATUS RESTARTS

本文原始地址(gitbook格式):https://farmer-hutao.github.io/k8s-source-code-analysis/prepare/debug-environment.html 本项目github地址:https://github.com/farmer-hutao/k8s-source-code-analysis 1. 概述 大家注意哦,不一定要先搭建好环境再看源码,大可以先看一个组件,感觉差不多理解了,想要run一把,想要改几行试试的时候回过头来搭建k8s环境.

首先,什么是kubelet bootstrap?在安装 k8s worker node 时,基本上 worker 的初始状态仅仅是安装了 docker 和 kubelet,worker 需要一种机制跟 master 通信.但网络通信的基本假设是通信双方谁也不信任谁.所以,kubelet bootstrap要以自动化的方式解决如下几个问题: 在只知道 api server IP 地址的情况下,worker node 如何获取 api server 的 CA 证书? 如何让 api server 信

目录 Kubernetes的网络模型和网络策略 1.Kubernetes网络模型和CNI插件 1.1.Docker网络模型 1.2.Kubernetes网络模型 1.3.Flannel网络插件 1.4.VxLAN后端和direct routing 1.5.Host-gw后端 2.网络策略 2.1.部署Canal提供网络策略功能 2.2.配置网络策略 2.3.管控入站流量 2.4.管控出站流量 2.5.隔离名称空间 Kubernetes的网络模型和网络策略 1.Kubernetes网络模型和CNI

概述: 本文提供ansible-playbooks用来帮助读者用ansible构建二进制kubernetes1.14, 集群包含calico.nginx-ingress.HA 提供资源有kubernetes-1.14二进制安装包.docker18/rpm包.calico所需镜像.nginx-ingress所需镜像.cfssl包等 执行tree /root/tmp/ansible-playbooks 可以在files目录下查看所需资源,后续会继续完善本文 资源地址:https://pan.baid

错误现象 runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized 解决方式 仅就今天遇到的情况给出解决方法,基于v1.21.1版本,已安装weave,发现仍有以上错误. 我发现 /opt/cni/bin 目录下缺少很多可执行文件,处理方式是重新安装kubernete

开发部署pod的时候在wayne平台上部署不上去,删除也删除不了 先删除 kubectl delete pod pod-name --grace-period=0 --force 删除之后然后部署新的pod一直的状态在ContainerCreating 看日志kubectl describe pod 也是显示正常 看集群node状态kubectl get node,一会Noready一会ready 看kubectl日志 journalctl -xu kubelet提示都有报PLEG is not

之前的docker和etcd已经部署好了,现在node节点要部署二个服务:kubelet.kube-proxy. 部署kubelet(Master 节点操作) 1.二进制包准备 [root@k8s-master bin]# cd /usr/local/src/kubernetes/server/bin/ [root@k8s-master bin]# cp kubelet kube-proxy /opt/kubernetes/bin/ [root@k8s-master bin]# scp kube