记一次KUBERNETES/DOCKER网络排障 https://coolshell.cn/articles/18654.html 记得之前在一个公众号里面看过这个文章 讲的挺好的.. 物理机直接跑docker 有利有弊 如果出了问题之后 很难通过重启解决 因为影响面积太大 如果加上一层虚拟化的话 虽然有一定的损耗 但是能避免一些 单一环境的严重问题. 昨天周五晚上,临下班的时候,用户给我们报了一个比较怪异的Kubernetes集群下的网络不能正常访问的问题,让我们帮助查看一下,我们从下午5点半…

https://coolshell.cn/articles/18654.html 总结在前面: 1.kill -9杀死docker进程,系统一定是要遍历所有的docker子进程来一个一个发退出信号的,这个过程可能会非常的长,结果客户没等到遍历完直接Ctrl+C结束了kill,导致一些docker的进程被杀死,这些docker的子进程就被挂载到PID 1下了,其中docker的NAT进程一直还在,所以出现的现象就是IP地址冲突. 2.上面的问题,重启必然能解决~~所以重启是万能法宝 3.一台物理服…

排障的前置条件 k8s的成熟度很高,伴随着整个项目的扩增,以及新功能和新流程的不断引入,也伴随这产生了一些问题.虽然自动化测试可以排除掉大部分,但是一些复杂流程以及极端情况却很难做到bug的完全覆盖.因此在实际的工作过程中,需要对运行的集群进行故障定位和解决. 当然,进行排障的前提是对于k8s的流程和概念进行掌握,对于源码有一定的掌握能力,才可以更好的进行.待排障的环境和版本和源代码的版本需要进行匹配.版本号可以通过version命令获取,然后从源码进行对照.而且kubectl version还…

[思考]由安装zabbix至排障php一系列引发的思考 linux的知识点林立众多,很有可能你在排查一个故障的时候就得用到另一门技术的知识: 由于linux本身的应用依赖的库和其它环境环环相扣,但又没有很好隔离应用,所以催生了Docker这种虚拟容器的技术, 虽然我现在还没有去掌握Docker,但我已经觉得迫在眉睫需要去学习并好好应用上了. 大概2016年8.9月份我知道了有Docker这种东西,到2017年1月份也只是大致上对它有一些了解和看了有关它技术的开篇的文档. 因为其它如mysql.n…

[排障]tomact未能看到网页 文:食梦貘 这是几个月前的事情了,那时候我在安装xwiki,需要用到tomcat,但是初次安装好时碰上过一个故障: 安装tomcat后,客户机用IE网址上输入:服务端IP:8080 仍无法看到tomcat的网页 telnet 服务机8080端口提示连接被拒绝(反正就是不弹黑窗) 但防火墙确信是已配置好放行8080端口的,纠结了半天防火墙,关了也试过,都无效 后来再网上查tomcat的时候,发现有人提到tomcat有一个错误日志! 设置JDK环境变量时由于是直接复…

个人对win7开机黑屏只有鼠标排障总结 文:铁乐猫 第一种情况是explorer.exe进程丢失或损坏有关: 判断方法是按Ctrl+Alt+Del键能呼出任务管理器,结束explorer.exe进程,再运行输入"explorer.exe"后能看到桌面被加载出来.这种情况是最好解决的,修改一下注册表HKEY_Local_Machine\Software\Microsoft\Windows NT\CurrentVersion\Winlogon 中的shell项,将explorer.exe值…

五.优先级与限速 5.1 Traceroute延时判断影响因素 Traceroute延时包括三点: 探测包到达一个特定路由器的时间 路由器生成IPMI TTL Exceed的时间 ICMP TTL Exceed返回到SRC的时间 第一个和第三个时间都是受实际网络情况影响的,而第二个时间不是.能够对网络问题的判断起到帮助作用的仅仅只有第一个和第三个时间,第二个时间往往起到误导的作用. 5.2 路由器工作原理 路由器有转发(data-plane)和接收(control-plane)的功能. 路由器转…

突然有一天部署在服务器的一个应用挂掉了,没办法只能进入服务器打开 [事件查看器]查看下,好不容易找到了打开后一脸懵逼 事件查看器查到的内容根本对我们排障没有任何作用. 在这个时候如果有对应的dump文件就能派上用场了, 只要有dump文件就能查到应用挂掉那刻的一手情报,可能有人认为分析dump文件是非常难的事情, 但是最近不断有新的dump分析工具出来,例如用vs2017就能够很简单的分析dump文件. 接下来我们用几个实际的例子来看看如何用vs2017来分析dump文件吧 dump文件的收集…

ovs-dpdk + qemu 使用vhostuserclient通信,连路不通,libvirt报错如下: -- ::: starting up libvirt version: , package: .el7_4. (CentOS BuildSystem <http://bugs.centos.org>, 2018-03-07-13:51:24, x86-01.bsys.centos.org), qemu version: 2.9.0, hostna LC_ALL=C PATH=/usr/l…

当你需要追踪某个进程产生和接收的系统调用时,首先浮现在你脑海中的是什么?你可能会想到strace,那么你是对的.你会使用什么样的命令行工具来监控原始网络通信呢?如果你想到了tcpdump,你又作出了一个极佳的选择.而如果你碰到必须追踪打开的文件(在Unix意义上:一切皆文件)的需求,可能你会使用lsof. strace.tcpdump以及lsof,确实是些伟大的工具,它们应该成为每个系统管理员工具集之中的一部分,而这也正是你为什么应该爱上sysdig的原因.它是一个强大的开源工具,用于系统级别的…