早上到了公司,发现docker资源池的某一台主机根文件系统写满. 检查后发现该主机/data目录未挂载文件系统,直接放在了根目录下.于是联系业务方将应用迁移,联系主机工程师为/data挂载80G的存储空间. 接着顺便检查了其它资源池主机的磁盘分区上可使用的磁盘空间.使用df -h命令查询,结果直接hang死. 去其它主机执行df命令,同样全部hang死. 随后主机上Docker容器内跑的业务开始报错. 尝试检查/var/log/message系统日志,发现全部被业务的报错日志充斥,可读性很差.…