早上到了公司,发现docker资源池的某一台主机根文件系统写满. 检查后发现该主机/data目录未挂载文件系统,直接放在了根目录下.于是联系业务方将应用迁移,联系主机工程师为/data挂载80G的存储空间. 接着顺便检查了其它资源池主机的磁盘分区上可使用的磁盘空间.使用df -h命令查询,结果直接hang死. 去其它主机执行df命令,同样全部hang死. 随后主机上Docker容器内跑的业务开始报错. 尝试检查/var/log/message系统日志,发现全部被业务的报错日志充斥,可读性很差.…

前几日看到鸟哥介绍的 <让你的PHP7更快之Hugepage>, 于是想试试手给服务器加上,参照格式安装好扩展,调整好配置文件,然后重启php-fpm,结果启动一直报Zend OPcache huge_code_pages: mmap(HUGETLB) failed: Cannot allocate memory 看字面意思是无法分配内存?怎么会呢,机器内存还是很充足的,这点排查掉了.后面查找相关资料得到,是因为系统Hugepage不够,一般系统Hugepage是没有开启的,可以通过下面命令查…

今天生产机器突然无法登录了,正好有一个用top挂着,但是退出top,执行任何命令都报-bash: fork: Cannot allocate memory,但是查看内存还是有很多空闲,然后在百度上查了很多资料,经过在虚拟机上测试,找到了解决办法. 原因是进程数满了,超过了系统设置的默认值 查看最大进程数 sysctl kernel.pid_max 查看所有进程数ps -eLf | wc -l 会发现所有进程数基本快超过系统默认的进程数量了 修改最大进程数后系统即可恢复,无需重启进程.echo 1…

查看 Redis 日志 发现系统在频繁报错: [26641] 18 Dec 04:02:14 * 1 changes in 900 seconds. Saving… [26641] 18 Dec 04:02:14 # Can’t save in background: fork: Cannot allocate memory   在小内存的进程上做一个fork,不需要太多资源,但当这个进程的内存空间以G为单位时,fork就成为一件很恐怖的操作.何况在16G内存的主机上fork 14G内存的进程呢…

redis : Can't save in background: fork: Cannot allocate memory JAVA程序报错信息: MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Please check Redis logs fo…

今天遇到服务器无法SSH,VNC操作命令提示fork:cannot allocate memory free查看内存还有(注意,命令可能要多敲几次才会出来) 查看最大进程数 sysctl kernel.pid_max ps -eLf | wc -l查看进程数  确认是进程数满了 修改最大进程数后系统恢复echo 1000000 > /proc/sys/kernel/pid_max 永久生效echo "kernel.pid_max=1000000 " >> /etc/s…

今天遇到服务器无法SSH,VNC操作命令提示fork:cannot allocate memory free查看内存还有(注意,命令可能要多敲几次才会出来) 查看最大进程数 sysctl kernel.pid_max ps -eLf | wc -l查看进程数  确认是进程数满了 修改最大进程数后系统恢复 echo 1000000 > /proc/sys/kernel/pid_max 永久生效 echo "kernel.pid_max=1000000 " >> /etc…

问题的发现及解决过程: 1.Redis主从复制(一主一从)环境在客户端用命令查看主从状态 在slave上输入命令显示如下: 在master上输入命令显示如下: 从显示可以看出主从关系出现问题,然后查看slave的redis.log有如下报错: 以为是IP及端口问题,经检查后发现非此问题.于是在网上查看一些别人的解决方法,但试过后都无效.于是查看master的redis.log有如下报错: 说明内存不足,无法为fork子进程分配内存,这就是主从出现问题的原因. 解决方法: 在master上的操作:…

************************************************************************ ****原文:blog.csdn.net/clark_xu  徐长亮的专栏 ************************************************************************ 问题描写叙述: 原先SGA 4G.PGA 2G. alter system set sga_max_size=30G scope=s…

应该是某个程序吃掉了所有的内存,只能重启…