场景：领导电话通知，我们的主站宕机了，到家后从另外一台机器上ssh一直处于等待状态，开始怀疑机器的负载比较高，
后查看监控机器，发现网卡、cpu、nginx连接数.....通通都没有数据了，显然不是负载高度问题了，应该是机器死机了，立刻通过ipmi重启机器
重启机器后，机器正常！
其实这个机器都正常运行大半年了，没啥问题！ 
查询/var/log/messages，发现大量的信息如下：

点击(此处)折叠或打开

  1. Mar 12 11:15:04 hy1 kernel: php-fpm: page allocation failure. order:1, mode:0x20
  2. Mar 12 11:15:04 hy1 kernel: php-fpm: page allocation failure. order:1, mode:0x20
  3. Mar 12 11:15:04 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  4. Mar 12 11:15:05 hy1 kernel: nginx: page allocation failure. order:1, mode:0x20
  5. Mar 12 11:15:05 hy1 kernel: nginx: page allocation failure. order:1, mode:0x20
  6. Mar 12 11:15:05 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  7. Mar 12 11:15:05 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  8. Mar 12 11:15:05 hy1 kernel: nginx: page allocation failure. order:1, mode:0x20
  9. Mar 12 11:15:05 hy1 kernel: nginx: page allocation failure. order:1, mode:0x20
  10. Mar 12 11:15:06 hy1 kernel: nginx: page allocation failure. order:1, mode:0x20
  11. Mar 12 11:15:09 hy1 kernel: nginx: page allocation failure. order:1, mode:0x20
  12. Mar 12 11:15:09 hy1 kernel: nginx: page allocation failure. order:1, mode:0x20
  13. Mar 12 11:15:09 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  14. Mar 12 11:15:10 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  15. Mar 12 11:15:11 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  16. Mar 12 11:15:11 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  17. Mar 12 11:15:11 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  18. Mar 12 11:15:11 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  19. Mar 12 11:15:11 hy1 kernel: mysqld: page allocation failure. order:1, mode:0x20
  20. Mar 12 11:17:33 hy1 kernel: swapper: page allocation failure. order:1, mode:0x20
  21. Mar 12 11:17:53 hy1 kernel: swapper: page allocation failure. order:1, mode:0x20
  22. Mar 12 11:17:53 hy1 kernel: swapper: page allocation failure. order:1, mode:0x20
  23. Mar 12 11:17:53 hy1 kernel: swapper: page allocation failure. order:1, mode:0x20
  24. Mar 12 11:17:53 hy1 kernel: swapper: page allocation failure. order:1, mode:0x20
  25. Mar 12 11:17:54 hy1 kernel: swapper: page allocation failure. order:1, mode:0x20
  26. Mar 12 11:17:54 hy1 kernel: swapper: page allocation failure. order:1, mode:0x20
  27. Mar 12 11:17:54 hy1 kernel: swapper: page allocation failure. order:1, mode:0x20

开始怀疑是系统的内存被吃光了，但通过检查监控，发现出问题的时候，内存还有蛮多可以用的！ 当时的内存使用情况，见附件！

后来查到是内核的的一个bug
解决方法如下：
vi /etc/sysctl.conf
写入：
vm.zone_reclaim_mode = 1
sysctl  -p  使其理解生效

原文：http://blog.chinaunix.net/uid-20776139-id-4155388.html

kernel: swapper: page allocation failure. order:1, mode:0x20的更多相关文章

  1. warn_alloc()：page allocation failure问题分析

    关键词:warn_alloc().__GFP_XXX.order.CMA等等. 在内存申请的时候经常会遇到类似“ xxx: page allocation failure: order:10...”类 ...

  2. Mongodb 故障分享 初始化时"errmsg" : "exception: new file allocation failure" 并且长时间处于STARTUP2

    Hello,大家下午好. 近几天的项目有点赶,所以耽误了更新.现在给大家分享下,在安装mongodb的过程中,遇到的故障一则.其实很小白的问题,当时遇到这个问题的时候比较心慌,浪费了很多时间,跟大家分 ...

  3. Allocation Failure

    up vote 8 down vote accepted "Allocation Failure" is a cause of GC cycle to kick. "Al ...

  4. mongodb new file allocation failure

    话说那天正在向mongodb中写入数据,突然就蹦出了 new file allocation failure ,以为是数据有错误,就检查了一番,可没问题啊,看着像是mongo自己的问题,于是百度了一番 ...

  5. System and method to prioritize large memory page allocation in virtualized systems

    The prioritization of large memory page mapping is a function of the access bits in the L1 page tabl ...

  6. linux page allocation and deallocation

      All of the physical pages in the system are described by the mem_map  data structure which is a li ...

  7. linux tcp调优

    Linux TCP Performance Tuning News Linux Performance Tuning Recommended Books Recommended Links Linux ...

  8. [kernel]----理解kswapd的低水位min_free_kbytes

    1. min_free_kbytes 先看官方解释: This is used to force the Linux VM to keep a minimum number of kilobytes ...

  9. [转]Android WiFi 掉线原因分析

    看到一个比较详细的分析wifi断开的文章.收藏一下. 原文: http://blog.csdn.net/chi_wy/article/details/50963279 原因1 ．从Log分析来看,这个 ...

随机推荐

  1. poj_3987 Trie图

    题目大意 有N个病毒,病毒由A-Z字母构成,N个病毒各不相同.给出一段程序P,由A-Z字母构成,若病毒在在程序P或者P的逆转字符串P'中存在,则该程序P被该病毒感染.求出程序P被多少种病毒感染. 题目 ...

  2. 【七牛云】时间戳防盗链鉴权php实现

    基于时间戳防盗链的功能其实每家的CDN都是支持的.主要是通过使用约定的加密字符串来对具有访问有效期的资源链接进行一些加密计算的到一个sign值,然后访问外链里面带上这个sign和截止时间戳去访问CDN ...

  3. 使用Android Studio调试内存问题

    http://blog.csdn.net/yutao52shi/article/details/50055669 前言 内存问题对于Android开发者是永远的痛.如果一个android程序员说他没有 ...

  4. 给大家推荐一个好的android模拟器genymotion，非常流畅，跟真机差不多

    http://www.genymotion.cn/这里是下载地址, 下载的时候会要求输入邮箱并注册,这个邮箱尽量用网易这类的邮箱,我试过qq邮箱无法收到验证邮件, 程序下载安装完成后,打开客户端选择设 ...

  5. Lucene4.x创建索引与3.x的一些不同

    lucene3.x的时候创建Field的时候可以直接指定存储和索引的选项类下下边这样: doc.add(new Field("createrId",diaryField.getCr ...

  6. 日志系统实战 AOP静态注入

    http://www.cnblogs.com/mushroom/p/3932698.html http://www.cnblogs.com/mushroom/p/4124878.html http:/ ...

  7. CentOS6.8系统安装Oracle11g

    1.官网上下载 软件安装包: linux.x64_11gR2_database_1of2.zip linux.x64_11gR2_database_2of2.zip 解压后: 生成文件夹: datab ...

  8. This function has none of DETERMINISTIC, NO SQL

    错误信息: [Err] 1418 - This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declara ...

  9. #cat ora11g_ora_.trc

    Trace file /u02/app/diag/rdbms/ora11g/ora11g/trace/ora11g_ora_31212.trc Oracle Database 11g Enterpri ...

  10. javascript 执行环境，作用域链和闭包

    首先看下这条语句: (function($) {…})(jQuery): 1.原理: function(arg){…}这就定义了一个匿名函数,参数为arg 而调用函数时,是在函数后面写上括号和实参的, ...