这几天，老有几个环境在中午收盘后者下午收盘后那一会儿，系统打不开，然后过了一会儿，进程就消失不见了，查看了下/var/log/message，有如下信息：

Dec 12 11:35:38 iZ23nn1p4mjZ kernel: INFO: task java:27465 blocked for more than 120 seconds.
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: Not tainted 2.6.32-431.23.3.el6.x86_64 #1
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: java D 0000000000000002 0 27465 27457 0x00000000
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff8801ab8378d8 0000000000000082 ffff8801ab8378a0 ffff8801ab83789c
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff8801ab837a54 ffff88023fc23480 ffff880028396840 0000000000000400
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff88017480f058 ffff8801ab837fd8 000000000000fbc8 ffff88017480f058
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: Call Trace:
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa007609d>] do_get_write_access+0x29d/0x520 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8109b020>] ? wake_bit_function+0x0/0x50
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa0076471>] jbd2_journal_get_write_access+0x31/0x50 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa00c3b98>] __ext4_journal_get_write_access+0x38/0x80 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009d9d3>] ext4_reserve_inode_write+0x73/0xa0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009da4c>] ext4_mark_inode_dirty+0x4c/0x1d0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa0075495>] ? jbd2_journal_start+0xb5/0x100 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009dd40>] ext4_dirty_inode+0x40/0x60 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811b52bb>] __mark_inode_dirty+0x3b/0x160
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811a59c2>] file_update_time+0xf2/0x170
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8118aec0>] ? __sb_start_write+0x80/0x120
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009ebc0>] ? ext4_da_get_block_prep+0x0/0x3c0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811c1b9b>] __block_page_mkwrite+0x3b/0x140
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa00a0eb1>] ext4_page_mkwrite+0x121/0x360 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff81149f50>] __do_fault+0xd0/0x530
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8114a4a7>] handle_pte_fault+0xf7/0xb00
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff810aee5e>] ? futex_wake+0x10e/0x120
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8114b0da>] handle_mm_fault+0x22a/0x300
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8104a8d8>] __do_page_fault+0x138/0x480
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8103f9d8>] ? pvclock_clocksource_read+0x58/0xd0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8103ea6c>] ? kvm_clock_read+0x1c/0x20
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8152e74e>] do_page_fault+0x3e/0xa0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8152bb05>] page_fault+0x25/0x30
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: INFO: task java:27585 blocked for more than 120 seconds.
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: Not tainted 2.6.32-431.23.3.el6.x86_64 #1
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: java D 0000000000000003 0 27585 1 0x00000000
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff88023808d8d8 0000000000000086 0000000000000000 ffffffff812830b9
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff88023808da54 0000000000000000 ffff88023808d9c8 ffffffff810598e4
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff88023aa1c5f8 ffff88023808dfd8 000000000000fbc8 ffff88023aa1c5f8
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: Call Trace:
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff812830b9>] ? cpumask_next_and+0x29/0x50
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff810598e4>] ? find_busiest_group+0x244/0x9e0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa007609d>] do_get_write_access+0x29d/0x520 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8109b020>] ? wake_bit_function+0x0/0x50
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa0076471>] jbd2_journal_get_write_access+0x31/0x50 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa00c3b98>] __ext4_journal_get_write_access+0x38/0x80 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009d9d3>] ext4_reserve_inode_write+0x73/0xa0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009da4c>] ext4_mark_inode_dirty+0x4c/0x1d0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa0075495>] ? jbd2_journal_start+0xb5/0x100 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009dd40>] ext4_dirty_inode+0x40/0x60 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811b52bb>] __mark_inode_dirty+0x3b/0x160
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811a59c2>] file_update_time+0xf2/0x170
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8118aec0>] ? __sb_start_write+0x80/0x120
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009ebc0>] ? ext4_da_get_block_prep+0x0/0x3c0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811c1b9b>] __block_page_mkwrite+0x3b/0x140
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa00a0eb1>] ext4_page_mkwrite+0x121/0x360 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff81149f50>] __do_fault+0xd0/0x530
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8114a4a7>] handle_pte_fault+0xf7/0xb00
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff81030b59>] ? native_smp_send_reschedule+0x49/0x60
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff810554f8>] ? resched_task+0x68/0x80
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8105559d>] ? check_preempt_curr+0x6d/0x90
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff81061b6e>] ? try_to_wake_up+0x24e/0x3e0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8114b0da>] handle_mm_fault+0x22a/0x300
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff810ae5e0>] ? wake_futex+0x40/0x60
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8104a8d8>] __do_page_fault+0x138/0x480
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8103f9d8>] ? pvclock_clocksource_read+0x58/0xd0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8103f9d8>] ? pvclock_clocksource_read+0x58/0xd0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8103ea6c>] ? kvm_clock_read+0x1c/0x20
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8152e74e>] do_page_fault+0x3e/0xa0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8152bb05>] page_fault+0x25/0x30

就本身而言，这个警告对数据并没有什么破坏性影响，只不过同OOM的严重性一样，它会导致受影响的进行处于hang状态，甚至最后被killed了。所以，需要找到发生它的根本原因，否则风险始终存在。

这个问题(关于他的解释可以参考http://www.ttlsa.com/linux/kernel-blocked-for-more-than-120-seconds/)很早以前发生过，很久没出这个问题了，最近这两个服务器平时负载就比较高，然后又出现了，关于“INFO: task java:27465 blocked for more than 120 seconds”这个警告，简单直白的解释就是刷新cache的速度太慢了，所以这个问题可能大部分情况下是出现在内存64GB以上、磁盘速度10K RPM以下的系统中，对于内存8GB的系统，一般应该是较少出现的，而我们出问题的这个环境就是低配的。所以不应该出现cached太多导致的，实际上看sar -r也能看出不是cached的问题，如下：

再看cpu历史：

对比了上一周的负载情况下，所以应该是该时间段io太高以至于根本无法再进行更多的io，所以导致了这个问题。后面只要找到这个时间段是哪个进程（pidstat -d）在执行大量IO以及什么操作导致即可。

INFO: task java:27465 blocked for more than 120 seconds不一定是cache太大的问题的更多相关文章

  1. linux 出错 “INFO: task java: xxx blocked for more than 120 seconds.” 的3种解决方案

    1 问题描述 最近搭建的一个linux最小系统在运行到241秒时在控制台自动打印如下图信息,并且以后每隔120秒打印一次. 仔细阅读打印信息发现关键信息是“hung_task_timeout_secs ...

  2. task mysqld:26208 blocked for more than 120 seconds

    早上10点左右,某台线上ECS服务器突然没响应. 查看日志,发现如下信息: Aug 14 03:26:01 localhost rsyslogd: [origin software="rsy ...

  3. kernel: INFO: task sadc:14833 blocked for more than 120 seconds.

    早上一到,发现oracle连不上. 到主机上,发现只有oracleora11g一个进程,其他进程全没了. Nov 14 23:33:30 hs-test-10-20-30-15 kernel: INF ...

  4. linux 出错 “INFO: task xxxxxx: 634 blocked for more than 120 seconds.”的3种解决方案（转）

    linux 出错 “INFO: task xxxxxx: 634 blocked for more than 120 seconds.”的3种解决方案 1 问题描述 服务器内存满了,ssh登录失败 , ...

  5. linux 出错 “INFO: task xxxxxx: 634 blocked for more than 120 seconds.”的3种解决方案

    https://blog.csdn.net/electrocrazy/article/details/79377214

  6. Linux 日志报错 xxx blocked for more than 120 seconds

    监控作业发现一台服务器(Red Hat Enterprise Linux Server release 5.7)从凌晨1:32开始,有一小段时间无法响应,数据库也连接不上,后面又正常了.早上检查了监听 ...

  7. Linux系统出现hung_task_timeout_secs和blocked for more than 120 seconds的解决方法

    Linux系统出现系统没有响应. 在/var/log/message日志中出现大量的 “echo 0 > /proc/sys/kernel/hung_task_timeout_secs" ...

  8. 服务器卡死，重启报错： INFO: task blocked for more than 120 seconds

    问题:服务器负载很高,但是CPU利用率不高.服务器经常夯住,网站打不开,SSH连接非常不稳定,输入命令夯住. 重启服务器报错: INFO: task blocked for more than 120 ...

  9. hung_task_timeout_secs 和 blocked for more than 120 seconds

    https://help.aliyun.com/knowledge_detail/41544.html 问题现象 云服务器 ECS Linux 系统出现系统没有响应. 在/var/log/messag ...

随机推荐

  1. Android二维码之创建

    由于微信的推出二维码走进了我们的生活,并且越来越多的人们正在发挥着自己的想象力去使用它,来方便我们的生活,我曾经听说过一个笑话,当我们死后,墓碑上不再有墓志铭,而会出现一个记录你一生信息的二维码,当人 ...

  2. Chrome 控制台指南

    转自:http://blog.jobbole.com/76985/ Chrome的开发者工具已经强大到没朋友的地步了,特别是其功能丰富界面友好的console,使用得当可以有如下功效: 更高「逼格」更 ...

  3. 数据库连接池之Proxool使用

    如果想要搭建一个高效的网站,链接池是必须用到的一部分.而连接池的选择是多种多样的.就现在的软件开发界而言,最为多用的是DBCP, c3p0, 和 proxool.而hibernate推荐使用的是c3p ...

  4. SpringAOP使用扩展

    在<初识Spring>中我们了解到Spring支持AOP且可配置方法的前置曾强和后置曾强,但其实Spring支持多种曾强类型.下面同过一些例子来介绍Spring的几种常用的曾强(前置增强和 ...

  5. Navigation Drawer的使用及遇到的问题

    ActionBar的问题 Navigation View是Android Support Library中的一个新的组件,该组件提供类似于Sliding Menu的抽屉功能,在张兴业的博客中有讲解到具 ...

  6. angularJS配合bootstrap动态加载弹出提示内容

    1.bootstrp的弹出提示 bootstrap已经帮我们封装了非常好用的弹出提示Popover. http://v3.bootcss.com/javascript/#popovers 2.自定义p ...

  7. 【转载】[jquery.validate]自定义方法实现"手机号码或者固定电话"的逻辑验证

    最近项目开发中遇到这样的需求“手机号码或者固话至少填写一个”,如下图所示: 项目采用的jquery.validate.js验证组件,目前组件不支持这种“或”逻辑的验证,于是就自己定义一个 jQuery ...

  8. visual C++ 项目和解决方案的区别

    项目:         项目是构成某个程序的全部组件的容器,该程序可能是控制台程序.基于窗口的程序或某种别的程序.程序通常由一个或多个包含用户代码的源文件,可能还要加上包含其它辅助数据的文件组成.某个 ...

  9. 硬链接 and 软链接

    硬链接 软链接

  10. MongoDB2.6 新特性

    MongoDB 2.6 已经在今天发布,当然,关注MongoDB的同志自然知道这个消息. 整个MongoDB2.6,个人觉得认证系统是一个重新设计的系统.当然,MongoDB 2.4.6开始,就已经在 ...