几台WEB服务器经常宕机，平时运行得好好的，负载也都在2以下，偶尔会突然负高上去就宕机，init 6也无法重启成功

只能echo 'b'>/proc/sysrq-trigger 硬重启才行,dmesg 没发现硬件方面有问题。

从top相关信息来看，每次宕机现象都是系统内核态占用非常高，相关nginx,php-cgi进程虽然不僵死但无法kill

每次宕机都会有kswaped0进程出现，但是从free上来看，内存还是有空闲，swap用得也并不多

top - 22:26:02 up 3 days,  8:06,  1 user,  load average: 15.05, 15.12, 15.09
Tasks: 518 total,  16 running, 502 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0%us, 87.6%sy,  0.0%ni, 12.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16426616k total, 15985652k used,   440964k free,   102232k buffers
Swap: 16386292k total,    22552k used, 16363740k free,  8320464k cached

PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                         
  553 root      20  -5     0    0    0 R 100.9  0.0 115:59.83 kswapd0                                                        
  554 root      20  -5     0    0    0 R 100.9  0.0 115:55.12 kswapd1                                                        
3417 daemon    25   0 90164  48m 1052 R 100.6  0.3 142:19.56 nginx                                                          
3418 daemon    25   0 90840  48m 1048 R 100.6  0.3 143:54.26 nginx                                                          
3422 daemon    25   0 94196  52m 1052 R 100.6  0.3 144:34.68 nginx                                                          
3423 daemon    25   0 85680  43m 1048 R 100.4  0.3 141:31.40 nginx                                                          
3421 daemon    25   0 87720  45m 1056 R 100.1  0.3 143:13.23 nginx                                                          
3419 daemon    25   0 90148  48m 1044 R 99.6  0.3 144:06.64 nginx                                                           
16942 daemon    25   0  440m  55m  33m R 99.6  0.3 106:08.76 php-cgi                                                         
14476 daemon    25   0  432m  55m  33m R 97.3  0.3 102:58.61 php-cgi                                                         
8706 daemon    25   0  432m  60m  37m R 93.7  0.4 103:46.72 php-cgi                                                         
3416 daemon    25   0 88832  47m 1048 R 93.2  0.3 144:04.28 nginx                                                           
7672 daemon    25   0  439m  67m  37m R 82.4  0.4 104:21.30 php-cgi                                                         
8102 daemon    25   0  441m  62m  36m R 59.8  0.4 107:12.30 php-cgi                                                         
3420 daemon    25   0 89760  47m 1056 R 50.1  0.3 143:38.59 nginx                                                           
15963 root      16   0 13008 1428  820 R 22.6  0.0   0:04.34 top                                                             
3428 root      15   0  411m 4300 1172 S  2.1  0.0   2:33.80 php-cgi                                                         
15965 root      18   0 99.6m 1584  908 S  0.8  0.0   0:00.03 crond                                                           
3743 root      15   0 74812 1164  584 S  0.3  0.0   0:00.83 crond                                                           
15964 root      18   0 99.6m 1468  800 D  0.3  0.0   0:00.01 crond

top - 22:26:02 up 3 days,  8:06,  1 user,  load average: 15.05, 15.12, 15.09
Tasks: 518 total,  16 running, 502 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0%us, 87.6%sy,  0.0%ni, 12.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16426616k total, 15985652k used,   440964k free,   102232k buffers
Swap: 16386292k total,    22552k used, 16363740k free,  8320464k cached

PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                         
  553 root      20  -5     0    0    0 R 100.9  0.0 115:59.83 kswapd0                                                        
  554 root      20  -5     0    0    0 R 100.9  0.0 115:55.12 kswapd1                                                        
3417 daemon    25   0 90164  48m 1052 R 100.6  0.3 142:19.56 nginx                                                          
3418 daemon    25   0 90840  48m 1048 R 100.6  0.3 143:54.26 nginx                                                          
3422 daemon    25   0 94196  52m 1052 R 100.6  0.3 144:34.68 nginx                                                          
3423 daemon    25   0 85680  43m 1048 R 100.4  0.3 141:31.40 nginx                                                          
3421 daemon    25   0 87720  45m 1056 R 100.1  0.3 143:13.23 nginx                                                          
3419 daemon    25   0 90148  48m 1044 R 99.6  0.3 144:06.64 nginx                                                           
16942 daemon    25   0  440m  55m  33m R 99.6  0.3 106:08.76 php-cgi                                                         
14476 daemon    25   0  432m  55m  33m R 97.3  0.3 102:58.61 php-cgi                                                         
8706 daemon    25   0  432m  60m  37m R 93.7  0.4 103:46.72 php-cgi                                                         
3416 daemon    25   0 88832  47m 1048 R 93.2  0.3 144:04.28 nginx                                                           
7672 daemon    25   0  439m  67m  37m R 82.4  0.4 104:21.30 php-cgi                                                         
8102 daemon    25   0  441m  62m  36m R 59.8  0.4 107:12.30 php-cgi                                                         
3420 daemon    25   0 89760  47m 1056 R 50.1  0.3 143:38.59 nginx                                                           
15963 root      16   0 13008 1428  820 R 22.6  0.0   0:04.34 top                                                             
3428 root      15   0  411m 4300 1172 S  2.1  0.0   2:33.80 php-cgi                                                         
15965 root      18   0 99.6m 1584  908 S  0.8  0.0   0:00.03 crond                                                           
3743 root      15   0 74812 1164  584 S  0.3  0.0   0:00.83 crond                                                           
15964 root      18   0 99.6m 1468  800 D  0.3  0.0   0:00.01 crond

free信息:

total       used       free     shared    buffers     cached
Mem:      16426616   16245028     181588          0     159248   12046536
-/+ buffers/cache:    4039244   12387372
Swap:     16386292      28980   16357312

sar -r

03:20:01 PM kbmemfree kbmemused  %memused kbbuffers  kbcached kbswpfree kbswpused  %swpused  kbswpcad
09:30:02 PM    268628  16157988     98.36    149268  11969424  16357312     28980      0.18      2644
09:40:02 PM    256492  16170124     98.44    150628  11980476  16357312     28980      0.18      2644
09:50:02 PM    244752  16181864     98.51    152092  11991476  16357312     28980      0.18      2644
10:00:02 PM    233296  16193320     98.58    153516  12002516  16357312     28980      0.18      2644
10:10:02 PM    219404  16207212     98.66    155032  12013568  16357312     28980      0.18      2644
10:20:02 PM    204912  16221704     98.75    156452  12024544  16357312     28980      0.18      2644
10:30:02 PM    193128  16233488     98.82    158008  12037200  16357312     28980      0.18      2644
Average:       588844  15837772     96.42    216781  11964159  16358029     28263      0.17      1420

sar -u
03:20:01 PM       CPU     %user     %nice   %system   %iowait    %steal     %idle
03:30:01 PM       all      8.37      0.00      0.86      0.23      0.00     90.54
03:40:01 PM       all      8.11      0.00      0.79      0.17      0.00     90.93
03:50:01 PM       all      7.22      0.00      0.81      0.23      0.00     91.74
04:00:01 PM       all      7.60      0.00      0.84      0.16      0.00     91.41
04:10:01 PM       all      7.38      0.00      0.82      0.26      0.00     91.53
04:20:01 PM       all      7.12      0.00      0.81      0.27      0.00     91.80
04:30:01 PM       all      7.10      0.00      0.84      0.42      0.00     91.64
04:40:01 PM       all      7.38      0.00      0.83      0.23      0.00     91.55
04:50:01 PM       all      7.20      0.00      0.82      0.17      0.00     91.80
05:00:01 PM       all      7.54      0.00      0.83      0.19      0.00     91.44
05:10:01 PM       all      6.72      0.00      0.76      0.24      0.00     92.28
05:20:01 PM       all      6.98      0.00      0.79      0.13      0.00     92.09
05:30:02 PM       all      7.18      0.00      0.80      0.16      0.00     91.87
05:40:01 PM       all      7.07      0.00      0.77      0.15      0.00     92.01
05:50:01 PM       all      7.75      0.00      0.88      0.17      0.00     91.20
06:00:01 PM       all      7.46      0.00      0.85      0.25      0.00     91.43
06:10:01 PM       all      7.58      0.00      0.88      0.19      0.00     91.34
06:20:01 PM       all      7.81      0.00      0.88      0.28      0.00     91.03
06:30:01 PM       all      7.90      0.00      0.87      0.22      0.00     91.00
06:40:01 PM       all      7.20      0.00      0.86      0.22      0.00     91.72
06:50:01 PM       all      7.34      0.00      0.90      0.25      0.00     91.51
07:00:01 PM       all      7.94      0.00      0.96      0.23      0.00     90.87
07:10:01 PM       all      8.14      0.00      0.97      0.29      0.00     90.59
07:20:01 PM       all      8.23      0.00      0.97      0.41      0.00     90.39
07:30:01 PM       all      8.12      0.00      0.97      0.30      0.00     90.61
07:40:01 PM       all      7.77      0.00      0.90      0.30      0.00     91.03
07:50:01 PM       all      7.97      0.00      0.92      0.17      0.00     90.94
08:00:01 PM       all      8.44      0.00      1.03      0.43      0.00     90.10
08:10:01 PM       all      7.90      0.00      0.95      0.51      0.00     90.64
08:20:01 PM       all      8.31      0.00      1.03      0.18      0.00     90.48
08:30:01 PM       all      8.19      0.00      0.98      0.29      0.00     90.54
08:40:01 PM       all      8.88      0.00      1.06      0.27      0.00     89.79
08:50:01 PM       all     11.45      0.00      1.39      0.35      0.00     86.81
09:00:01 PM       all     11.67      0.00      1.44      0.48      0.00     86.41
09:10:02 PM       all      0.92      0.00     91.23      0.49      0.00      7.36
09:20:02 PM       all      0.01      0.00     99.88      0.00      0.00      0.11
09:30:02 PM       all      0.01      0.00     99.42      0.00      0.00      0.57
09:40:02 PM       all      0.01      0.00     98.05      0.00      0.00      1.94
09:50:02 PM       all      0.01      0.00     99.31      0.00      0.00      0.68
10:00:02 PM       all      0.01      0.00     99.83      0.00      0.00      0.15
10:10:02 PM       all      0.01      0.00     99.05      0.00      0.00      0.94
10:20:02 PM       all      0.01      0.00     99.69      0.00      0.00      0.30
10:30:02 PM       all      0.01      0.00     99.75      0.00      0.00      0.24
Average:          all      4.86      0.00      7.11      0.16      0.00     87.87

系统、nginx、php-fpm相关信息
系统:
cat /etc/issue
CentOS release 5.5 (Final)
Kernel \r on an \m

nginx:
/usr/local/nginx/sbin/nginx -V
nginx version: nginx/0.8.53
built by gcc 4.1.2 20080704 (Red Hat 4.1.2-50)
TLS SNI support disabled
configure arguments: --user= --group= --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_sub_module --with-md5=/usr/lib --with-sha1=/usr/lib --with-http_gzip_static_module

php -v
PHP 5.2.17p1 with Suhosin-Patch 0.9.7 (cli) (built: Jan  7 2012 15:14:25) 
Copyright (c) 1997-2009 The PHP Group
Zend Engine v2.2.0, Copyright (c) 1998-2010 Zend Technologies
    with eAccelerator v0.9.6.1, Copyright (c) 2004-2010 eAccelerator, by eAccelerator

几台WEB经常宕机，求分析原因的更多相关文章

  1. ORA-04031错误导致宕机案例分析

    今天遇到一起ORACLE数据库宕机案例,下面是对这起数据库宕机案例的原因进行分析.解读.分析过程中顺便记录一下这个案例的前因后果,攒点经验值,培养一下分析.解决问题的能力. 案例环境:   操作系统 ...

  2. Keepalived 双机web服务宕机检测切换系统软件

    简介 Keepalived的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Kee ...

  3. 惊魂web应用宕机记一次网站的紧急恢复

    这次网站的故障出现的比较突然,没有任何防备,有种突如其来的感觉.这是一台阿里云服务器,采用wdcp的nginx+apache+mysql的方式运行.一位同事在对web目录进行压缩后,由于web目录有很 ...

  4. MySQL Bug导致异常宕机的分析流程

    原文链接:http://click.aliyun.com/m/42521/ 摘要: 本文主要通过一个bug来记录一下如何分析一个MySQL bug的崩溃信息. 版本:Percona 5.7.17-11 ...

  5. MySQL - 高可用性：少宕机即高可用？

    我们之前了解了复制.扩展性,接下来就让我们来了解可用性.归根到底,高可用性就意味着 "更少的宕机时间". 老规矩,讨论一个名词,首先要给它下个定义,那么什么是可用性? 1 什么是可 ...

  6. HBase–RegionServer宕机恢复原理

    Region Server宕机总述 HBase一个很大的特色是扩展性极其友好,可以通过简单地加机器实现集群规模的线性扩展,而且机器的配置并不需要太好,通过大量廉价机器代替价格昂贵的高性能机器.但也正因 ...

  7. [文章]Linux宕机故障分析案例

    [文章]Linux宕机故障分析案例 已采纳 收藏  0  1669 0 马化辉 2018-07-01发布 背景 在Linux系统环境下,服务器宕机发生的频率比较小,但是不少工程师或多或少都会遇到这 ...

  8. 网络流量分析——NPMD关注IT运维、识别宕机和运行不佳进行性能优化。智能化分析是关键-主动发现业务运行异常。科来做APT相关的安全分析

    科来 做流量分析,同时也做了一些安全分析(偏APT)——参考其官网:http://www.colasoft.com.cn/cases-and-application/network-security- ...

  9. Solr4.8.0源码分析(26)之Recovery失败造成的宕机原因分析

    最近在公司做SolrCloud的容灾测试,刚好碰到了一个比较蛋疼的问题,跟SolrCloud的Recovery和leader选举有关,正好拿出来分析下. 现象是这样的:比如我有一台3个shard的So ...

随机推荐

  1. Gym - 100989 L / M 【dfs / dp】

    题目链接:http://codeforces.com/gym/100989/problem/L / http://codeforces.com/gym/100989/problem/M 题目大意:给定 ...

  2. gdb移植（交叉版本）

    Gdb下载地址: http://ftp.gnu.org/gnu/gdb/ termcap下载地址:http://ftp.gnu.org/gnu/termcap/tar -zxvf termcap-1. ...

  3. [转帖]传输层安全协议TLS 1.3 RFC 8446使互联网更快、更安全

    传输层安全协议TLS 1.3 RFC 8446使互联网更快.更安全 2018-08-12 11:38:19作者:LINUX人稿源:开源社区 https://ywnz.com/linuxyffq/261 ...

  4. mysql语句(一)

    --建表CREATE TABLE IF NOT EXISTS `runoob_tbl`( `runoob_id` INT UNSIGNED AUTO_INCREMENT, `runoob_title` ...

  5. PAT A1035 Password (20)

    AC代码 注意创造函数条件中使用引用 输出语句注意单复数 #include <cstdio> #include <cstring> #include <iostream& ...

  6. csp模拟赛低级错误及反思

    \(csp\)模拟赛低级错误及反思. 1.没开\(longlong\). 反思:注意数据类型以及数据范围. 2.数组越界(前向星数组未开两倍,一题的数据范围应用到另一题上,要开两倍的写法为开两倍数组) ...

  7. Java 集合和泛型

    一.集合(Collections) Java使用集合来组织和管理对象. 1.Java的集合类 集合类主要负责保存.盛装和管理对象,因此集合类也被称为容器类. 集合类分为Set.List.Map和Que ...

  8. MySQL中的DML、DQL和子查询

    一.MySQL中的DML语句 1.使用insert插入数据记录: INSERT INTO `myschool`.`student` (`studentNo`, `loginPwd`, `student ...

  9. 修改hosts文件 解决coursera可以登录但无法播放视频的问题

    我们经常为了学习或者了解一些领域的知识为访问国外的网站,但是在国内,很多优秀的网站都被封锁了.在GFW(墙)的几种封锁方式中,有一种就是DNS污染,GFW会对域名解析过程进行干扰,使得某些被干扰的域名 ...

  10. HashMap—— values() remove方法 containsKey（）方法 containsValue（）方法

    values()方法:看下面的实例,就是把所有的value值封装成一个connection型的数组 Map<Integer,Student> students=new HashMap< ...