几台WEB服务器经常宕机，平时运行得好好的，负载也都在2以下，偶尔会突然负高上去就宕机，init 6也无法重启成功

只能echo 'b'>/proc/sysrq-trigger 硬重启才行,dmesg 没发现硬件方面有问题。

从top相关信息来看，每次宕机现象都是系统内核态占用非常高，相关nginx,php-cgi进程虽然不僵死但无法kill

每次宕机都会有kswaped0进程出现，但是从free上来看，内存还是有空闲，swap用得也并不多

top - 22:26:02 up 3 days,  8:06,  1 user,  load average: 15.05, 15.12, 15.09
Tasks: 518 total,  16 running, 502 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0%us, 87.6%sy,  0.0%ni, 12.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16426616k total, 15985652k used,   440964k free,   102232k buffers
Swap: 16386292k total,    22552k used, 16363740k free,  8320464k cached

PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                         
  553 root      20  -5     0    0    0 R 100.9  0.0 115:59.83 kswapd0                                                        
  554 root      20  -5     0    0    0 R 100.9  0.0 115:55.12 kswapd1                                                        
3417 daemon    25   0 90164  48m 1052 R 100.6  0.3 142:19.56 nginx                                                          
3418 daemon    25   0 90840  48m 1048 R 100.6  0.3 143:54.26 nginx                                                          
3422 daemon    25   0 94196  52m 1052 R 100.6  0.3 144:34.68 nginx                                                          
3423 daemon    25   0 85680  43m 1048 R 100.4  0.3 141:31.40 nginx                                                          
3421 daemon    25   0 87720  45m 1056 R 100.1  0.3 143:13.23 nginx                                                          
3419 daemon    25   0 90148  48m 1044 R 99.6  0.3 144:06.64 nginx                                                           
16942 daemon    25   0  440m  55m  33m R 99.6  0.3 106:08.76 php-cgi                                                         
14476 daemon    25   0  432m  55m  33m R 97.3  0.3 102:58.61 php-cgi                                                         
8706 daemon    25   0  432m  60m  37m R 93.7  0.4 103:46.72 php-cgi                                                         
3416 daemon    25   0 88832  47m 1048 R 93.2  0.3 144:04.28 nginx                                                           
7672 daemon    25   0  439m  67m  37m R 82.4  0.4 104:21.30 php-cgi                                                         
8102 daemon    25   0  441m  62m  36m R 59.8  0.4 107:12.30 php-cgi                                                         
3420 daemon    25   0 89760  47m 1056 R 50.1  0.3 143:38.59 nginx                                                           
15963 root      16   0 13008 1428  820 R 22.6  0.0   0:04.34 top                                                             
3428 root      15   0  411m 4300 1172 S  2.1  0.0   2:33.80 php-cgi                                                         
15965 root      18   0 99.6m 1584  908 S  0.8  0.0   0:00.03 crond                                                           
3743 root      15   0 74812 1164  584 S  0.3  0.0   0:00.83 crond                                                           
15964 root      18   0 99.6m 1468  800 D  0.3  0.0   0:00.01 crond

top - 22:26:02 up 3 days,  8:06,  1 user,  load average: 15.05, 15.12, 15.09
Tasks: 518 total,  16 running, 502 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0%us, 87.6%sy,  0.0%ni, 12.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16426616k total, 15985652k used,   440964k free,   102232k buffers
Swap: 16386292k total,    22552k used, 16363740k free,  8320464k cached

PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                         
  553 root      20  -5     0    0    0 R 100.9  0.0 115:59.83 kswapd0                                                        
  554 root      20  -5     0    0    0 R 100.9  0.0 115:55.12 kswapd1                                                        
3417 daemon    25   0 90164  48m 1052 R 100.6  0.3 142:19.56 nginx                                                          
3418 daemon    25   0 90840  48m 1048 R 100.6  0.3 143:54.26 nginx                                                          
3422 daemon    25   0 94196  52m 1052 R 100.6  0.3 144:34.68 nginx                                                          
3423 daemon    25   0 85680  43m 1048 R 100.4  0.3 141:31.40 nginx                                                          
3421 daemon    25   0 87720  45m 1056 R 100.1  0.3 143:13.23 nginx                                                          
3419 daemon    25   0 90148  48m 1044 R 99.6  0.3 144:06.64 nginx                                                           
16942 daemon    25   0  440m  55m  33m R 99.6  0.3 106:08.76 php-cgi                                                         
14476 daemon    25   0  432m  55m  33m R 97.3  0.3 102:58.61 php-cgi                                                         
8706 daemon    25   0  432m  60m  37m R 93.7  0.4 103:46.72 php-cgi                                                         
3416 daemon    25   0 88832  47m 1048 R 93.2  0.3 144:04.28 nginx                                                           
7672 daemon    25   0  439m  67m  37m R 82.4  0.4 104:21.30 php-cgi                                                         
8102 daemon    25   0  441m  62m  36m R 59.8  0.4 107:12.30 php-cgi                                                         
3420 daemon    25   0 89760  47m 1056 R 50.1  0.3 143:38.59 nginx                                                           
15963 root      16   0 13008 1428  820 R 22.6  0.0   0:04.34 top                                                             
3428 root      15   0  411m 4300 1172 S  2.1  0.0   2:33.80 php-cgi                                                         
15965 root      18   0 99.6m 1584  908 S  0.8  0.0   0:00.03 crond                                                           
3743 root      15   0 74812 1164  584 S  0.3  0.0   0:00.83 crond                                                           
15964 root      18   0 99.6m 1468  800 D  0.3  0.0   0:00.01 crond

free信息:

total       used       free     shared    buffers     cached
Mem:      16426616   16245028     181588          0     159248   12046536
-/+ buffers/cache:    4039244   12387372
Swap:     16386292      28980   16357312

sar -r

03:20:01 PM kbmemfree kbmemused  %memused kbbuffers  kbcached kbswpfree kbswpused  %swpused  kbswpcad
09:30:02 PM    268628  16157988     98.36    149268  11969424  16357312     28980      0.18      2644
09:40:02 PM    256492  16170124     98.44    150628  11980476  16357312     28980      0.18      2644
09:50:02 PM    244752  16181864     98.51    152092  11991476  16357312     28980      0.18      2644
10:00:02 PM    233296  16193320     98.58    153516  12002516  16357312     28980      0.18      2644
10:10:02 PM    219404  16207212     98.66    155032  12013568  16357312     28980      0.18      2644
10:20:02 PM    204912  16221704     98.75    156452  12024544  16357312     28980      0.18      2644
10:30:02 PM    193128  16233488     98.82    158008  12037200  16357312     28980      0.18      2644
Average:       588844  15837772     96.42    216781  11964159  16358029     28263      0.17      1420

sar -u
03:20:01 PM       CPU     %user     %nice   %system   %iowait    %steal     %idle
03:30:01 PM       all      8.37      0.00      0.86      0.23      0.00     90.54
03:40:01 PM       all      8.11      0.00      0.79      0.17      0.00     90.93
03:50:01 PM       all      7.22      0.00      0.81      0.23      0.00     91.74
04:00:01 PM       all      7.60      0.00      0.84      0.16      0.00     91.41
04:10:01 PM       all      7.38      0.00      0.82      0.26      0.00     91.53
04:20:01 PM       all      7.12      0.00      0.81      0.27      0.00     91.80
04:30:01 PM       all      7.10      0.00      0.84      0.42      0.00     91.64
04:40:01 PM       all      7.38      0.00      0.83      0.23      0.00     91.55
04:50:01 PM       all      7.20      0.00      0.82      0.17      0.00     91.80
05:00:01 PM       all      7.54      0.00      0.83      0.19      0.00     91.44
05:10:01 PM       all      6.72      0.00      0.76      0.24      0.00     92.28
05:20:01 PM       all      6.98      0.00      0.79      0.13      0.00     92.09
05:30:02 PM       all      7.18      0.00      0.80      0.16      0.00     91.87
05:40:01 PM       all      7.07      0.00      0.77      0.15      0.00     92.01
05:50:01 PM       all      7.75      0.00      0.88      0.17      0.00     91.20
06:00:01 PM       all      7.46      0.00      0.85      0.25      0.00     91.43
06:10:01 PM       all      7.58      0.00      0.88      0.19      0.00     91.34
06:20:01 PM       all      7.81      0.00      0.88      0.28      0.00     91.03
06:30:01 PM       all      7.90      0.00      0.87      0.22      0.00     91.00
06:40:01 PM       all      7.20      0.00      0.86      0.22      0.00     91.72
06:50:01 PM       all      7.34      0.00      0.90      0.25      0.00     91.51
07:00:01 PM       all      7.94      0.00      0.96      0.23      0.00     90.87
07:10:01 PM       all      8.14      0.00      0.97      0.29      0.00     90.59
07:20:01 PM       all      8.23      0.00      0.97      0.41      0.00     90.39
07:30:01 PM       all      8.12      0.00      0.97      0.30      0.00     90.61
07:40:01 PM       all      7.77      0.00      0.90      0.30      0.00     91.03
07:50:01 PM       all      7.97      0.00      0.92      0.17      0.00     90.94
08:00:01 PM       all      8.44      0.00      1.03      0.43      0.00     90.10
08:10:01 PM       all      7.90      0.00      0.95      0.51      0.00     90.64
08:20:01 PM       all      8.31      0.00      1.03      0.18      0.00     90.48
08:30:01 PM       all      8.19      0.00      0.98      0.29      0.00     90.54
08:40:01 PM       all      8.88      0.00      1.06      0.27      0.00     89.79
08:50:01 PM       all     11.45      0.00      1.39      0.35      0.00     86.81
09:00:01 PM       all     11.67      0.00      1.44      0.48      0.00     86.41
09:10:02 PM       all      0.92      0.00     91.23      0.49      0.00      7.36
09:20:02 PM       all      0.01      0.00     99.88      0.00      0.00      0.11
09:30:02 PM       all      0.01      0.00     99.42      0.00      0.00      0.57
09:40:02 PM       all      0.01      0.00     98.05      0.00      0.00      1.94
09:50:02 PM       all      0.01      0.00     99.31      0.00      0.00      0.68
10:00:02 PM       all      0.01      0.00     99.83      0.00      0.00      0.15
10:10:02 PM       all      0.01      0.00     99.05      0.00      0.00      0.94
10:20:02 PM       all      0.01      0.00     99.69      0.00      0.00      0.30
10:30:02 PM       all      0.01      0.00     99.75      0.00      0.00      0.24
Average:          all      4.86      0.00      7.11      0.16      0.00     87.87

系统、nginx、php-fpm相关信息
系统:
cat /etc/issue
CentOS release 5.5 (Final)
Kernel \r on an \m

nginx:
/usr/local/nginx/sbin/nginx -V
nginx version: nginx/0.8.53
built by gcc 4.1.2 20080704 (Red Hat 4.1.2-50)
TLS SNI support disabled
configure arguments: --user= --group= --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_sub_module --with-md5=/usr/lib --with-sha1=/usr/lib --with-http_gzip_static_module

php -v
PHP 5.2.17p1 with Suhosin-Patch 0.9.7 (cli) (built: Jan  7 2012 15:14:25) 
Copyright (c) 1997-2009 The PHP Group
Zend Engine v2.2.0, Copyright (c) 1998-2010 Zend Technologies
    with eAccelerator v0.9.6.1, Copyright (c) 2004-2010 eAccelerator, by eAccelerator

几台WEB经常宕机，求分析原因的更多相关文章

  1. ORA-04031错误导致宕机案例分析

    今天遇到一起ORACLE数据库宕机案例,下面是对这起数据库宕机案例的原因进行分析.解读.分析过程中顺便记录一下这个案例的前因后果,攒点经验值,培养一下分析.解决问题的能力. 案例环境:   操作系统 ...

  2. Keepalived 双机web服务宕机检测切换系统软件

    简介 Keepalived的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Kee ...

  3. 惊魂web应用宕机记一次网站的紧急恢复

    这次网站的故障出现的比较突然,没有任何防备,有种突如其来的感觉.这是一台阿里云服务器,采用wdcp的nginx+apache+mysql的方式运行.一位同事在对web目录进行压缩后,由于web目录有很 ...

  4. MySQL Bug导致异常宕机的分析流程

    原文链接:http://click.aliyun.com/m/42521/ 摘要: 本文主要通过一个bug来记录一下如何分析一个MySQL bug的崩溃信息. 版本:Percona 5.7.17-11 ...

  5. MySQL - 高可用性：少宕机即高可用？

    我们之前了解了复制.扩展性,接下来就让我们来了解可用性.归根到底,高可用性就意味着 "更少的宕机时间". 老规矩,讨论一个名词,首先要给它下个定义,那么什么是可用性? 1 什么是可 ...

  6. HBase–RegionServer宕机恢复原理

    Region Server宕机总述 HBase一个很大的特色是扩展性极其友好,可以通过简单地加机器实现集群规模的线性扩展,而且机器的配置并不需要太好,通过大量廉价机器代替价格昂贵的高性能机器.但也正因 ...

  7. [文章]Linux宕机故障分析案例

    [文章]Linux宕机故障分析案例 已采纳 收藏  0  1669 0 马化辉 2018-07-01发布 背景 在Linux系统环境下,服务器宕机发生的频率比较小,但是不少工程师或多或少都会遇到这 ...

  8. 网络流量分析——NPMD关注IT运维、识别宕机和运行不佳进行性能优化。智能化分析是关键-主动发现业务运行异常。科来做APT相关的安全分析

    科来 做流量分析,同时也做了一些安全分析(偏APT)——参考其官网:http://www.colasoft.com.cn/cases-and-application/network-security- ...

  9. Solr4.8.0源码分析(26)之Recovery失败造成的宕机原因分析

    最近在公司做SolrCloud的容灾测试,刚好碰到了一个比较蛋疼的问题,跟SolrCloud的Recovery和leader选举有关,正好拿出来分析下. 现象是这样的:比如我有一台3个shard的So ...

随机推荐

  1. RabbitMQ 的安装配置

    环境:Ubuntu16 linux系统,ERlang语言的源码包 :otp_src_22.0.tar.gz,rabbitMQ安装包:rabbitmq-server-generic-unix-3.7.1 ...

  2. ByteArrayInputStream类

    一.说明 哈哈,这是学习Java之路的第一篇博文.虽然说接触学习Java有一段时间了,但是对流的概念一直并不是很清楚.也看了很多资料,但是感觉还是非常的抽象很难去理解.但是流又是Java中很重要的一部 ...

  3. C++中用ODBC和ADO方式连接SQL数据库

    https://wenku.baidu.com/view/f01e4e762f3f5727a5e9856a561252d380eb2033.html

  4. docker-Overlay原生网络

    节点1/键值存储:192.168.50.130 :192.168.50.131 1.下载Consul二进制包并启动 wget https://releases.hashicorp.com/consul ...

  5. Boot-crm管理系统开发教程(总结)

    这个Boot-crm管理系统我花了大概两周写完,因为是刚学完SSM框架,所以立马开始了这个项目,项目初期,运行书本上给的前端代码都报了许多错误,导致这个原因是因为书本给的 设计说明文档 没有看清楚.然 ...

  6. go install

    go get使用时的附加参数 使用 go get 时可以配合附加参数显示更多的信息及实现特殊的下载和安装操作,详见下表所示. go get 使用时的附加参数 附加参数 备 注 -v 显示操作流程的日志 ...

  7. 【已解决】Field injection is not recommended和Could not autowired. No beans of 'xxx' type found.

    目录 问题 解决办法 备注 问题 在项目中,我们使用Spring的@Autowired注解去引入其他类时有时候阿里的编码规约插件就会提示:"Field injection is not re ...

  8. O037、Rebuild Instance 操作详解

    参考https://www.cnblogs.com/CloudMan6/p/5516852.html   上一节我们学习了 snapshot ,snapshot 一个重要的作用就是对 Instance ...

  9. js判断浏览器内核如果是ie弹出提示非ie不进行任何操作

    如上做一个弹出框针对ie兼容 // 获取IE版本 function IEVersion() { // 取得浏览器的userAgent字符串 var userAgent = navigator.user ...

  10. css中animation和@keyframes 动画

    Animation 使用简写属性,将动画与 div 元素绑定: div { animation:mymove 5s infinite; -webkit-animation:mymove 5s infi ...