几台WEB服务器经常宕机，平时运行得好好的，负载也都在2以下，偶尔会突然负高上去就宕机，init 6也无法重启成功

只能echo 'b'>/proc/sysrq-trigger 硬重启才行,dmesg 没发现硬件方面有问题。

从top相关信息来看，每次宕机现象都是系统内核态占用非常高，相关nginx,php-cgi进程虽然不僵死但无法kill

每次宕机都会有kswaped0进程出现，但是从free上来看，内存还是有空闲，swap用得也并不多

top - 22:26:02 up 3 days,  8:06,  1 user,  load average: 15.05, 15.12, 15.09
Tasks: 518 total,  16 running, 502 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0%us, 87.6%sy,  0.0%ni, 12.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16426616k total, 15985652k used,   440964k free,   102232k buffers
Swap: 16386292k total,    22552k used, 16363740k free,  8320464k cached

PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                         
  553 root      20  -5     0    0    0 R 100.9  0.0 115:59.83 kswapd0                                                        
  554 root      20  -5     0    0    0 R 100.9  0.0 115:55.12 kswapd1                                                        
3417 daemon    25   0 90164  48m 1052 R 100.6  0.3 142:19.56 nginx                                                          
3418 daemon    25   0 90840  48m 1048 R 100.6  0.3 143:54.26 nginx                                                          
3422 daemon    25   0 94196  52m 1052 R 100.6  0.3 144:34.68 nginx                                                          
3423 daemon    25   0 85680  43m 1048 R 100.4  0.3 141:31.40 nginx                                                          
3421 daemon    25   0 87720  45m 1056 R 100.1  0.3 143:13.23 nginx                                                          
3419 daemon    25   0 90148  48m 1044 R 99.6  0.3 144:06.64 nginx                                                           
16942 daemon    25   0  440m  55m  33m R 99.6  0.3 106:08.76 php-cgi                                                         
14476 daemon    25   0  432m  55m  33m R 97.3  0.3 102:58.61 php-cgi                                                         
8706 daemon    25   0  432m  60m  37m R 93.7  0.4 103:46.72 php-cgi                                                         
3416 daemon    25   0 88832  47m 1048 R 93.2  0.3 144:04.28 nginx                                                           
7672 daemon    25   0  439m  67m  37m R 82.4  0.4 104:21.30 php-cgi                                                         
8102 daemon    25   0  441m  62m  36m R 59.8  0.4 107:12.30 php-cgi                                                         
3420 daemon    25   0 89760  47m 1056 R 50.1  0.3 143:38.59 nginx                                                           
15963 root      16   0 13008 1428  820 R 22.6  0.0   0:04.34 top                                                             
3428 root      15   0  411m 4300 1172 S  2.1  0.0   2:33.80 php-cgi                                                         
15965 root      18   0 99.6m 1584  908 S  0.8  0.0   0:00.03 crond                                                           
3743 root      15   0 74812 1164  584 S  0.3  0.0   0:00.83 crond                                                           
15964 root      18   0 99.6m 1468  800 D  0.3  0.0   0:00.01 crond

top - 22:26:02 up 3 days,  8:06,  1 user,  load average: 15.05, 15.12, 15.09
Tasks: 518 total,  16 running, 502 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0%us, 87.6%sy,  0.0%ni, 12.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16426616k total, 15985652k used,   440964k free,   102232k buffers
Swap: 16386292k total,    22552k used, 16363740k free,  8320464k cached

PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                         
  553 root      20  -5     0    0    0 R 100.9  0.0 115:59.83 kswapd0                                                        
  554 root      20  -5     0    0    0 R 100.9  0.0 115:55.12 kswapd1                                                        
3417 daemon    25   0 90164  48m 1052 R 100.6  0.3 142:19.56 nginx                                                          
3418 daemon    25   0 90840  48m 1048 R 100.6  0.3 143:54.26 nginx                                                          
3422 daemon    25   0 94196  52m 1052 R 100.6  0.3 144:34.68 nginx                                                          
3423 daemon    25   0 85680  43m 1048 R 100.4  0.3 141:31.40 nginx                                                          
3421 daemon    25   0 87720  45m 1056 R 100.1  0.3 143:13.23 nginx                                                          
3419 daemon    25   0 90148  48m 1044 R 99.6  0.3 144:06.64 nginx                                                           
16942 daemon    25   0  440m  55m  33m R 99.6  0.3 106:08.76 php-cgi                                                         
14476 daemon    25   0  432m  55m  33m R 97.3  0.3 102:58.61 php-cgi                                                         
8706 daemon    25   0  432m  60m  37m R 93.7  0.4 103:46.72 php-cgi                                                         
3416 daemon    25   0 88832  47m 1048 R 93.2  0.3 144:04.28 nginx                                                           
7672 daemon    25   0  439m  67m  37m R 82.4  0.4 104:21.30 php-cgi                                                         
8102 daemon    25   0  441m  62m  36m R 59.8  0.4 107:12.30 php-cgi                                                         
3420 daemon    25   0 89760  47m 1056 R 50.1  0.3 143:38.59 nginx                                                           
15963 root      16   0 13008 1428  820 R 22.6  0.0   0:04.34 top                                                             
3428 root      15   0  411m 4300 1172 S  2.1  0.0   2:33.80 php-cgi                                                         
15965 root      18   0 99.6m 1584  908 S  0.8  0.0   0:00.03 crond                                                           
3743 root      15   0 74812 1164  584 S  0.3  0.0   0:00.83 crond                                                           
15964 root      18   0 99.6m 1468  800 D  0.3  0.0   0:00.01 crond

free信息:

total       used       free     shared    buffers     cached
Mem:      16426616   16245028     181588          0     159248   12046536
-/+ buffers/cache:    4039244   12387372
Swap:     16386292      28980   16357312

sar -r

03:20:01 PM kbmemfree kbmemused  %memused kbbuffers  kbcached kbswpfree kbswpused  %swpused  kbswpcad
09:30:02 PM    268628  16157988     98.36    149268  11969424  16357312     28980      0.18      2644
09:40:02 PM    256492  16170124     98.44    150628  11980476  16357312     28980      0.18      2644
09:50:02 PM    244752  16181864     98.51    152092  11991476  16357312     28980      0.18      2644
10:00:02 PM    233296  16193320     98.58    153516  12002516  16357312     28980      0.18      2644
10:10:02 PM    219404  16207212     98.66    155032  12013568  16357312     28980      0.18      2644
10:20:02 PM    204912  16221704     98.75    156452  12024544  16357312     28980      0.18      2644
10:30:02 PM    193128  16233488     98.82    158008  12037200  16357312     28980      0.18      2644
Average:       588844  15837772     96.42    216781  11964159  16358029     28263      0.17      1420

sar -u
03:20:01 PM       CPU     %user     %nice   %system   %iowait    %steal     %idle
03:30:01 PM       all      8.37      0.00      0.86      0.23      0.00     90.54
03:40:01 PM       all      8.11      0.00      0.79      0.17      0.00     90.93
03:50:01 PM       all      7.22      0.00      0.81      0.23      0.00     91.74
04:00:01 PM       all      7.60      0.00      0.84      0.16      0.00     91.41
04:10:01 PM       all      7.38      0.00      0.82      0.26      0.00     91.53
04:20:01 PM       all      7.12      0.00      0.81      0.27      0.00     91.80
04:30:01 PM       all      7.10      0.00      0.84      0.42      0.00     91.64
04:40:01 PM       all      7.38      0.00      0.83      0.23      0.00     91.55
04:50:01 PM       all      7.20      0.00      0.82      0.17      0.00     91.80
05:00:01 PM       all      7.54      0.00      0.83      0.19      0.00     91.44
05:10:01 PM       all      6.72      0.00      0.76      0.24      0.00     92.28
05:20:01 PM       all      6.98      0.00      0.79      0.13      0.00     92.09
05:30:02 PM       all      7.18      0.00      0.80      0.16      0.00     91.87
05:40:01 PM       all      7.07      0.00      0.77      0.15      0.00     92.01
05:50:01 PM       all      7.75      0.00      0.88      0.17      0.00     91.20
06:00:01 PM       all      7.46      0.00      0.85      0.25      0.00     91.43
06:10:01 PM       all      7.58      0.00      0.88      0.19      0.00     91.34
06:20:01 PM       all      7.81      0.00      0.88      0.28      0.00     91.03
06:30:01 PM       all      7.90      0.00      0.87      0.22      0.00     91.00
06:40:01 PM       all      7.20      0.00      0.86      0.22      0.00     91.72
06:50:01 PM       all      7.34      0.00      0.90      0.25      0.00     91.51
07:00:01 PM       all      7.94      0.00      0.96      0.23      0.00     90.87
07:10:01 PM       all      8.14      0.00      0.97      0.29      0.00     90.59
07:20:01 PM       all      8.23      0.00      0.97      0.41      0.00     90.39
07:30:01 PM       all      8.12      0.00      0.97      0.30      0.00     90.61
07:40:01 PM       all      7.77      0.00      0.90      0.30      0.00     91.03
07:50:01 PM       all      7.97      0.00      0.92      0.17      0.00     90.94
08:00:01 PM       all      8.44      0.00      1.03      0.43      0.00     90.10
08:10:01 PM       all      7.90      0.00      0.95      0.51      0.00     90.64
08:20:01 PM       all      8.31      0.00      1.03      0.18      0.00     90.48
08:30:01 PM       all      8.19      0.00      0.98      0.29      0.00     90.54
08:40:01 PM       all      8.88      0.00      1.06      0.27      0.00     89.79
08:50:01 PM       all     11.45      0.00      1.39      0.35      0.00     86.81
09:00:01 PM       all     11.67      0.00      1.44      0.48      0.00     86.41
09:10:02 PM       all      0.92      0.00     91.23      0.49      0.00      7.36
09:20:02 PM       all      0.01      0.00     99.88      0.00      0.00      0.11
09:30:02 PM       all      0.01      0.00     99.42      0.00      0.00      0.57
09:40:02 PM       all      0.01      0.00     98.05      0.00      0.00      1.94
09:50:02 PM       all      0.01      0.00     99.31      0.00      0.00      0.68
10:00:02 PM       all      0.01      0.00     99.83      0.00      0.00      0.15
10:10:02 PM       all      0.01      0.00     99.05      0.00      0.00      0.94
10:20:02 PM       all      0.01      0.00     99.69      0.00      0.00      0.30
10:30:02 PM       all      0.01      0.00     99.75      0.00      0.00      0.24
Average:          all      4.86      0.00      7.11      0.16      0.00     87.87

系统、nginx、php-fpm相关信息
系统:
cat /etc/issue
CentOS release 5.5 (Final)
Kernel \r on an \m

nginx:
/usr/local/nginx/sbin/nginx -V
nginx version: nginx/0.8.53
built by gcc 4.1.2 20080704 (Red Hat 4.1.2-50)
TLS SNI support disabled
configure arguments: --user= --group= --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_sub_module --with-md5=/usr/lib --with-sha1=/usr/lib --with-http_gzip_static_module

php -v
PHP 5.2.17p1 with Suhosin-Patch 0.9.7 (cli) (built: Jan  7 2012 15:14:25) 
Copyright (c) 1997-2009 The PHP Group
Zend Engine v2.2.0, Copyright (c) 1998-2010 Zend Technologies
    with eAccelerator v0.9.6.1, Copyright (c) 2004-2010 eAccelerator, by eAccelerator

几台WEB经常宕机，求分析原因的更多相关文章

  1. ORA-04031错误导致宕机案例分析

    今天遇到一起ORACLE数据库宕机案例,下面是对这起数据库宕机案例的原因进行分析.解读.分析过程中顺便记录一下这个案例的前因后果,攒点经验值,培养一下分析.解决问题的能力. 案例环境:   操作系统 ...

  2. Keepalived 双机web服务宕机检测切换系统软件

    简介 Keepalived的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Kee ...

  3. 惊魂web应用宕机记一次网站的紧急恢复

    这次网站的故障出现的比较突然,没有任何防备,有种突如其来的感觉.这是一台阿里云服务器,采用wdcp的nginx+apache+mysql的方式运行.一位同事在对web目录进行压缩后,由于web目录有很 ...

  4. MySQL Bug导致异常宕机的分析流程

    原文链接:http://click.aliyun.com/m/42521/ 摘要: 本文主要通过一个bug来记录一下如何分析一个MySQL bug的崩溃信息. 版本:Percona 5.7.17-11 ...

  5. MySQL - 高可用性：少宕机即高可用？

    我们之前了解了复制.扩展性,接下来就让我们来了解可用性.归根到底,高可用性就意味着 "更少的宕机时间". 老规矩,讨论一个名词,首先要给它下个定义,那么什么是可用性? 1 什么是可 ...

  6. HBase–RegionServer宕机恢复原理

    Region Server宕机总述 HBase一个很大的特色是扩展性极其友好,可以通过简单地加机器实现集群规模的线性扩展,而且机器的配置并不需要太好,通过大量廉价机器代替价格昂贵的高性能机器.但也正因 ...

  7. [文章]Linux宕机故障分析案例

    [文章]Linux宕机故障分析案例 已采纳 收藏  0  1669 0 马化辉 2018-07-01发布 背景 在Linux系统环境下,服务器宕机发生的频率比较小,但是不少工程师或多或少都会遇到这 ...

  8. 网络流量分析——NPMD关注IT运维、识别宕机和运行不佳进行性能优化。智能化分析是关键-主动发现业务运行异常。科来做APT相关的安全分析

    科来 做流量分析,同时也做了一些安全分析(偏APT)——参考其官网:http://www.colasoft.com.cn/cases-and-application/network-security- ...

  9. Solr4.8.0源码分析(26)之Recovery失败造成的宕机原因分析

    最近在公司做SolrCloud的容灾测试,刚好碰到了一个比较蛋疼的问题,跟SolrCloud的Recovery和leader选举有关,正好拿出来分析下. 现象是这样的:比如我有一台3个shard的So ...

随机推荐

  1. Apache配置同一IP使用多域名对应多个网站

    CentOS下的Apache的配置是/etc/httpd/conf/httpd.conf vi /etc/httpd/conf/httpd.conf 添加 <VirtualHost *:80&g ...

  2. 【Python】【demo实验14】【练习实例】【斐波那契数列】【经典兔子生小兔子问题】

    古典问题:有一对兔子,从出生后第3个月起每个月都生一对兔子,小兔子长到第三个月后每个月又生一对兔子,假如兔子都不死,问每个月的兔子总数为多少? 每个月的兔子数量 1:22:23:4 2+24:6 2+ ...

  3. SQL SERVER GETDATE() 函数

    定义: GETDATE() 函数从 SQL Server 返回当前的时间和日期. 语法: GETDATE() 返回值: datetime型数据 例:  声明:本文是本人查阅网上及书籍等各种资料,再加上 ...

  4. Nginx的一些常用配置

    #定义Nginx运行的用户和用户组 #user nobody; #nginx进程数,建议设置为等于CPU总核心数. worker_processes 1; #全局错误日志定义类型,[ debug | ...

  5. VS添加版权声明

    C:\Program Files (x86)\Microsoft Visual Studio\2019\Enterprise\Common7\IDE\ItemTemplates\AspNetCore\ ...

  6. 使用python的ctypes库实现内存的动态申请和释放

    1.申请前内存占用情况 2.申请内存 from ctypes import * import time #在这里申请1G的内存,单位k mem = create_string_buffer(1024* ...

  7. mac手册汉化 2019

    1.安装依赖 brew install automake brew install opencc 2.编译 wget https://github.com/man-pages-zh/manpages- ...

  8. Bootstrap3基础教程 02 网格布局

    Bootstrap 提供了一套响应式.移动设备优先的流式网格系统,随着屏幕或视口(viewport)尺寸的增加,系统会自动分为最多列. 网页设计中的网格布局作用:组织内容,让网站易于浏览,并降低用户端 ...

  9. XML转换成DataTable

    #region XML转dataset //str 是xml字符串 public static DataTable GetResultXMLToDataTable (string str,string ...

  10. Python中GUI库PyQt5的安装和配置

    在使用Tkinter开发GUI程序时,发现相关文档比较少,开发起来太累.经过综合比较,决定使用PyQt这个库.下面是简单的安装步骤. 1.安装 PyQt5 : pip install PyQt5 -i ...