阿里云下 centos7下启动程序总是被killed ,看内存占用情况以检查哪些服务存在问题并调整参数作调优

很久不搭理自己的网站了,几天突然发现启动程序总是被killed,

于是查看了系统日志

vi /var/log/messages

发现出现 kernel: Out of memory: Kill process

这意味着整个系统的内存已经不足，如果不杀死进程的话，就会导致系统的崩溃.

Aug 15 13:05:48 izm5earhdmowvut444lz7hz kernel: Out of memory: Kill process 8292 (java) score 150 or sacrifice child
Aug 15 13:05:48 izm5earhdmowvut444lz7hz kernel: Killed process 8292 (java) total-vm:2304568kB, anon-rss:156608kB, file-rss:164kB, shmem-rss:0kB

阿里云我购买的最便宜的套餐都是1g 1核 1兆的,程序运行得多了所以出现了这样问题

解决方法(查询他人做法如下:)

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

原来linux下也有内存OOM的处理，不同于android 杀掉报OOM的进程，linux是杀掉当前最占用内存的进程。

当linux报OOM时，意味着整个系统的内存已经不足，如果不杀死进程的话，就会导致系统的崩溃。每个进程都会存有一个oom_score的参数，比如输出pid为988的oom_score:

cat /proc/988/oom_score

OOM Killer 会在系统报OOM的时候，杀死当前score最高的进程，一般情况也就是占用内存最大的进程。

解决方法：一是增加系统内存，二是优化进程，使其占用内存降低。三是可以使用oom_score_adj参数，这个参数会被计算入oom_score，可以避免进程被杀死(不推荐使用)。

////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

本人租用的云服务器，为了节约成本，各项配置都是比较低的，但是又运行了很多的服务，所以要经常查看内存占用情况以检查哪些服务存在问题并调整参数作调优。当然，实际的生成服务器，也可能会需要做些类似的操作的。

1、 top命令

top命令经常用来监控linux的系统状况，比如cpu、内存的使用，程序员基本都知道这个命令。

进入监控界面后按M后可以看到以内存占用大小排序的视图：

2、free -m

使用这个命令可以直接看内存的整个使用情况：

3、ps -e -o 'pid,comm,args,pcpu,rsz,vsz,stime,user,uid' | grep oracle | sort -nrk5

rsz为实际内存占用：

///////////////////top 命令：

CentOS详解top命令各个数据的含义

最近在docker（宿主机是centos虚拟机）里安装gitlab，发现随着时间的运行，虚拟机的内存持续走高，运行几个小时之后内存已经爆掉了，putty远程处理于假死状态。
这个时候就需要查看内存进程，发现有10多个ruby进程在运行，最终定位到docker容器的问题。

使用到的指令：

查看内存使用情况

$ free -m
$ top //shift+m按内存占用比排序

清理内存（效果不是很理想，最终只能强制关闭虚拟机0_0）

# sync
# echo 3 > /proc/sys/vm/drop_caches

top命令经常用来监控linux的系统状况，比如cpu、内存的使用，下面是各个数据的含义。

第一行：
13:42:59 当前系统时间
6 days, 9:29 系统已经运行了6天6小时29分钟（在这期间没有重启过）
3 users 当前有3个用户登录系统
load average: 3.06,3.01, 1.79 load average后面的三个数分别是1分钟、5分钟、15分钟的负载情况。
load average数据是每隔5秒钟检查一次活跃的进程数，然后按特定算法计算出的数值。如果这个数除以逻辑 CPU的数量，结果高于5的时候就表明系统在超负荷运转了。

第二行： Tasks 任务（进程）
系统现在共有131个进程，其中处于运行中的有3个，127个在休眠（sleep），stoped状态的有0个，zombie状态（僵尸）的有1个。

第三行：cpu状态
10.6% us 用户空间占用CPU的百分比。
2.2% sy 内核空间占用CPU的百分比。
0.0% ni 改变过优先级的进程占用CPU的百分比
84.5% id 空闲CPU百分比
2.5% wa IO等待占用CPU的百分比
0.1% hi 硬中断（Hardware IRQ）占用CPU的百分比
0.0% si 软中断（Software Interrupts）占用CPU的百分比
在这里CPU的使用比率和windows概念不同，如果你不理解用户空间和内核空间，需要充充电了。

第四行：内存状态
8300124k total 物理内存总量（8GB）
5979476k used 使用中的内存总量（5.7GB）
2320648k free 空闲内存总量（2.2G）
455544k buffers 缓存的内存量 （434M）

第五行：swap交换分区
8193108k total 交换区总量（8GB）
41568k used 使用的交换区总量（40.6M）
8151540k free 空闲交换区总量（8GB）
4217456k cached 缓冲的交换区总量（4GB）

这里要说明的是不能用windows的内存概念理解这些数据，如果按windows的方式此台服务器危矣：8G的内存总量只剩下530M的可用内存。Linux的内存管理有其特殊性，复杂点需要一本书来说明，这里只是简单说点和我们传统概念（windows）的不同。

第四行中使用中的内存总量（used）指的是现在系统内核控制的内存数，空闲内存总量（free）是内核还未纳入其管控范围的数量。纳入内核管理的内存不见得都在使用中，还包括过去使用过的现在可以被重复利用的内存，内核并不把这些可被重新使用的内存交还到free中去，因此在linux上free内存会越来越少，但不用为此担心。

如果出于习惯去计算可用内存数，这里有个近似的计算公式：第四行的free + 第四行的buffers + 第五行的cached，按这个公式此台服务器的可用内存： 2320648+455544 +4217456 = 6.6GB。

对于内存监控，在top里我们要时刻监控第五行swap交换分区的used，如果这个数值在不断的变化，说明内核在不断进行内存和swap的数据交换，这是真正的内存不够用了。

第六行是空行

第七行以下：各进程（任务）的状态监控
PID 进程id
USER 进程所有者
PR 进程优先级
NI nice值。负值表示高优先级，正值表示低优先级
VIRT 进程使用的虚拟内存总量，单位kb。VIRT=SWAP+RES
RES 进程使用的、未被换出的物理内存大小，单位kb。RES=CODE+DATA
SHR 共享内存大小，单位kb
S 进程状态。D=不可中断的睡眠状态 R=运行 S=睡眠 T=跟踪/停止 Z=僵尸进程
%CPU 上次更新到现在的CPU时间占用百分比
%MEM 进程使用的物理内存百分比
TIME+ 进程使用的CPU时间总计，单位1/100秒
COMMAND 进程名称（命令名/命令行）

多U多核CPU监控
在top基本视图中，按键盘数字1，可监控每个逻辑CPU的状况：

观察视图，服务器有4个逻辑CPU，实际上是1个物理CPU。

进程字段排序
默认进入top时，各进程是按照CPU的占用量来排序的，在【top视图 01】中进程ID为3527的mysqld进程排在第一（cpu占用2%），进程ID为26955的java进程排在第二（cpu占用1%）。
可通过键盘指令来改变排序字段，比如想监控哪个进程占用MEM最多，我一般的使用方法如下：

1. 敲击键盘b（打开/关闭加亮效果），top的视图变化如下：

我们发现进程id为20517的top进程被加亮了，一般为运行状态（runing）的进程才被加亮，可以通过敲击y键关闭或打开运行态进程的加亮效果。

1. 敲击键盘x（打开/关闭排序列的加亮效果），top的视图变化如下：

可以看到，top默认的排序列是%CPU。

1. 通过shift + >或shift + <可以向右或左改变排序列，下图是按一次shift + >的效果图：

视图现在已经按照%MEM来排序了。

改变进程显示字段

1. 敲击f键，top进入另一个视图，在这里可以编排基本视图中的显示字段：

这里列出了所有可在top基本视图中显示的进程字段，有并且标注为大写字母的字段是可显示的，没有并且是小写字母的字段是不显示的。如果要在基本视图中显示CODE和DATA两个字段，可以通过敲击r和s键：

1. 回车返回基本视图，可以看到多了CODE和DATA两个字段：

top命令的补充
top命令是Linux上进行系统监控的首选命令，但有时候却达不到我们的要求，top命令的监控最小单位是进程，所以看不到程序的线程数和客户连接数，通常可以ps和netstate两个命令来补充top的不足。

监控java线程数：
ps -eLf | grep java | wc -l
监控网络客户连接数：
netstat -n | grep tcp | grep 侦听端口 | wc -l
上面两个命令，可改动grep的参数，来达到更细致的监控要求。

在Linux系统一切都是文件的思想贯彻指导下，所有进程的运行状态都可以用文件来获取。系统根目录/proc中，每一个数字子目录的名字都是运行中的进程的PID，进入任一个进程目录，可通过其中文件或目录来观察进程的各项运行指标，例如task目录就是用来描述进程中线程的，因此也可以通过下面的方法获取某进程中运行中的线程数量（PID指的是进程ID）：

ls /proc/PID/task | wc -l
在linux中还有一个命令pmap，来输出进程内存的状况，可以用来分析线程堆栈：
pmap PID