Linux-平均负载指数

目录

• 系统平均负载
  • 什么是平均负载
  • 平均负载多少合理
  • 如何观察平均负载
  • 平均负载和CPU的使用率的区别
• 平均负载分析
  • 执行CPU密集型任务
  • 执行I/O密集型任务
  • 大量进程调度
  • 关于平均负载的总结

系统平均负载

什么是平均负载

# 什么是平均负载
平均负载可以反映出，单位时间内，系统处于可运行状态和不可中断状态的进程数，也就是活跃进程数。
# 可运行状态的进程 STAT 对应 R
# 不可中断状态进程 STAT 对应 D
# 平均负载与CPU有关，但不止和CPU有关

平均负载多少合理

举个例子，当CPU核心数为 4 , 2 , 1 时，平均负载为 2 的意味着什么？

CPU核心数	平均负载	概念
4	2	50%的CPU已经被占用
2	2	100%的CPU已经被占用
1	2	只有50%的进程占用了CPU

如何观察平均负载

# load average: 0.00, 0.01, 0.05
0.00	 # 1 分钟的平均负载 占用 0% 的CPU以及其他资源
0.01	 # 5 分钟的平均负载 占用 1% 的CPU以及其他资源
0.05	 # 15 分钟的平均负载 占用 5% 的CPU以及其他资源
		 # 平均负载与CPU有关，但不止和CPU有关

# 例 1：
# 若系统平均负载为 load average: 5.00,2.00,1.00 ，那么最近 1 分钟的平均负载变大，说明系统的平均负载趋势为增高，需要检查系统进程运行情况

# 例 2：
# 若系统平均负载为 load average: 1.00,2.00,5.00 ，那么 15 分钟的平均负载较大，说明徐彤的平均负载趋势为减小，可以检查 15 分钟前的系统进程运行情况

# 例 3：
# 若系统平均负载为 load average: 2.00,2.00,2.00 ，那么平均负载很“稳定”（是否稳定观察CPU核心数而定）

# 一般情况下，平均负载高于 70% ，就需要调试（70%=平均负载/CPU总核心数）

平均负载和CPU的使用率的区别

平均负载：平均负载指的是每单位时间内，处于可运行状态和不可中断状态的进程数，所以，它不仅包括了正在使用CPU的进程数，还包括等待CPU和等待IO的进程数。

CPU的使用率：单位时间内，CPU繁忙情况的统计，跟平均负载在并不一定完全对应。

为了区分平均负载和CPU的使用率之间的区别，我们要引入CPU密集型任务和I/O密集型任务的概念。

## 1. 举例 CPU密集型进程 和 IO密集型进程
# CPU密集型进程（特点是要进行大量的计算，消耗CPU资源）
CPU密集型也叫计算密集型，CPU有很多运算和逻辑判断要处理，使用大量的CPU会导致平均负载升高。

# IO密集型进程（特点是99%的时间都花在I/O读写上，花在CPU上的时间很少）
IO密集型进程，等待IO也会导致平均负载升高，此时大部分时间的CPU状态是在等待I/O读写操作，CPU使用率不一定很高。

# 2. 举例 大量进程调度
大量等待CPU的进程调度也会导致平均负载升高，此时的CPU使用率也会比较高。

平均负载分析

stress是Linux系统压力测试工具，这里我们用作异常进程模拟平均负载升高的场景。

mpstat是多核CPU性能分析工具，用来实时检查每个CPU的性能指标，以及所有CPU的平均指标。

pidstat是一个常用的进程性能分析工具，用来实时查看进程的CPU，内存，IO，以及上下文切换等性能指标。

# 安装 stress 软件包 以及 sysstat 软件包
[root@wqh06 ~]# yum -y install stress sysstat

11.7.3版本的sysstat，pidstat命令结果中包含了wait占用的时间百分比，点击下载rpm包

执行CPU密集型任务

## 案例一 执行CPU密集型任务
# CPU密集型进程压力测试（使CPU满载利用）
[root@wqh06 ~]# stress --cpu 1 --timeout 500
stress: info: [7749] dispatching hogs: 1 cpu, 0 io, 0 vm, 0 hdd
# 查看平均负载指数
[root@wqh06 ~]# watch -d uptime
Every 2.0s: uptime
Wed Apr 22 19:11:27 2020
19:11:27 up  6:53,  3 users,  load average: 0.54, 0.17, 0.09
# 使用mpstat -u 5 1 所有CPUs的负载，使用 mpstat -P ALL 列出总体以及每个CPU的负载
[root@wqh06 ~]# mpstat -u 5 1
Linux 3.10.0-957.el7.x86_64 (wqh06) 	04/22/2020 	_x86_64_	(1 CPU)

07:24:25 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
07:24:30 PM  all   99.80    0.00    0.20    0.00    0.00    0.00    0.00    0.00    0.00    0.00
Average:     all   99.80    0.00    0.20    0.00    0.00    0.00    0.00    0.00    0.00    0.00
[root@wqh06 ~]# mpstat -P ALL 5 1
Linux 3.10.0-957.el7.x86_64 (wqh06) 	04/22/2020 	_x86_64_	(1 CPU)

07:27:37 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
07:27:42 PM  all   99.80    0.00    0.20    0.00    0.00    0.00    0.00    0.00    0.00    0.00
07:27:42 PM    0   99.80    0.00    0.20    0.00    0.00    0.00    0.00    0.00    0.00    0.00

Average:     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
Average:     all   99.80    0.00    0.20    0.00    0.00    0.00    0.00    0.00    0.00    0.00
Average:       0   99.80    0.00    0.20    0.00    0.00    0.00    0.00    0.00    0.00    0.00
# 使用pidstat -u 5 1 观察
[root@wqh06 ~]# pidstat -u 5 1
Linux 3.10.0-957.el7.x86_64 (wqh06) 	04/22/2020 	_x86_64_	(1 CPU)

07:24:32 PM   UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
07:24:37 PM     0      8634   99.40    0.00    0.00    0.60   99.40     0  stress
07:24:37 PM     0      8652    0.00    0.20    0.00    0.00    0.20     0  pidstat

Average:      UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
Average:        0      8634   99.40    0.00    0.00    0.60   99.40     -  stress
Average:        0      8652    0.00    0.20    0.00    0.00    0.20     -  pidstat

执行I/O密集型任务

## 案例二 执行I/O密集型任务
# I/O密集型进程压力测试
[root@wqh06 ~]# stress --io 5 --timeout 500
stress: info: [8018] dispatching hogs: 0 cpu, 100 io, 0 vm, 0 hdd
# 查看平均负载指数
[root@wqh06 ~]# watch -d uptime
Every 2.0s: uptime                                                                                 Wed Apr 22 19:15:30 2020
19:47:09 up 6 min,  4 users,  load average: 4.09, 1.45, 0.57

### 注意：当运行命令 `stress --io 1000 --timeout 500` 时，会有 1000 个stress进程，平均负载指数会飙升，但CPU并不繁忙，运行一些指令也不会卡，也就是说I/O密集型任务会影响平均负载，但CPU利用率并不高

大量进程调度

## 案例三 大量进程调度
# 当前只有一个CPU核心，测试四个CPU核心的进程调度（给予四倍的活跃进程数）
[root@wqh06 ~]# stress --cpu 4 --timeout 500
stress: info: [8263] dispatching hogs: 4 cpu, 0 io, 0 vm, 0 hdd
# 查看平均负载指数
[root@wqh06 ~]# watch -d uptime
Every 2.0s: uptime                                                                                 Wed Apr 22 19:15:30 2020
19:38:21 up  7:20,  3 users,  load average: 4.12, 3.09, 4.77

关于平均负载的总结

• 1.平均负载高有可能是CPU密集型进程导致的
• 2.平均负载高并不一定代表CPU的使用率就一定高，还有可能是I/O繁忙
• 3.当发现负载高时，可以使用mpstat、pidstat等工具，快速定位到，负载高的原因，从而做出处理