什么是平均负载

平均负载可以对于我们来说及熟悉又陌生，但我们问平均负载是什么，但大部分人都回答说平均负载不就是单位时间内CPU使用率吗？其实并不是这样的，如果可以的话，可以 man uptime 来了解一下平均负载的详细信息。

简单的说平均负载是指单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是说平均活跃进程数，它和CPU使用率并没有直接关系。这里解释一下可运行状态和不可中断这两个词。

可运行状态：

  • 指正在使用CPU或者正在等待CPU的进程，我们使用ps命令查看处于R状态的进程

不可中断状态：

  • 进程则是正处于内核态关键流程中的进程，并且这些流程是不可中断的。例如：常见的等待硬件设备I/O的响应，也就是我们在ps命令查看处于D状态的进程

比如，当一个进程向磁盘读写数据时，为了保证数据的一致性，在得到磁盘回复前，它是不能被其他进程中断或者打断的，这个时候的进程处于不可中断状态，如果此时的进程被打断了，就容易出现磁盘数据和进程数据不一致的问题。

所以，不可中断状态实际上是系统进程和硬件设备的一种保护机制。

因此，你可以简单理解为，平均负载就是平均活跃进程数。平均活跃进程数，直观上的理解就是单位时间内的活跃进程数，但它实际上是活跃进程数的指数衰减平均值。既然是平均活跃进程数，那么理想状态，就是每个CPU上都刚好运行着一个进程，这样每个CPU都会得到充分的利用。例如平均负载为2时，意味着什么呢？

  • 在只有2个CPU的系统上，意味着所有的CPU刚好被完全占用
  • 在4个CPU的系统上，意味着CPU有50%的空闲
  • 而在只有1个CPU的系统上，则意味着有一半的进程竞争不到CPU

平均负载和CPU使用率

现实工作中，我们经常容易把平均负载和CPU使用率混淆，所以在这里，我也做一个分区。

可能你会疑惑，既然平均负载代表的是活跃进程数，那平均负载高了，不就意味着CPU使用率高吗？

我们还是要回到平均负载的含义上来，平均负载是指单位时间内，处于可运行状态和不可中断状态的进程数，所以，它不仅包括了正常使用CPU的进程，还包括了等待CPU和等待I/O的进程。

而CPU使用率，是单位时间内CPU的繁忙情况的统计，跟平均负载并不一定完全对应，例如：

  • CPU密集型进程，使用大量CPU会导致平均负载升高，此时这两者是一致的
  • I/O密集型进程，等待I/O也会导致平均负载升高，但CPU使用率不一定很高
  • 大量等待CPU的进程调度也会导致平均负载升高，此时的CPU使用率会很高

平均负载案例

这里我们需要安装几个工具sysstat、stress、stress-ng

这里Centos的sysstat版本会老一点，最好升级到最新版本。手动rpm安装或者源码安装

场景一、CPU密集型

1、运行一个stress命令，模拟一个CPU使用率100%场景

$ stress --cpu  --timeout

2、开启第二个终端，uptime查看平均负载的变化情况

$ watch -d uptime

 :: up  days, :,   users,  load average: 1.62, 1.10, 0.87

3、开启第三个终端，mpstat 查看CPU使用率的变化情况

$ mpstat -P ALL  20
10:06:37 AM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
10:06:42 AM  all   31.50    0.00    0.35    0.00    0.00    0.00    0.00    0.00    0.00   68.15
10:06:42 AM    0    1.20    0.00    0.80    0.00    0.00    0.00    0.00    0.00    0.00   98.00
10:06:42 AM    1    7.21    0.00    0.40    0.00    0.00    0.00    0.00    0.00    0.00   92.38
10:06:42 AM    2  100.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00
10:06:42 AM    3   17.43    0.00    0.20    0.00    0.00    0.00    0.00    0.00    0.00   82.36

# -P ALL 表示监控所有CPU，后面数字5 表示间隔5秒输出一次数据

从第二个终端可以看到，1分钟平均负载增加到1.62，从第三个终端我们可以看到有一个CPU使用率100%，但iowait为0，这说明平均负载的升高正式由CPU使用率为100%

那我们查看是那个进程导致了CPU使用率为100%呢？我们可以使用pidstat来查看：

#每5秒输出一次数据
$ pidstat -u

:: AM   UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command

:: AM                  0.20    0.00    0.00    0.00    0.20       systemd

:: AM                0.00    1.00    0.00    0.20    1.00       systemd-journal

:: AM               0.60    0.00    0.00    0.00    0.60       rsyslogd

:: AM             100.00    0.00    0.00    0.00  100.00       stress

:: AM               0.20    0.20    0.00    0.00    0.40       pidstat

从这里我们可以看到是stress这个进程导致的。

场景二、I/O密集型进程

1、我们使用stress-ng命令，但这次模拟I/O压力，既不停执行sync:

#--hdd表示读写临时文件
#-i 生成几个worker循环调用sync()产生io压力

$ stress-ng -i  --hdd  --timeout

2、开启第二个终端运行uptime查看平均负载情况

$ watch -d uptime

 :: up  days, :,   users,  load average: 1.71, 0.75, 0.69

3、开启第三个终端运行mpstat查看CPU使用率

$ mpstat -P ALL

:: AM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle

:: AM  all    6.80    0.00   33.75   26.16    0.00    0.39    0.00    0.00    0.00   32.90

:: AM        4.03    0.00   69.57   19.91    0.00    0.00    0.00    0.00    0.00    6.49

:: AM       25.32    0.00    9.49    0.00    0.00    0.95    0.00    0.00    0.00   64.24

:: AM        0.24    0.00   10.87   63.04    0.00    0.48    0.00    0.00    0.00   25.36

:: AM        1.42    0.00   36.93   14.20    0.00    0.28    0.00    0.00    0.00   47.16

从这里可以看到，1分钟平均负载会慢慢增加到1.71，其中一个CPU的系统CPU使用率升到63.04。这说明，平均负载的升高是由于iowait升高。

那么我们到底是哪个进程导致的呢？我们使用pidstat来查看：

$ pidstat -u

Average:      UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command

Average:                     0.00    0.19    0.00    0.00    0.19     -  systemd

Average:                    0.00    0.19    0.00    1.56    0.19     -  rcu_sched

Average:                   0.58    1.75    0.00    0.39    2.33     -  systemd-journal

Average:                  0.19    0.19    0.00    0.00    0.39     -  rsyslogd

Average:                  0.00    1.56    0.00    1.17    1.56     -  kworker/:-events_power_efficient

Average:                  0.00    0.39    0.00    0.78    0.39     -  kworker/:-events_power_efficient

Average:                  0.00    0.19    0.00    0.58    0.19     -  kworker/:-events

Average:                  0.00   97.67    0.00    0.19   97.67     -  kworker/u8:+flush-:

Average:                 0.00    0.97    0.00    1.56    0.97     -  kworker/:-mm_percpu_wq

Average:                 0.00   21.79    0.00    0.19   21.79     -  stress-ng-hdd

Average:                 0.00    1.95    0.00    1.36    1.95     -  stress-ng-io

Average:                 0.00    2.72    0.00    0.39    2.72     -  stress-ng-io

Average:                 0.00    1.36    0.00    1.75    1.36     -  stress-ng-io

Average:                 0.00    2.72    0.00    0.58    2.72     -  stress-ng-io

可以发现是stress-ng导致的

场景三、大量进程的场景

当系统中运行进程超出CPU运行能力时，就会出现等待CPU的进程。

比如：我们使用stress,但这次模拟8个进程：

$ stress -c  --timeout

我们的系统只有4颗CPU，这时候要运行8个进程，是明显不够的，系统的CPU后严重过载,这时候负载值达到了4点多：

$  uptime

 :: up  days, :,   users,  load average: 4.52, 2.82, 2.67

接着我们运行pidstat来查看一下进程的情况：

$ pidstat -u

Linux 5.0.-.el7.elrepo.x86_64 (k8s-m1)     //     _x86_64_    ( CPU)

:: AM   UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command

:: AM                  0.20    0.00    0.00    0.00    0.20       systemd

:: AM                0.00    0.99    0.00    0.20    0.99       systemd-journal

:: AM               0.60    0.20    0.00    0.00    0.79       rsyslogd

:: AM             51.59    0.00    0.00   48.21   51.59       stress

:: AM             44.64    0.00    0.00   54.96   44.64       stress

:: AM             45.44    0.00    0.00   54.56   45.44       stress

:: AM             45.44    0.00    0.00   54.37   45.44       stress

:: AM             51.59    0.00    0.00   48.21   51.59       stress

:: AM             48.41    0.00    0.00   51.19   48.41       stress

:: AM             45.24    0.00    0.00   54.37   45.24       stress

:: AM             48.81    0.00    0.00   50.99   48.81       stress

:: AM              0.00    0.40    0.00    0.20    0.40       pidstat

可以看出，8个进程抢占4颗CPU，每个进程等到CPU时间(%wait)高达50%，这些都超出CPU计算能力的进程，最终导致CPU过载。

怎么理解linux的平均负载及平均负载高后的排查工具的更多相关文章

  1. Linux性能调优 | 01 平均负载的理解和分析

    01 uptime命令 通常我们发现系统变慢时,我们都会执行top或者uptime命令,来查看当前系统的负载情况,比如像下面,我执行了uptime,系统返回的了结果. [root@lincoding ...

  2. 深入理解linux系统下proc文件系统内容

    深入理解linux系统下proc文件系统内容 内容摘要:Linux系统上的/proc目录是一种文件系统,即proc文件系统. Linux系统上的/proc目录是一种文件系统,即proc文件系统.与其它 ...

  3. 如何理解 Linux 中的 load averages

    原文:https://mp.weixin.qq.com/s?src=11&timestamp=1533697106&ver=1047&signature=poqrJFfcNAB ...

  4. 理解Linux系统中的load average

    理解Linux系统中的load average(图文版) 博客分类: Linux linux load nagios  一.什么是load average? linux系统中的Load对当前CPU工作 ...

  5. [转]理解Linux的性能

    来源:http://www.linuxfly.org/post/114/ [转]理解Linux的性能       项目中常遇到需要对目前运行的系统进行效率分析,或碰到客户咨询如何优化系统的效率问题.更 ...

  6. linux负载均衡总结性说明（四层负载/七层负载）

    在常规运维工作中,经常会运用到负载均衡服务.负载均衡分为四层负载和七层负载,那么这两者之间有什么不同?废话不多说,详解如下: 一,什么是负载均衡1)负载均衡(Load Balance)建立在现有网络结 ...

  7. 深入理解Linux内存分配

    深入理解Linux内存分配 为了写一个用户层程序,你也许会声明一个全局变量,这个全局变量可能是一个int类型也可能是一个数组,而声明之后你有可能会先初始化它,也有可能放在之后用到它的时候再初始化.除此 ...

  8. 理解Linux系统负荷load average

    理解Linux系统负荷   一.查看系统负荷 如果你的电脑很慢,你或许想查看一下,它的工作量是否太大了. 在Linux系统中,我们一般使用uptime命令查看(w命令和top命令也行).(另外,它们在 ...

  9. Linux 服务器下多网卡的负载均衡

    Linux 服务器下多网卡负载均衡的实现   一.引言    现今几乎各行各业内部都建立了自己的服务器,由于服务器的特殊地位,它的可靠性.可用性及其 I/O 速度就显得非常的重要, 保持服务器的高可用 ...

随机推荐

  1. 登录授权、TCP/IP、HTTPS

    今天继续纯理论的东东,比较枯燥,但是又很重要,坚持.. 登录和授权 登录和授权的区别: 登录:身份认证,即确认「你是你」的过程. 授权:由身份或持有的令牌确认享有某些权限(例如获取用户信息).登录过程 ...

  2. 使用Tampermonkey，实现Gitlab禁用自我Merge的功能

    Tampermonkey 简单入门资料:https://blog.csdn.net/gg_18826075157/article/details/78011162 Tampermonkey下载地址:T ...

  3. 揭秘PHP深受Web开发者喜爱的原因

    我们再次回顾一下在软件开发的发展中非常有名的技术"PHP"(Hypertext Pre-Processor),它是由Rasmus Lerdorf在1995年发明的.开始阶段,PHP ...

  4. ASP.NET MVC Liu_Cabbage 个人博客

    RightControl_Blog 介绍 前台使用燕十三博客前端模板,后台基于RightControl .NET通用角色权限管理系统搭建,已完成.项目地址:http://www.baocaige.to ...

  5. python自动华 （十四）

    Python自动化 [第十四篇]:HTML介绍 本节内容: Html 概述 HTML文档 常用标签 2. CSS 概述 CSS选择器 CSS常用属性 1.HTML 1.1概述 HTML是英文Hyper ...

  6. Codeforces Round #599 (Div. 2) A,B1，B2,C 【待补 D】

    排序+暴力 #include<bits/stdc++.h> using namespace std; #define int long long #define N 1005000 int ...

  7. CF D. Ehab and the Expected XOR Problem 贪心+位运算

    题中只有两个条件:任意区间异或值不等于0或m. 如果只考虑区间异或值不等于 0,则任意两个前缀异或值不能相等. 而除了不能相等之外,还需保证不能出现任意两个前缀异或值不等于m. 即 $xor[i]$^ ...

  8. bit,byte,word,bps,Bps,比特,字节,字, 一图看懂

  9. windows游戏编程 绘图基础

    本系列文章由jadeshu编写,转载请注明出处.http://blog.csdn.net/jadeshu/article/details/22451353 作者:jadeshu   邮箱: jades ...

  10. python 监听键盘事件

    #coding=utf- from tkinter import * root=Tk() def callback(event): print("点击键盘",repr(event. ...