20.Linux进程管理-企业案例

1.管理进程状态

当程序运行为进程后，如果希望停止进程，怎么办呢? 那么此时我们可以使用linux的kill命令对进程发送关闭信号。当然除了kill、还有killall，pkill

1.使用kill -l列出当前系统所支持的信号

• 我们最为常用的3个信号

数字编号	信号含义	信号翻译
1	SIGHUP	通常用来重新加载配置文件
9	SIGKILL	强制杀死进程
15	SIGTERM	终止进程，默认kill使用该信号

2.使用kill命令杀死指定PID的进程

1.给 vsftpd 进程发送信号 1,15
[root@chengyinwu ~]# yum -y install vsftpd
[root@chengyinwu ~]# systemctl start vsftpd
[root@chengyinwu ~]# ps aux |grep vsftpd
root      8185  0.0  0.0  53276   572 ?        Ss   15:55   0:00 /usr/sbin/vsftpd /etc/vsftpd/vsftpd.conf
root      8425  0.0  0.0 112708   988 pts/0    R<+  15:56   0:00 grep --color=auto vsftpd

2.发送重载信号，例如 vsftpd 的配置文件发生改变，希望重新加载
[root@chengyinwu ~]# kill -1 8185

3.发送停止信号，当然vsftpd 服务有停止的脚本 systemctl stop vsftpd
[root@chengyinwu ~]# kill 8185

4.发送强制停止信号，当无法停止服务时，可强制终止信号
[root@chengyinwu ~]# kill -9 8185

2.Linux系统中的killall、pkill命令用于杀死指定名字的进程。我们可以用kill命令杀死指定进程PID的进程，如果要找到我们需要杀死的进程，我们还需要在之前使用ps等命令再配合grep来查找进程，而killall、pkill把这两个过程合二为一，是一个很好用的命令

环境准备：

例1、通过服务名称杀掉进程 pkill killall

例2、使用pkill踢出从远程登录到本机的用户，终止pts/0上所有进程, 并且bash也结束（用户被强制退出）

[root@chengyinwu ~]# pkill -9 -t pts/1

2.管理后台进程

1. 什么是后台进程
   
   通常进程都会在终端前台运行，一旦关闭终端，进程也会随着结束，那么此时我们就希望进程能在后台运行，就是将在前台运行的进程放入后台运行，这样及时我们关闭了终端也不影响进程的正常运行。

1. 我们为什么要将进程放入后台运行
   
   比如：我们此前在国内服务器往国外服务器传输大文件时，由于网络的问题需要传输很久，如果在传输的过程中出现网络抖动或者不小心关闭了终端则会导致传输失败，如果能将传输的进程放入后台，是不是就能解决此类问题了。

1. 使用什么工具将进程放入后台
   
   早期的时候大家都选择使用&符号将进程放入后台，然后在使用jobs、bg、fg等方式查看进程状态，但太麻烦了。也不直观，所以我们推荐使用screen。

4. screen的使用(强烈推荐，生产必用)

1.安装
[root@oldboy ~]# yum install screen -y

2.开启一个screen窗口,指定名称
[root@oldboy ~]# screen -S wget_mysql

3.在screen窗口中执行任务即可

4.平滑的退出screen,但不会终止screen中的任务。注意: 如果使用exit 才算真的关闭screen窗口
ctrl+a+d

5.查看当前正在运行的screen有哪些
[root@oldboy ~]# screen -list

6.进入正在运行的screen
[root@oldboy ~]# screen -r wget_mysql
[root@oldboy ~]# screen -r 22058

3.进程的优先级[进阶]

1.系统中如何给进程配置优先级?

在启动进程时，为不同的进程使用不同的调度策略。

nice 值越高： 表示优先级越低，例如+19，该进程容易将CPU 使用量让给其他进程。

nice 值越低： 表示优先级越高，例如-20，该进程更不倾向于让出CPU。

1) 使用top或ps命令查看进程的优先级

1.使用top可以查看nice优先级。  NI: 实际nice级别，默认是0。 PR: 显示nice值，-20映射到0，+19映射到39
PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND
1083 root      20   0  298628   2808   1544 S  0.3  0.1   2:49.28 vmtoolsd
5    root       0 -20       0      0      0 S  0.0  0.0   0:00.00 kworker/0:+

2.使用ps查看进程优先级

2) nice指定程序的优先级。语法格式 nice -n 优先级数字 进程名称

1.开启vim并且指定程序优先级为-5
[root@m01 ~]# nice -n -5 vim &
[1] 98417

2.查看该进程的优先级情况
[root@m01 ~]# ps axo pid,command,nice |grep 98417
 98417 vim

3) renice命令修改一个正在运行的进程优先级。语法格式 renice -n 优先级数字 进程pid

1.查看sshd进程当前的优先级状态
[root@m01 ~]# ps axo pid,command,nice |grep sshd
 70840 sshd: root@pts/2              0
 98002 /usr/sbin/sshd -D             0

#2.调整sshd主进程的优先级
[root@m01 ~]# renice -n -20 98002
98002 (process ID) old priority 0, new priority -20

#3.调整之后记得退出终端
[root@m01 ~]# ps axo pid,command,nice |grep sshd
 70840 sshd: root@pts/2              0
 98002 /usr/sbin/sshd -D           -20
[root@m01 ~]# exit

#4.当再次登陆sshd服务，会由主进程fork子进程(那么子进程会继承主进程的优先级)
[root@m01 ~]# ps axo pid,command,nice |grep sshd
 98002 /usr/sbin/sshd -D           -20
 98122 sshd: root@pts/0            -20

企业案例：Linux出现假死解决方案

1.什么是假死

所谓假死，就是能ping通，但是ssh不上去；任何其他操作也都没反应，包括上面部署的nginx也打不开页面。

2.假死其实很难出现一次

作为一个多任务操作系统，要把系统忙死，忙到ssh都连不上去，也不是那么容易的。尤其是现在还有fd保护、进程数保护、最大内存保护之类的机制。

你可以fork很多进程，系统会变得很慢，但是ssh还是能连上去；你可以分配很多内存，但是内存多到一定程度oom killer就会把你的进程杀掉，于是ssh又能工作了。

3.假死是如何实现的

有一个确定可以把系统搞成假死的办法是：主进程分配固定内存，然后不停的fork，并且在子进程里面sleep(100)。

也就是说，当主进程不停fork的时候，很快会把系统的物理内存用完，当物理内存不足时候，系统会开始使用swap；那么当swap不足时会触发oom killer进程；

当oom killer杀掉了子进程，主进程会立刻fork新的子进程，并再次导致内存用完，再次触发oom killer进程，于是进入死循环。而且oom killer是系统底层优先级很高的内核线程，也在参与死循环。

4.系统假死为何能ping同无法连接

此时机器可以ping通，但是无法ssh上去。这是由于ping是在系统底层处理的，没有参与进程调度；sshd要参与进程调度，但是优先级没oom killer高，总得不到调度。

5.出现假死怎么办?

为什么要费那么大的力气把机器搞死？我们知道假死是怎么产生的即可，这样可以针对假死的原因进行预防。 (其实假死的情况很少发生，只有当代码写的bug很多的情况下会出现。)

其实建议使用nice将sshd的进程优先级调高。这样当系统内存吃紧，还能勉强登陆sshd，进入调试。然后分析故障。

6.系统平均负载[进阶]

每次发现系统变慢时，我们通常做的第一件事，就是执行 top 或者 uptime 命令，来了解系统的负载情况。比如像下面这样，我在命令行里输入了 uptime 命令，系统也随即给出了结果。

[root@chengyinwu ~]# uptime
 16:40:05 up 14 days,  2:22,  4 users,  load average: 0.00, 0.01, 0.09

我们已经比较熟悉前面几列，它们分别是当前时间、系统运行时间以及正在登录用户数。
而最后三个数字呢，依次则是过去 1 分钟、5 分钟、15 分钟的平均负载（Load Average）。

1.平均负载是指单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是平均活跃进程数， PS: 平均负载与 CPU 使用率并没有直接关系。

2.可运行状态和不可中断状态是什么

1.可运行状态进程，是指正在使用 CPU 或者正在等待 CPU 的进程，也就是我们ps 命令看到处于 R 状态的进程。

2.不可中断进程，(你做什么事情的时候是不能打断的?) 系统中最常见的是等待硬件设备的 I/O 响应，也就是我们 ps 命令中看到的 D 状态（也称为 Disk Sleep）的进程。

例如: 当一个进程向磁盘读写数据时，为了保证数据的一致性，在得到磁盘回复前，它是不能被其他进程或者中断打断的，这个时候的进程就处于不可中断状态。如果此时的进程被打断了，就容易出现磁盘数据与进程数据不一致的问题。所以，不可中断状态实际上是系统对进程和硬件设备的一种保护机制。

平均负载其实就是单位时间内的活跃进程数。

3.那平均负载为多少时合理

最理想的状态是每个 CPU 上都刚好运行着一个进程，这样每个 CPU 都得到了充分利用。所以在评判平均负载时，首先你要知道系统有几个 CPU，这可以通过 top 命令获取，或grep 'model name' /proc/cpuinfo

例1、假设现在在 4、2、1核的CPU上，如果平均负载为 2 时，意味着什么呢？
Q1.在4 个 CPU 的系统上，意味着 CPU 有 50% 的空闲。
Q2.在2 个 CPU 的系统上，意味着所有的 CPU 都刚好被完全占用。
Q3.而1 个 CPU 的系统上，则意味着有一半的进程竞争不到 CPU。
1.如果 1 分钟、5 分钟、15 分钟的三个值基本相同，或者相差不大，那就说明系统负载很平稳。
2.但如果 1 分钟的值远小于 15 分钟的值，就说明系统最近 1 分钟的负载在减少，而过去 15 分钟内却有很大的负载。
3.反过来，如果 1 分钟的值远大于 15 分钟的值，就说明最近 1 分钟的负载在增加，这种增加有可能只是临时性的，也有可能还会持续上升，所以就需要持续观察。
PS: 一旦 1 分钟的平均负载接近或超过了 CPU 的个数，就意味着系统正在发生过载的问题，这时就得分析问题，并要想办法优化了

在来看个例子3、假设我们在有2个 CPU 系统上看到平均负载为 2.73，6.90，12.98
那么说明在过去1 分钟内，系统有 136% 的超载 (2.73/2=136%)
而在过去 5 分钟内，有 345% 的超载 (6.90/2=345%)
而在过去15 分钟内，有 649% 的超载，(12.98/2=649%)
但从整体趋势来看，系统的负载是在逐步的降低。
4.那么在实际生产环境中，平均负载多高时，需要我们重点关注呢？
当平均负载高于 CPU 数量 70% 的时候，你就应该分析排查负载高的问题了。一旦负载过高，就可能导致进程响应变慢，进而影响服务的正常功能。
但 70% 这个数字并不是绝对的，最推荐的方法，还是把系统的平均负载监控起来，然后根据更多的历史数据，判断负载的变化趋势。当发现负载有明显升高趋势时，比如说负载翻倍了，你再去做分析和调查。

5.平均负载与 CPU 使用率有什么关系
在实际工作中，我们经常容易把平均负载和 CPU 使用率混淆，所以在这里，我也做一个区分。可能你会疑惑，既然平均负载代表的是活跃进程数，那平均负载高了，不就意味着 CPU 使用率高吗？
我们还是要回到平均负载的含义上来，平均负载是指单位时间内，处于可运行状态和不可中断状态的进程数。所以，它不仅包括了正在使用 CPU 的进程，还包括等待 CPU 和等待 I/O 的进程。

而 CPU 使用率，是单位时间内 CPU 繁忙情况的统计，跟平均负载并不一定完全对应。比如：
CPU 密集型进程，使用大量 CPU 会导致平均负载升高，此时这两者是一致的；
I/O 密集型进程，等待 I/O 也会导致平均负载升高，但 CPU 使用率不一定很高；
大量等待 CPU 的进程调度也会导致平均负载升高，此时的 CPU 使用率也会比较高。

6.平均负载案例分析实战

下面，我们以三个示例分别来看这三种情况，并用 stress、mpstat、pidstat 等工具，找出平均负载升高的根源。

stress 是 Linux 系统压力测试工具，这里我们用作异常进程模拟平均负载升高的场景。

mpstat 是多核 CPU 性能分析工具，用来实时查看每个 CPU 的性能指标，以及所有 CPU 的平均指标。

pidstat 是一个常用的进程性能分析工具，用来实时查看进程的 CPU、内存、I/O 以及上下文切换等性能指标。

如果出现无法使用mpstat、pidstat命令查看%wait指标建议更新下软件包
wget http://pagesperso-orange.fr/sebastien.godard/sysstat-11.7.3-1.x86_64.rpm
rpm -Uvh sysstat-11.7.3-1.x86_64.rpm

场景一：CPU 密集型进程

1.首先，我们在第一个终端运行 stress 命令，模拟一个 CPU 使用率 100% 的场景：

2.接着，在第二个终端运行 uptime 查看平均负载的变化情况

3.最后，在第三个终端运行 mpstat 查看 CPU 使用率的变化情况

4.从终端二中可以看到，1 分钟的平均负载会慢慢增加到 1.00，而从终端三中还可以看到，正好有一个 CPU 的使用率为 100%，但它的 iowait 只有 0。这说明，平均负载的升高正是由于 CPU 使用率为 100% 。那么，到底是哪个进程导致了 CPU 使用率为 100% 呢？可以使用 pidstat 来查询

场景二：I/O 密集型进程

1.首先还是运行 stress 命令，但这次模拟 I/O 压力，即不停地执行 sync

[root@m01 ~]# stress --io 1 --timeout 600s

2.然后在第二个终端运行 uptime 查看平均负载的变化情况：

[root@m01 ~]# watch -d uptime

18:43:51 up 2 days, 4:27, 3 users, load average: 1.12, 0.65, 0.00

3.最后第三个终端运行 mpstat 查看 CPU 使用率的变化情况：

显示所有 CPU 的指标，并在间隔 5 秒输出一组数据
`[root@m01 ~]# mpstat -P ALL 5`
Linux 3.10.0-693.2.2.el7.x86_64 (bgx.com)   2019年05月07日     _x86_64_    (1 CPU)

14时20分07秒  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
14时20分12秒  all    0.20    0.00   82.45   17.35    0.00    0.00    0.00    0.00    0.00    0.00
14时20分12秒    0    0.20    0.00   82.45   17.35    0.00    0.00    0.00    0.00    0.00    0.00

#会发现cpu的与内核打交道的sys占用非常高

4.那么到底是哪个进程，导致 iowait 这么高呢？我们还是用 pidstat 来查询

间隔 5 秒后输出一组数据，-u 表示 CPU 指标
[root@m01 ~]# pidstat -u 5 1
Linux 3.10.0-957.1.3.el7.x86_64 (m01)   2019年04月29日     _x86_64_(1 CPU)
18时29分37秒   UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
18时29分42秒     0    127259   32.60    0.20    0.00   67.20   32.80     0  stress
18时29分42秒     0    127261    4.60   28.20    0.00   67.20   32.80     0  stress
18时29分42秒     0    127262    4.20   28.60    0.00   67.20   32.80     0  stress

#可以发现，还是 stress 进程导致的

场景三：大量进程的场景

当系统中运行进程超出 CPU 运行能力时，就会出现等待 CPU 的进程。

1.首先，我们还是使用 stress，但这次模拟的是 4 个进程

[root@m01 ~]# stress -c 4 --timeout 600

2.由于系统只有 1 个 CPU，明显比 4 个进程要少得多，因而，系统的 CPU 处于严重过载状态

[root@m01 ~]# watch -d uptime

19:11:07 up 2 days, 4:45, 3 users, load average: 4.65, 2.65, 4.65

3.然后，再运行 pidstat 来看一下进程的情况：

间隔 5 秒后输出一组数据
[root@m01 ~]# pidstat -u 5 1
平均时间:   UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
平均时间:     0    130290   24.55    0.00    0.00   75.25   24.55     -  stress
平均时间:     0    130291   24.95    0.00    0.00   75.25   24.95     -  stress
平均时间:     0    130292   24.95    0.00    0.00   75.25   24.95     -  stress
平均时间:     0    130293   24.75    0.00    0.00   74.65   24.75     -  stress

可以看出，4 个进程在争抢 1 个 CPU，每个进程等待 CPU 的时间（也就是代码块中的 %wait 列）高达 75%。这些超出 CPU 计算能力的进程，最终导致 CPU 过载。

分析完这三个案例，我再来归纳一下平均负载与CPU

平均负载提供了一个快速查看系统整体性能的手段，反映了整体的负载情况。但只看平均负载本身，我们并不能直接发现，到底是哪里出现了瓶颈。所以，在理解平均负载时，也要注意：

平均负载高有可能是 CPU 密集型进程导致的；

平均负载高并不一定代表 CPU 使用率高，还有可能是 I/O 更繁忙了；

当发现负载高的时候，你可以使用 mpstat、pidstat 等工具，辅助分析负载的来源