Linux系统调优相关工具

一、系统调优概述

1. 系统的运行状况： CPU -> MEM -> DISK*-> NETWORK -> 应用程序调优
2. 分析是否有瓶颈(依据当前应用需求)
3. 调优(把错误的调正确)

性能优化就是找到系统处理中的瓶颈以及去除这些的过程。
性能优化其实是对OS 各子系统达到一种平衡的定义，这些子系统包括:

• CPU
• Memory
• IO
• Network

这些子系统之间关系是相互彼此依赖的，任何一个高负载都会导致其他子系统出现问题。
比如:

• 大量的网页调入请求导致内存队列的拥塞；
• 网卡的大吞吐量可能导致更多的 CPU 开销；
• 大量的 CPU 开销又会尝试更多的内存使用请求；
• 大量来自内存的磁盘写请求可能导致更多的 CPU 以及 IO 问题；

所以要对一个系统进行优化,查找瓶颈来自哪个方面是关键,虽然看似是某一个子系统出现问题,其实有；

• 可能是别的子系统导致的。
• 调优就像医生看病，因此需要你对服务器所有地方都了解清楚。

当系统出了问题，运行卡，如何快速找出以下进程：

1. 找出系统中使用CPU最多的进程？
2. 找出系统中使用内存最多的进程？
3. 找出系统中对磁盘读写最多的进程？
4. 找出系统中使用网络最多的进程？

二、查看CPU负载相关工具，找出系统中使用CPU最多的进程

1、查看CPU负载相关工具

实战1：找出系统中使用CPU最多的进程？
　　uptime命令：
[root@localhost ~]# uptime
13:22:30 up 8 min, 1 users, load average: 0.14, 0.38, 0.25
其内容如下：

12:38:33	当前时间
up 50days	系统运行时间 ，说明此服务器连续运行50天了
1 user	当前登录用户数
load average: 0.06, 0.60, 0.48	系统负载，即任务队列的平均长度。 三个数值分别为  1分钟、5分钟、15分钟前到现在的平均值。

例1：找出前当系统中，CPU负载过高的服务器？

服务器1： load average: 0.15, 0.08, 0.01 　　 1核
服务器2： load average: 4.15, 6.08, 6.01 　　 1核
服务器3： load average: 10.15, 10.08, 10.01   4核
答案：服务器2

如果服务器的CPU为1核心，则load average中的数字 >=3 负载过高，如果服务器的CPU为4核心，则load average中的数字 >=12 负载过高。

经验：单核心，1分钟的系统平均负载不要超过3，就可以，这是个经验值。

任务队列的平均长度是什么？
大厅排除买票：

队列数为3时，如图：

2.找出系统中使用CPU最多的进程？

方法1：使用top命令
运行top ， 找出使用CPU最多的进程 ，按大写的P，可以按CPU使用率来排序显示

3.按照实际使用CPU，从大到小排序显示所有进程列表

[root@stu003 ~]# ps -aux --sort -pcpu | more 　　#按cpu降序排序
查看
　　注:  -pcpu 可以显示出进程绝对的路径，方便找出木马程序运行的路径。
查看 -pcpu 帮助：
[root@xuegod63 ~]# man ps #然后搜索 pcpu ，找到下面内容
　　pcpu 　　 cpu　　 utilization 　　 # cpu利用率

utilization[英][ˌju:təlaɪ'zeɪʃn] #利用

查看CPU信息：

[root@xuegod63 ~]# cat /proc/cpuinfo
processor	: 0
vendor_id	: GenuineIntel
cpu family	: 6
model	: 42
model name	: Intel(R) Core(TM) i7-2670QM CPU @ 2.20GHz
stepping	: 7
cpu MHz	: 2195.039
cache size	: 6144 KB
physical id	: 0
siblings	: 4
core id	: 0
cpu cores	: 4
apicid	: 0
initial apicid	: 0
fpu	: yes
fpu_exception	: yes
cpuid level	: 13
wp	: yes
flags	: fpu vme de pse tsc msr pae mce cx8 apic mtrr pge mca cmov pat pse36 clflush dts mmx fxsr sse sse2 ss ht syscall nx rdtscp 
lm constant_tsc arch_perfmon pebs bts xtopology tsc_reliable nonstop_tsc aperfmperf unfair_spinlock pni pclmulqdq ssse3 cx16 sse4_1 
sse4_2 x2apic popcnt aes xsave avx hypervisor lahf_lm ida arat epb xsaveopt pln pts dts
bogomips	: 4390.07
clflush size	: 64
cache_alignment	: 64
address sizes	: 40 bits physical, 48 bits virtual
power management:
processor	: 1
。。。
processor	: 2
。。。
processor	: 3 #说明本机器支持4个CPU

　　

扩展：ps 中 VIRT、RES和SHR的含意：
　　VIRT：virtual memory usage 虚拟内存

1. 进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据等；
2. 假如进程申请100m的内存，但实际只使用了10m，那么它会增长100m，而不是实际的使用量。

　　RES：resident memory usage 常驻内存

1. 进程当前使用的内存大小，但不包括swap out；
2. 包含其他进程的共享；
3. 如果申请100m的内存，实际使用10m，它只增长10m，与VIRT相反；
4. 关于库占用内存的情况，它只统计加载的库文件所占内存大小。

　　SHR：shared memory 共享内存

1. 除了自身进程的共享内存，也包括其他进程的共享内存；
2. 虽然进程只使用了几个共享库的函数，但它包含了整个共享库的大小；
3. 计算某个进程所占的物理内存大小公式：RES – SHR；
4. swap out后，它将会降下来。

4. CPU专用的mpstat

[root@xuegod70 ~]# rpm -qf `which mpstat`
sysstat-10.1.5-13.el7.x86_64
[root@xuegod70 ~]# mpstat
Linux 3.10.0-693.el7.x86_64 (xuegod70.cn) 	07/06/2018 	_x86_64_	(4 CPU)

11:44:54 AM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
11:44:54 AM  all    0.04    0.00    0.04    0.03    0.00    0.00    0.00    0.00    0.00   99.88

• nice:低优先级进程使用CPU占比。nice值大于0。
• sys:内核空间CPU使用占比。
• iowait:CPU等待IO占比。
• irq:CPU处理硬中断占比。
• soft:CPU处理软中断占比。
• idle:CPU空闲时间占比。
• guest与steal与虚拟机有关，暂不涉及。

[root@xuegod70 ~]# mpstat -P ALL       #查看所有CPU运行状态
Linux 3.10.0-693.el7.x86_64 (xuegod70.cn) 	07/06/2018 	_x86_64_	(4 CPU)

11:53:32 AM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
11:53:32 AM  all    0.04    0.00    0.04    0.03    0.00    0.00    0.00    0.00    0.00   99.88
11:53:32 AM    0    0.06    0.00    0.03    0.03    0.00    0.00    0.00    0.00    0.00   99.88
11:53:32 AM    1    0.05    0.00    0.03    0.02    0.00    0.00    0.00    0.00    0.00   99.90
11:53:32 AM    2    0.03    0.00    0.07    0.05    0.00    0.00    0.00    0.00    0.00   99.85
11:53:32 AM    3    0.03    0.00    0.05    0.03    0.00    0.00    0.00    0.00    0.00   99.88
[root@xuegod70 ~]# mpstat -P ALL 5 2    #表示每5秒产生一个报告，总共产生2个
Linux 3.10.0-693.el7.x86_64 (xuegod70.cn) 	07/06/2018 	_x86_64_	(4 CPU)

11:53:37 AM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
11:53:42 AM  all    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
11:53:42 AM    0    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
11:53:42 AM    1    0.00    0.00    0.20    0.00    0.00    0.00    0.00    0.00    0.00   99.80
11:53:42 AM    2    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
11:53:42 AM    3    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00

11:53:42 AM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
11:53:47 AM  all    0.00    0.00    0.05    0.00    0.00    0.00    0.00    0.00    0.00   99.95
11:53:47 AM    0    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
11:53:47 AM    1    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
11:53:47 AM    2    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
11:53:47 AM    3    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00

Average:     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
Average:     all    0.00    0.00    0.03    0.00    0.00    0.00    0.00    0.00    0.00   99.97
Average:       0    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
Average:       1    0.00    0.00    0.10    0.00    0.00    0.00    0.00    0.00    0.00   99.90
Average:       2    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
Average:       3    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00

三、查看Memory运行状态相关工具，找出系统中使用内存最多的进程

1、查看Memory运行状态相关工具

在CentOS6及以前的版本中，free命令输出是这样的：

[root@stu003 ~]# free
             total       used           free       shared    buffers     cached
Mem:       1785856    1749352      36504          0     137504     933196
-/+ buffers/cache:     678652    1107204
Swap:      2818040          0    2818040

第一行：
系统内存主要分为四部分：used(程序已使用内存)，free(空闲内存)，buffers(buffer cache)，cached(Page cache)。
系统总内存total = used + free；  buffers和cached被算在used里，因此第一行系统已使用内存used = buffers + cached + 第二行系统已使用内存used，
由于buffers和cached在系统需要时可以被回收使用，因此系统可用内存 = free + buffers + cached；
shared为程序共享的内存空间，往往为0。
第二行：
　　正因为buffers和cached在系统需要时可以被回收使用，因此buffer和cached其实可以可以算作可用内存，因此：
　　系统可用内存，即第二行的free = 第一行的free + buffers + cached。
　　系统已使用内存，即第二行的used = total - 第二行free
第三行：
　　swap内存交换空间使用情况

CentOS7及以后free命令的输出如下：

[root@xuegod70 ~]# free -h
              total        used        free      shared  buff/cache   available
Mem:           976M        105M        125M         12M        744M        659M
Swap:          1.0G        288K        1.0G

buffer和cached被合成一组，加入了一个available，关于此available，文档上的说明如下：
MemAvailable: An estimate of how much memory is available for starting new applications, without swapping.
即系统可用内存，之前说过由于buffer和cache可以在需要时被释放回收，系统可用内存即 free + buffer + cache，在CentOS7之后这种说法并不准确，因为并不是所有的buffer/cache空间都可以被回收。
即available = free + buffer/cache - 不可被回收内存(共享内存段、tmpfs、ramfs等)。
因此在CentOS7之后，用户不需要去计算buffer/cache，即可以看到还有多少内存可用，更加简单直观。

buffers #缓存从磁盘读出的内容
cached #缓存需要写入磁盘的内容
当物理内存不够用的时候，内核会把非活跃的数据清空。

2. 通过/proc目录，查看非活跃的内存　　

/proc文件系统下的多种文件提供的系统信息不是针对某个特定进程的，而是能够在整个系统范围的上下文中使用。可以使用的文件随系统配置的变化而变化。　

[root@xen ~]# cat /proc/meminfo
MemTotal:      1720320 kB
MemFree:        909000 kB
Buffers:         41500 kB
Cached:         385016 kB
SwapCached:          0 kB
Active:         347340 kB  活跃内存，指进程一直读写的内存空间
Inactive:       346992 kB  非活跃内存
注：当内存不够用时，kernel总是把不活跃的内存交换到swap空间。如果inactive内存多时，加swap空间可以解决问题，而active多，则考虑加内存。
HighTotal:      981512 kB
HighFree:       318568 kB
LowTotal:       738808 kB

3.实战：找出系统中使用内存最多的进程？

方法一：使用top命令
　　运行top ， 然后按下大写的M 可以按内存使用率来排序显示

方法二：按照实际使用内存，从大到小排序显示所有进程列表
[root@xuegod63 ~]# ps -aux --sort -rss | more 内存降序排序(去掉减号就是升序)
或：
[root@xuegod63 ~]# ps -aux --sort -rss > a.log

四、查看IO运行状态相关工具，找出系统中对磁盘读写最多的进程

1、I/O调优相关查看工具

查看系统块大小 RHEL 6
[root@xuegod63 ~]# tune2fs -l /dev/sda1 | grep size
Filesystem features: has_journal ext_attr resize_inode dir_index filetype needs_recovery extent flex_bg sparse_super huge_file uninit_bg dir_nlink extra_isize
　　Block size: 1024 # 为1个字节 。 一个扇区512字节。

RHEL 7
[root@xuegod63 ~]# xfs_growfs -l /dev/sda1 |grep bsize
data = bsize=4096 blocks=51200, imaxpct=25
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal bsize=4096 blocks=855, version=2

2、找出系统中对磁盘读写最多的进程

实战：查看系统中哪个磁盘或分区最繁忙？
对于这个服务器，8块磁盘中，哪个硬盘最繁忙？哪个分区最繁忙？

通过iostat命令查看IO是否存在瓶颈

安装iostat：

[root@xuegod63 ~]# rpm -ivh /mnt/Packages/sysstat-10.1.5-12.el7.x86_64.rpm
常用参数：
-d 仅显示磁盘统计信息
-k 以K为单位显示每秒的磁盘请求数,默认单位块.
-p device | ALL 用于显示块设备及系统分区的统计信息.

[root@xuegod63 ~]# iostat -d -k -p /dev/sda
Linux 2.6.32-220.el6.x86_64 (xuegod63.cn) 	03/20/2017 	_x86_64_	(4 CPU)

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda               6.64       167.01        18.53     301418      33437
sda1              0.33         1.28         0.00       2317          9
sda2              6.03       164.53        18.52     296949      33428
sda3              0.18         0.80         0.00       1452          0
注：
每列含意：
kB_read/s   每秒从磁盘读入的数据量,单位为K.
kB_wrtn/s    每秒向磁盘写入的数据量,单位为K.
kB_read    读入的数据总量,单位为K.
kB_wrtn    写入的数据总量,单位为K.

测试： 给磁盘写入一些内容， 写入时尽可能不读磁盘？

[root@xuegod63 ~]# dd if=/dev/zero  of=a.txt bs=10M  count=1000;sync
读入的数据用/dev/zero ， /dev/zero不会读磁盘的。
sync  #把内存中的数据快速写到磁盘上。只做dd不执行sync，不容易看不出写入效果
这一招学到手：1

[root@xuegod63 ~]# iostat -p sda -dk
Linux 2.6.32-220.el6.x86_64 (xuegod63.cn) 	03/03/2017 	_x86_64_	(4 CPU)

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda               6.07       128.02       463.04     298190    1078577
sda1              0.25         0.99         0.00       2317          9
sda2              5.60       126.10       463.04     293721    1078568

五、查看系统整体运行状态　　

1、查看内存及系统整体运行状态：

vmstat ：命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值，包括服务器的CPU使用率，MEM内存使用，MSwap虚拟内存交换情况，IO读写情况。
使用vmstat可以看到整个机器的CPU，内存，IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率。 比top命令节省资源。
注：当机器运行比较慢时，建议大家使用vmstat查看运行状态，不需要使用top，因top使用资源比较多。

[root@xuegod70 ~]# vmstat
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  0    288 436628    656 454916    0    0     2    18   19   17  0  0 100  0  0

vmstat每个字段含义说明　　

类别	项目	含义	说明
Procs（进程）	r	等待执行的任务数	展示了正在执行和等待cpu资源的任务个数。当这个值超过了cpu个数，就会出现cpu瓶颈。
	B	等待IO的进程数量
Memory(内存)	swpd	正在使用虚拟的内存大小，单位k
	free	空闲内存大小
	buff	已用的buff大小，对块设备的读写进行缓冲
	cache	已用的cache大小，文件系统的cache
	inact	非活跃内存大小，即被标明可回收的内存，区别于free和active	具体含义见：概念补充（当使用-a选项时显示）
	active	活跃的内存大小	具体含义见：概念补充（当使用-a选项时显示）
Swap	si	每秒从交换区写入内存的大小（单位：kb/s）
	so	每秒从内存写到交换区的大小
IO	bi	每秒读取的块数（读磁盘）	现在的Linux版本块的大小为1024bytes
	bo	每秒写入的块数（写磁盘）
system	in	每秒中断数，包括时钟中断	这两个值越大，会看到由内核消耗的cpu时间会越多
	cs	每秒上下文切换数
CPU（以百分比表示）	Us	用户进程执行消耗cpu时间(user time)	us的值比较高时，说明用户进程消耗的cpu时间多，但是如果长期超过50%的使用，那么我们就该考虑优化程序算法或其他措施了
	Sy	系统进程消耗cpu时间(system time)	sys的值过高时，说明系统内核消耗的cpu资源多，这个不是良性的表现，我们应该检查原因。
	Id	空闲时间(包括IO等待时间)
	wa	等待IO时间	Wa过高时，说明io等待比较严重，这可能是由于磁盘大量随机访问造成的，也有可能是磁盘的带宽出现瓶颈。

　　

2、使用sar命令记录系统一段时间的运行状态

[root@xuegod63 ~]# rpm -ivh /mnt/Packages/sysstat-10.1.5-12.el7.x86_64.rpm
或：
[root@xuegod63 ~]# yum -y install sysstat

sysstat 工具包-----－可以把检查到的信息保存下来！ 存在/var/log/sa目录下，文件名为sa当前日期
sar 默认显示每１０分钟统计一次状态信息　（从装sysstat包开始）
sar 命令行的常用格式：
sar [options] [-A] [-o file] t [n]
在命令行中，n 和t 两个参数组合起来定义采样间隔和次数，t为采样间隔，是必须有的参数，n为采样次数，是可选的，默认值是1，-o file表示将命令结果以二进制格式存放在文件中，file 在此处不是关键字，是文件名。options 为命令行选项，sar命令的选项很多，下面只列出常用选项：
下面只列出常用选项：

-A：所有报告的总和。

• • • -n：网络接口的情况。
    • -u：CPU利用率
    • -v：进程、I节点、文件和锁表状态。
    • -d：硬盘使用报告。
    • -r：没有使用的内存页面和硬盘块。
    • -g：串口I/O的情况。
    • -b：缓冲区使用情况。
    • -a：文件读写情况。
    • -c：系统调用情况。
    • -R：进程的活动情况。
    • -y：终端设备活动情况。
    • -w：系统交换活动。
    • -o 文件名：打印到屏幕并将采样结果以二进制形式存入当前目录下的文件中。
    • -f 文件名：查看之前保存的二进制文件。
• -d 显示磁盘
• -d 1 100 必须得指定次数
• -c 每秒创建进程的个数
• -i 1 10 指定时间间隔
• -P 查看cpu
• -r 查看内存
• -w 每秒上下文切换次数

　　-o  /cpu.sar 保存并显示
　　-f  cpu.sar   读取

例一：使用命令行 sar -u t n
例如，每2秒采样一次，连续采样5次，观察CPU 的使用情况，并将采样结果以二进制形式存入当前目录下的文件cpu.sar中，需键入如下命令：

[root@xuegod63 ~]# sar -u 2 5 -o cpu.sar #屏幕显示以一下内容，同时内容也会写到cpu.sar中
Linux 2.6.32-220.el6.x86_64 (xuegod63.cn) 08/04/2015 _x86_64_	(4 CPU)

10:44:45 PM CPU %user %nice %system %iowait %steal %idle
10:44:47 PM all 0.14   0.00   2.34   0.14   0.00   97.39
10:44:49 PM all 1.08   0.00   1.33   0.36   0.00   97.23
10:44:51 PM all 2.54   0.00   2.16   0.00   0.00   95.29
10:44:53 PM all 0.25   0.00   1.52   0.13   0.00   98.10
10:44:55 PM all 1.52   0.00   1.65   0.28   0.00   96.56
Average: all 1.11   0.00   1.79   0.18   0.00   96.92

在显示内容包括：

• %usr：CPU处在用户模式下的时间百分比。
• %sys：CPU处在系统模式下的时间百分比。
• %wio：CPU等待输入输出完成时间的百分比。
• %idle：CPU空闲时间百分比。

　　在所有的显示中，我们应主要注意%wio和%idle，%wio的值过高，表示硬盘存在I/O瓶颈，%idle值高，表示CPU较空闲，如果%idle值高但系统响应慢时，有可能是CPU等待分配内存，此时应加大内存容量。%idle值如果持续低于10，那么系统的CPU处理能力相对较低，表明系统中最需要解决的资源是CPU。

实例2：查看二进制文件cpu.sar中的内容

[root@xuegod63 ~]# sar -u -f cpu.sar
Linux 2.6.32-220.el6.x86_64 (xuegod63.cn) 08/04/2015 _x86_64_	(4 CPU)

08:21:43 PM CPU %user %nice %system %iowait %steal %idle
08:21:45 PM all  0.00  0.00  0.72    2.03    0.00  97.25
08:21:47 PM all  0.00  0.00  0.60    0.00    0.00  99.40
08:21:49 PM all  0.13  0.00  0.75    0.00    0.00  99.12
08:21:51 PM all  0.00  0.00  0.75    0.00    0.00  99.25
08:21:53 PM all  0.12  0.00  0.75    0.00    0.00  99.13
注：sar命令即可以实时采样，又可以对以往的采样结果进行查询。

3、查看sar 的计划任务：

[root@xuegod63 ~]#vim  /etc/cron.d/sysstat
# Run system activity accounting tool every 10 minutes
# Run system activity accounting tool every 10 minutes
*/10 * * * * root /usr/lib64/sa/sa1 1 1
# 0 * * * * root /usr/lib64/sa/sa1 600 6 &
# Generate a daily summary of process accounting at 23:53
53 23 * * * root /usr/lib64/sa/sa2 -A

生成的日志位置：
# ls /var/log/sa

读取日志：
[root@xuegod63 ~]# ls /var/log/sa   #只要安装sar后就会定期收集系统信息
sa04  sa07  sa18
-n：网络接口的情况。
[root@xuegod63 ~]# sar -n DEV -f  /var/log/sa/sa04  #查看网络信息

# sar -r -f /var/log/sa/sa27
# sar -b -f /var/log/sa/sa27
# sar -f /var/log/sa/sa27

动态查看：
　　sar 1 #默认显示CPU状态，1秒显示一次
　　sar 1 10
　　sar -P 0 1 10

sar最大特点是可以监控所有状态
　　sar -r 1 查看内存
　　sar -n ALL 查看所有