使用 sar 和 kSar 来发现 Linux 性能瓶颈
sar
命令用用收集、报告、或者保存 UNIX / Linux 系统的活动信息。它保存选择的计数器到操作系统的 /var/log/sa/sadd
文件中。从收集的数据中,你可以得到许多关于你的服务器的信息:
- CPU 使用率
- 内存页面和使用率
- 网络 I/O 和传输统计
- 进程创建活动
- 所有的块设备活动
- 每秒中断数等等
sar
命令的输出能够用于识别服务器瓶颈。但是,分析 sar
命令提供的信息可能比较困难,所以要使用 kSar 工具。kSar 工具可以将 sar
命令的输出绘制成基于时间周期的、易于理解的图表。
sysstat 包
sar
、sa1
、和 sa2
命令都是 sysstat 包的一部分。它是 Linux 包含的性能监视工具集合。
sar
:显示数据sa1
和sa2
:收集和保存数据用于以后分析。sa2
shell 脚本在/var/log/sa
目录中每日写入一个报告。sa1
shell 脚本将每日的系统活动信息以二进制数据的形式写入到文件中。- sadc —— 系统活动数据收集器。你可以通过修改
sa1
和sa2
脚本去配置各种选项。它们位于以下的目录:/usr/lib64/sa/sa1
(64 位)或者/usr/lib/sa/sa1
(32 位) —— 它调用sadc
去记录报告到/var/log/sa/sadX
格式。/usr/lib64/sa/sa2
(64 位)或者/usr/lib/sa/sa2
(32 位) —— 它调用sar
去记录报告到/var/log/sa/sarX
格式。
如何在我的系统上安装 sar?
在一个基于 CentOS/RHEL 的系统上,输入如下的 yum 命令 去安装 sysstat:
# yum install sysstat
示例输出如下:
Loaded plugins: downloadonly, fastestmirror, priorities,
: protectbase, security
Loading mirror speeds from cached hostfile
* addons: mirror.cs.vt.edu
* base: mirror.ash.fastserv.com
* epel: serverbeach1.fedoraproject.org
* extras: mirror.cogentco.com
* updates: centos.mirror.nac.net
0 packages excluded due to repository protections
Setting up Install Process
Resolving Dependencies
--> Running transaction check
---> Package sysstat.x86_64 0:7.0.2-3.el5 set to be updated
--> Finished Dependency Resolution
Dependencies Resolved
====================================================================
Package Arch Version Repository Size
====================================================================
Installing:
sysstat x86_64 7.0.2-3.el5 base 173 k
Transaction Summary
====================================================================
Install 1 Package(s)
Update 0 Package(s)
Remove 0 Package(s)
Total download size: 173 k
Is this ok [y/N]: y
Downloading Packages:
sysstat-7.0.2-3.el5.x86_64.rpm | 173 kB 00:00
Running rpm_check_debug
Running Transaction Test
Finished Transaction Test
Transaction Test Succeeded
Running Transaction
Installing : sysstat 1/1
Installed:
sysstat.x86_64 0:7.0.2-3.el5
Complete!
为 sysstat 配置文件
编辑 /etc/sysconfig/sysstat
文件去指定日志文件保存多少天(最长为一个月):
# vi /etc/sysconfig/sysstat
示例输出如下 :
# keep log for 28 days
# the default is 7
HISTORY=28
保存并关闭这个文件。
找到 sar 默认的 cron 作业
默认的 cron 作业位于 /etc/cron.d/sysstat
:
# cat /etc/cron.d/sysstat
示例输出如下:
# run system activity accounting tool every 10 minutes
*/10 * * * * root /usr/lib64/sa/sa1 1 1
# generate a daily summary of process accounting at 23:53
53 23 * * * root /usr/lib64/sa/sa2 -A
告诉 sadc 去报告磁盘的统计数据
使用一个文本编辑器去编辑 /etc/cron.d/sysstat
文件,比如使用 vim
命令,输入如下:
# vi /etc/cron.d/sysstat
像下面的示例那样更新这个文件,以记录所有的硬盘统计数据(-d
选项强制记录每个块设备的统计数据,而 -I
选项强制记录所有系统中断的统计数据):
# run system activity accounting tool every 10 minutes
*/10 * * * * root /usr/lib64/sa/sa1 -I -d 1 1
# generate a daily summary of process accounting at 23:53
53 23 * * * root /usr/lib64/sa/sa2 -A
在 CentOS/RHEL 7.x 系统上你需要传递 -S DISK
选项去收集块设备的数据。传递 -S XALL
选项去采集如下所列的数据:
- 磁盘
- 分区
- 系统中断
- SNMP
- IPv6
# Run system activity accounting tool every 10 minutes
*/10 * * * * root /usr/lib64/sa/sa1 -S DISK 1 1
# 0 * * * * root /usr/lib64/sa/sa1 600 6 &
# Generate a daily summary of process accounting at 23:53
53 23 * * * root /usr/lib64/sa/sa2 -A
# Run system activity accounting tool every 10 minutes
保存并关闭这个文件。
打开 CentOS/RHEL 版本 5.x/6.x 的服务
输入如下命令:
chkconfig sysstat on
service sysstat start
示例输出如下:
Calling the system activity data collector (sadc):
对于 CentOS/RHEL 7.x,运行如下的命令:
# systemctl enable sysstat
# systemctl start sysstat.service
# systemctl status sysstat.service
示例输出:
● sysstat.service - Resets System Activity Logs
Loaded: loaded (/usr/lib/systemd/system/sysstat.service; enabled; vendor preset: enabled)
Active: active (exited) since Sat 2018-01-06 16:33:19 IST; 3s ago
Process: 28297 ExecStart=/usr/lib64/sa/sa1 --boot (code=exited, status=0/SUCCESS)
Main PID: 28297 (code=exited, status=0/SUCCESS)
Jan 06 16:33:19 centos7-box systemd[1]: Starting Resets System Activity Logs...
Jan 06 16:33:19 centos7-box systemd[1]: Started Resets System Activity Logs.
如何使用 sar?如何查看统计数据?
使用 sar
命令去显示操作系统中选定的累积活动计数器输出。在这个示例中,运行 sar
命令行,去实时获得 CPU 使用率的报告:
# sar -u 3 10
示例输出:
Linux 2.6.18-164.2.1.el5 (www-03.nixcraft.in) 12/14/2009
09:49:47 PM CPU %user %nice %system %iowait %steal %idle
09:49:50 PM all 5.66 0.00 1.22 0.04 0.00 93.08
09:49:53 PM all 12.29 0.00 1.93 0.04 0.00 85.74
09:49:56 PM all 9.30 0.00 1.61 0.00 0.00 89.10
09:49:59 PM all 10.86 0.00 1.51 0.04 0.00 87.58
09:50:02 PM all 14.21 0.00 3.27 0.04 0.00 82.47
09:50:05 PM all 13.98 0.00 4.04 0.04 0.00 81.93
09:50:08 PM all 6.60 6.89 1.26 0.00 0.00 85.25
09:50:11 PM all 7.25 0.00 1.55 0.04 0.00 91.15
09:50:14 PM all 6.61 0.00 1.09 0.00 0.00 92.31
09:50:17 PM all 5.71 0.00 0.96 0.00 0.00 93.33
Average: all 9.24 0.69 1.84 0.03 0.00 88.20
其中:
- 3 表示间隔时间
- 10 表示次数
查看进程创建的统计数据,输入:
# sar -c 3 10
查看 I/O 和传输率统计数据,输入:
# sar -b 3 10
查看内存页面统计数据,输入:
# sar -B 3 10
查看块设备统计数据,输入:
# sar -d 3 10
查看所有中断的统计数据,输入:
# sar -I XALL 3 10
查看网络设备特定的统计数据,输入:
# sar -n DEV 3 10
# sar -n EDEV 3 10
查看 CPU 特定的统计数据,输入:
# sar -P ALL
# Only 1st CPU stats
# sar -P 1 3 10
查看队列长度和平均负载的统计数据,输入:
# sar -q 3 10
查看内存和交换空间的使用统计数据,输入:
# sar -r 3 10
# sar -R 3 10
查看 inode、文件、和其它内核表统计数据状态,输入:
# sar -v 3 10
查看系统切换活动统计数据,输入:
# sar -w 3 10
查看交换统计数据,输入:
# sar -W 3 10
查看一个 PID 为 3256 的 Apache 进程,输入:
# sar -x 3256 3 10
kSar 介绍
sar
和 sadf
提供了基于命令行界面的输出。这种输出可能会使新手用户/系统管理员感到无从下手。因此,你需要使用 kSar,它是一个图形化显示你的 sar
数据的 Java 应用程序。它也允许你以 PDF/JPG/PNG/CSV 格式导出数据。你可以用三种方式去加载数据:本地文件、运行本地命令、以及通过 SSH 远程运行的命令。kSar 可以处理下列操作系统的 sar
输出:
- Solaris 8, 9 和 10
- Mac OS/X 10.4+
- Linux (Systat Version >= 5.0.5)
- AIX (4.3 & 5.3)
- HPUX 11.00+
下载和安装 kSar
访问 官方 网站去获得最新版本的源代码。使用 wget 去下载源代码,输入:
$ wget https://github.com/vlsi/ksar/releases/download/v5.2.4-snapshot-652bf16/ksar-5.2.4-SNAPSHOT-all.jar
如何运行 kSar?
首先要确保你的机器上 JAVA jdk 已安装并能够正常工作。输入下列命令去启动 kSar:
$ java -jar ksar-5.2.4-SNAPSHOT-all.jar
kSar welcome screen
接下来你将看到 kSar 的主窗口,和有两个菜单的面板。
kSar - the main window
左侧有一个列表,是 kSar 根据数据已经解析出的可用图表的列表。右侧窗口将展示你选定的图表。
如何使用 kSar 去生成 sar 图表?
首先,你需要从命名为 server1 的服务器上采集 sar
命令的统计数据。输入如下的命令:
[ server1 ]# LC_ALL=C sar -A > /tmp/sar.data.txt
接下来,使用 scp
命令从本地桌面拷贝到远程电脑上:
[ desktop ]$ scp user@server1.nixcraft.com:/tmp/sar.data.txt /tmp/
切换到 kSar 窗口,点击 “Data” > “Load data from text file” > 从 /tmp/
中选择 sar.data.txt
> 点击 “Open” 按钮。
现在,图表类型树已经出现在左侧面板中并选定了一个图形:
Linux kSar Processes for server1
Linux Disk I/O Stats Using kSar
Linux Memory paging and its utilization stats
放大和缩小
通过移动你可以交互式缩放图像的一部分。在要缩放的图像的左上角点击并按下鼠标,移动到要缩放区域的右下角,可以选定要缩放的区域。返回到未缩放状态,点击并拖动鼠标到除了右下角外的任意位置,你也可以点击并选择 zoom 选项。
了解 kSar 图像和 sar 数据
我强烈建议你去阅读 sar
和 sadf
命令的 man 页面:
$ man sar
$ man sadf
案例学习:识别 Linux 服务器的 CPU 瓶颈
使用 sar
命令和 kSar 工具,可以得到内存、CPU、以及其它子系统的详细快照。例如,如果 CPU 使用率在一个很长的时间内持续高于 80%,有可能就是出现了一个 CPU 瓶颈。使用 sar -x ALL
你可以找到大量消耗 CPU 的进程。
mpstat 命令 的输出(sysstat 包的一部分)也会帮你去了解 CPU 的使用率。但你可以使用 kSar 很容易地去分析这些信息。
找出 CPU 瓶颈后 …
对 CPU 执行如下的调整:
- 确保没有不需要的进程在后台运行。关闭 Linux 上所有不需要的服务。
- 使用 cron 在一个非高峰时刻运行任务(比如,备份)。
- 使用 top 和 ps 命令 去找出所有非关键的后台作业/服务。使用 renice 命令 去调整低优先级作业。
- 使用 taskset 命令去设置进程使用的 CPU(卸载所使用的 CPU),即,绑定进程到不同的 CPU 上。例如,在 2# CPU 上运行 MySQL 数据库,而在 3# CPU 上运行 Apache。
- 确保你的系统使用了最新的驱动程序和固件。
- 如有可能在系统上增加额外的 CPU。
- 为单线程应用程序使用更快的 CPU(比如,Lighttpd web 服务器应用程序)。
- 为多线程应用程序使用多个 CPU(比如,MySQL 数据库服务器应用程序)。
- 为一个 web 应用程序使用多个计算节点并设置一个 负载均衡器。
isag —— 交互式系统活动记录器(替代工具)
isag
命令图形化显示了以前运行 sar
命令时存储在二进制文件中的系统活动数据。isag
命令引用 sar
并提取出它的数据来绘制图形。与 kSar 相比,isag
的选项比较少。
Fig.06: isag CPU utilization graphs
关于作者
本文作者是 nixCraft 的创始人和一位经验丰富的 Linux 操作系统/Unix shell 脚本培训师。他与包括 IT、教育、国防和空间研究、以及非营利组织等全球各行业客户一起合作。可以在 Twitter、Facebook、Google+ 上关注他。
via: https://www.cyberciti.biz/tips/identifying-linux-bottlenecks-sar-graphs-with-ksar.html
使用 sar 和 kSar 来发现 Linux 性能瓶颈的更多相关文章
- 应用 Valgrind 发现 Linux 程序的内存问题
如何定位应用程序开发中的内存问题,一直是 inux 应用程序开发中的瓶颈所在.有一款非常优秀的 linux 下开源的内存问题检测工具:valgrind,能够极大的帮助你解决上述问题.掌握 valgri ...
- 应用 Valgrind 发现 Linux 程序的内存问题(转)
Valgrind 概述 体系结构 Valgrind 是一套Linux下,开放源代码(GPL V2)的仿真调试工具的集合.Valgrind由内核(core)以及基于内核的其他调试工具组成.内核类似于一个 ...
- 发现linux主机再用代理上网的情况下不能用wget从外网下载资源
公司禁网(也不是完全禁,能连接外网数据库,不能下载东西,不能打开网页,但是却能打开谷歌的收索页面,只是不能点进网页) 发现linux主机再用代理上网的情况下不能用wget从外网下载资源,但是却可以从内 ...
- [转载]应用 Valgrind 发现 Linux 程序的内存问题
应用 Valgrind 发现 Linux 程序的内存问题 如何定位应用程序开发中的内存问题,一直是 inux 应用程序开发中的瓶颈所在.有一款非常优秀的 linux 下开源的内存问题检测工具:valg ...
- 应用 Valgrind 发现 Linux 程序的内存问题及交叉编译for arm
Valgrind 概述 体系结构 Valgrind是一套Linux下,开放源代码(GPL V2)的仿真调试工具的集合.Valgrind由内核(core)以及基于内核的其他调试工具组成.内核类似于一个框 ...
- 【Linux】Linux 性能瓶颈阈值分析
Linux系统资源包括:CPU.IO(磁盘和网络).内存等 利用率达到三个阶段时: 1)50% 引起注意 2)70% 密切关注 3)90% 严重情况 vmstat.sar.iostat.mpstat. ...
- linux学习(5):linux 性能瓶颈排查
作为开发人员,肯定遇到过以下场景,应用突然卡住了,或者异常退出,cpu占用过高等各种异常情况,一般遇到这些异常情况,该如何去查找具体原因呢? linux和jdk提供了一些命令和工具来查看内存.cpu. ...
- linux性能瓶颈排查--内存+cpu+网络+磁盘+应用瓶颈
概述 作为运维人员,肯定遇到过以下场景,应用突然卡住了,或者异常退出,cpu占用过高等各种异常情况,一般遇到这些异常情况,该如何去查找具体原因呢? linux和jdk提供了一些命令和工具来查看内存.c ...
- 发现linux shell中$0,$?,$!等的特殊用法
记录下linux shell下的特殊用法及参数的说明 变量说明: $$ Shell本身的PID(ProcessID) $! Shell最后运行的后台Process的PID $? 最后运行的命令的结束代 ...
随机推荐
- 一个非常好用的图片切割工具(c# winform开发)
本人业余时间开发了一个图片切割工具,非常好用,也很灵活! 特别对大型图片切割,更能体现出该软件的优势! 功能说明 可以设定切割的高度和宽度.切割线可以上下拖动,可以增加一个切割区域,可设定某个区域不参 ...
- Chapter 3 Phenomenon——6
A low oath made me aware that someone was with me, and the voice was impossible not to recognize. 某人 ...
- Java SPI机制和使用示例
JAVA SPI 简介 SPI 是 Java 提供的一种服务加载方式,全名为 Service Provider Interface.根据 Java 的 SPI 规范,我们可以定义一个服务接口,具体的实 ...
- Java虚拟机(二):JVM内存模型
所有的Java开发人员可能会遇到这样的困惑?我该为堆内存设置多大空间呢?OutOfMemoryError的异常到底涉及到运行时数据的哪块区域?该怎么解决呢?其实如果你经常解决服务器性能问题,那么这些问 ...
- centos7设置SSH安全策略–指定IP登陆
之前自己搭建了个博客网站(理想三旬),写了些文章,但是由于一些原因慢慢将文章放在博客园了.所以这里将一些文章复制过来.便于以后自己查询. 为了服务器的安全性,我们在日常使用需要授予权限和指定ip登陆来 ...
- Hadoop MapReduce流程及容错
shuffle流程 输入分片(input split):在进行map计算之前,mapreduce会根据输入文件计算输入分片(input split),每个输入分片(input split)针对一个ma ...
- 虚拟化明星——深挖轻量级容器docker
docker是一个轻量级容器,属于操作系统层面的虚拟化技术,封装了文件系统(AUFS)以及网络互联,进程隔离等特性. 传统虚拟化架构: docker虚拟化架构: 可以看出,docker是没有Guest ...
- 在C#中使用依赖注入
依赖注入(Dependency Injection,缩写为DI)是一种实现(Inversion of Control,缩写为IoC)的方法.在编写C#代码时,使用这种方法能够解决一些场景的需求.本系列 ...
- web前端--实现前后端分离的心得
1.实现前后端分离的心得 2.前后端分离实践 3.谈谈前后端的分工协作 4.从MVC到前后端分离(REST-个人也认为是目前比较流行和比较好的方式) 4.1.REST风格框架实战:从MVC到前后端分离 ...
- JavaScript 函数全局变量定义
在 JavaScript 中, 作用域 影响着变量的作用范围.在函数外定义的变量具有 全局 作用域.这意味着,具有全局作用域的变量可以在代码的任何地方被调用. 没有使用var关键字定义的变量,会被自动 ...