cgroups简单使用

Cgroups控制系统资源的分配（cpu、mem、io）

1、cgroups概述

CGroup是Linux内核提供的可以限制、隔离进程组 (process groups) 所使用的物理资源 (如 cpu memory i/o 等等)。 全称是Control Groups，从2.6.24 内核引入，并不是全新创造的，而是将进程管理从 cpuset 中剥离出来。CGroups 是管理虚拟化资源手段。 CGroup 提供了一个虚拟文件系统，是进行分组管理和各子系统设置的接口。所以要使用 CGroup，必须挂载 CGroup 文件系统。通过挂载选项指定使用哪个子系统。

 

2、cgroup概念

任务（task）：任务就是系统的一个进程；
控制群（control
group）：控制群是一组按照某种标准划分的进程。Cgroup的资源控制都是以控制群为单位实现。一个进程可以加入到某个控制群，也可以迁移到另一个控制群。
层级（hierarchy）：控制群可以组织成 hierarchical 的树形式。控制群树上的子节点控制群是父节点控制群的孩子，继承父控制族群的特定的属性；
子系统（subsystem）：子系统是一个资源控制器，比如 cpu 子系统就是控制 cpu 时间分配的控制器。子系统必须附加（attach）到一个层级上才能起作用，一个子系统附加到某个层级以后，这个层级上的所有控制群都受到这个子系统的控制。

3、安装

操作系统：3.10.0-514.el7.x86_64

#yum
-y install  libcgroup
libcgroup-tools-0.41-11.el7.x86_64

启动：

#systemctl
start cgconfig

开机自启：

#systemctl
enable cgconfig

查看已经存在的子系统记挂载位置：

#lssubsys
–am

 

4、常用命令

cgclassify
–将运行的任务移动到一个或者多个cgroup，例如：cgclassify -g cpu:yy [pid]

cgclear
--删除层级中的所有cgroup。

cgconfigparser
--解析cgconfig.conf文件和并挂载层级。

cgcreate
-- cgcreate在层级中创建新cgroup。

cgdelete
-- cgdelete命令删除指定的cgroup。

cgexec
– 这个命令是cgroup启动的cgexec命令在指定的cgroup中运行任务。例如：cgexec -g
"blkio:foo" dd if=/dev/zero of=/dev/null &。如果不使用那就手动把进程号写入到tasks中吧。

cgget
-- cgget命令查看cgroup组里面设置的资源的限制。

cgrulesengd
--在
cgroup 中发布任务。

cgset
-- cgset 命令为
cgroup 设定参数。路径相对于根的/cgroup，如果想设置根的参数使用gset命令。

lscgroup
--命令列出层级中的 cgroup。

lssubsys
--命令列出包含指定子系统的层级,使用-am参数可以看到未挂载的所有子系统

5、cgroups限制io

限制io需要现确定两个因素：对那个pid（高io的那个进程，使用iotop –o查看，TID就是pid）；

2、限制读写的disk的设备编号（例如对/dev/sda,）

#
ls –l  /dev/sda

brw-rw----. 1 root disk 8, 0 11月 10 10:51 /dev/sda

8, 0 :8是主设备号，用于区分是那种类型的设备；0副设备号，用于区分同种类型设备的编号。

查看当前所有的子系统

#
lssubsys –am

cpuset
/sys/fs/cgroup/cpuset

cpu,cpuacct
/sys/fs/cgroup/cpu,cpuacct

memory
/sys/fs/cgroup/memory

devices
/sys/fs/cgroup/devices

freezer
/sys/fs/cgroup/freezer

net_cls,net_prio
/sys/fs/cgroup/net_cls,net_prio

blkio
/sys/fs/cgroup/blkio

perf_event
/sys/fs/cgroup/perf_event

hugetlb
/sys/fs/cgroup/hugetlb

pids
/sys/fs/cgroup/pids

找到bklio，及它的挂载目录。

创建新的group，进行io限制

可以提前使用一个命令先占用系统io，仅限于测试：

#
dd if=/dev/sda of=/dev/null &

使用iotop –o 查看当前的DISK READ的值：

可以看到是600多，

#mkdir
/sys/fs/cgroup/blkio/spark

#cd
/sys/fs/cgroup/blkio/spark

#echo
'8:0 10485760' > blkio.throttle.read_bps_device
#echo '8:0 10485760' > blkio.throttle.write_bps_device

暂时设置这几个值就够用了，10485760是字节数，即表示的是10M左右，根据自己的情况设置这个值。

最后将pid写入到spark目录下的tasks文件：

#
echo 2735 > tasks

启动服务：

#systemctl
start cgconfig

Total DISK READ :         0.00 B/s | Total DISK WRITE :       0.00 B/s

Actual DISK READ:       0.00 B/s | Actual DISK WRITE:       0.00 B/s

TID 
PRIO  USER     DISK READ 
DISK WRITE  SWAPIN     IO>   
COMMAND

2735  be/4  root  11.67M/s   0.00
B/s     0.00%   97.70% 
dd if=/dev/sda of=/dev/null &