看看CGroup如何控制cpu，内存，io

cgroup介绍

cgroup是control group的简称，它为Linux内核提供了一种任务聚集和划分的机制，通过一组参数集合将一些任务组织成一个或多个子系统。

Cgroups是control groups的缩写，最初由Google工程师提出，后来编进linux内核。

Cgroups是实现IaaS虚拟化(kvm、lxc等)，PaaS容器沙箱(Docker等)的资源管理控制部分的底层基础

子系统是根据cgroup对任务的划分功能将任务按照一种指定的属性划分成的一个组，主要用来实现资源的控制。在cgroup中，划分成的任务组以层次结构的形式组织，多个子系统形成一个数据结构中类似多根树的结构。cgroup包含了多个孤立的子系统，每一个子系统代表单一的资源，目前，redhat默认支持10个子系统，但默认只挂载了8个子系统，ubuntu 12.04 默认支持8个子系统，但默认只挂载了5个子系统。

cgroup子系统介绍

当然也用户可以自定义子系统并进行挂载。

下面对每一个子系统进行简单的介绍：

  1. blkio 设置限制每个块设备的输入输出控制。例如:磁盘，光盘以及usb等等。
  2. cpu 使用调度程序为cgroup任务提供cpu的访问。
  3. cpuacct 产生cgroup任务的cpu资源报告。
  4. cpuset 如果是多核心的cpu，这个子系统会为cgroup任务分配单独的cpu和内存。
  5. devices 允许或拒绝cgroup任务对设备的访问。
  6. freezer 暂停和恢复cgroup任务。
  7. memory 设置每个cgroup的内存限制以及产生内存资源报告。
  8. net_cls 标记每个网络包以供cgroup方便使用。
  9. ns 名称空间子系统。
  10. perf_event 增加了对每group的监测跟踪的能力，即可以监测属于某个特定的group的所有线程以及             运行在特定CPU上的线程，此功能对于监测整个group非常有用，具体参见 http://lwn.net/Articles/421574/

libcgroup工具安装

以Centos 6.4为例

yum install libcgroup

service cgconfig start   #开启cgroups服务

chkconfig cgconfig on   #开机启动

[root@localhost /]# ls /cgroup/
blkio  cpu  cpuacct  cpuset  devices  freezer  memory  net_cls

cgroup启动时，会读取配置文件/etc/cgconfig.conf的内容，根据其内容创建和挂载指定的cgroup子系统。

cgroup配置文件分析

/etc/cgconfig.conf是cgroup配置工具libcgroup用来进行cgroup组的定义，参数设定以及挂载点定义的配置文件，

主要由mount和group两个section构成。

（1）mount section的语法格式如下：

mount {
    <controller> = <path>;
    ...
}
#########################################
# controller：内核子系统的名称
# path：该子系统的挂载点
#########################################
举个例子：

mount {
    cpuset = /cgroup/red;
}
上面定义相当于如下shell指令：

mkdir /cgroup/red
mount -t cgroup -o cpuset red /cgroup/red

（2）group section的语法格式如下：

group <name> {
    [<permissions>]
    <controller> {
        <param name> = <param value>;
        …
    }
    …
}
################################################################################
## name: 指定cgroup的名称
## permissions：可选项，指定cgroup对应的挂载点文件系统的权限，root用户拥有所有权限。
## controller：子系统的名称
## param name 和 param value：子系统的属性及其属性值
#################################################################################
举个例子：

mount {  ## 定义需要创建的cgroup子系统及其挂载点，这里创建cpu与cpuacct（统计）两个cgroup子系统
	cpu = /mnt/cgroups/cpu;
	cpuacct = /mnt/cgroups/cpu;
}

group daemons/www { ## 定义daemons/www(web服务器进程)组
	perm {      ## 定义这个组的权限
		task {
			uid = root;
			gid = webmaster;
                }
                admin {
                	uid = root;
                        gid = root;
                }
            }

        cpu {      ## 定义cpu子系统的属性及其值，即属于词组的任务的权重为1000
        	cpu.shares = 1000;
            }
}

group daemons/ftp { ## 定义daemons/ftp(ftp进程)组
	perm {
		task {
			uid = root;
			gid = ftpmaster;
                     }
		admin {
		uid = root;
		gid = root;
		}
	}
        cpu {  ## 定义词组的任务的权重为500
        	cpu.shares = 500;
        }
}
上面配置文件定义相当于执行了如下shell命令：

mkdir /mnt/cgroups/cpu
mount -t cgroup -o cpu,cpuacct cpu /mnt/cgroups/cpu
mkdir /mnt/cgroups/cpu/daemons
mkdir /mnt/cgroups/cpu/daemons/www
chown root:root /mnt/cgroups/cpu/daemons/www/*
chown root:webmaster /mnt/cgroups/cpu/daemons/www/tasks
echo 1000 > /mnt/cgroups/cpu/daemons/www/cpu.shares
mkdir /mnt/cgroups/cpu/daemons/ftp
chown root:root /mnt/cgroups/cpu/daemons/ftp/*
chown root:ftpmaster /mnt/cgroups/cpu/daemons/ftp/tasks
echo 500 > /mnt/cgroups/cpu/daemons/ftp/cpu.shares

对于虚拟机VM，应用沙盒，cgroups技术选型比较

cgroups资源控制

cgroups管理进程cpu资源

跑一个耗cpu的脚本

x=0

while [ True ];do

x=$x+1

done;

top可以看到这个脚本基本占了100%的cpu资源

PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND

30142 root      20   0  104m 2520 1024 R 99.7  0.1  14:38.97 sh

下面用cgroups控制这个进程的cpu资源

mkdir -p /cgroup/cpu/foo/   #新建一个控制组foo

echo 50000 > /cgroup/cpu/foo/cpu.cfs_quota_us  #将cpu.cfs_quota_us设为50000，相对于cpu.cfs_period_us的100000是50%

echo 30142 > /cgroup/cpu/foo/tasks

然后top的实时统计数据如下，cpu占用率将近50%，看来cgroups关于cpu的控制起了效果

PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                         30142 root      20   0  105m 2884 1024 R 49.4  0.2  23:32.53 sh

cpu控制组foo下面还有其他的控制，还可以做更多其他的关于cpu的控制

[[email protected] ~]# ls /cgroup/cpu/foo/

cgroup.event_control  cgroup.procs  cpu.cfs_period_us  cpu.cfs_quota_us  cpu.rt_period_us  cpu.rt_runtime_us  cpu.shares  cpu.stat  notify_on_release  tasks

cgroups管理进程内存资源

跑一个耗内存的脚本，内存不断增长

x="a"

while [ True ];do

x=$x$x

done;

top看内存占用稳步上升

PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                         30215 root      20   0  871m 501m 1036 R 99.8 26.7   0:38.69 sh

30215 root      20   0 1639m 721m 1036 R 98.7 38.4   1:03.99 sh

30215 root      20   0 1639m 929m 1036 R 98.6 49.5   1:13.73 sh

下面用cgroups控制这个进程的内存资源

mkdir -p /cgroup/memory/foo

echo 1048576 >  /cgroup/memory/foo/memory.limit_in_bytes   #分配1MB的内存给这个控制组

echo 30215 > /cgroup/memory/foo/tasks

发现之前的脚本被kill掉

[[email protected] ~]# sh /home/memory.sh

已杀死

因为这是强硬的限制内存，当进程试图占用的内存超过了cgroups的限制，会触发out of memory，导致进程被kill掉。

实际情况中对进程的内存使用会有一个预估，然后会给这个进程的限制超配50%比如，除非发生内存泄露等异常情况，才会因为cgroups的限制被kill掉。

也可以通过配置关掉cgroups oom kill进程，通过memory.oom_control来实现（oom_kill_disable 1），但是尽管进程不会被直接杀死，但进程也进入了休眠状态，无法继续执行，仍让无法服务。

关于内存的控制，还有以下配置文件，关于虚拟内存的控制，以及权值比重式的内存控制等

[[email protected] /]# ls /cgroup/memory/foo/

cgroup.event_control  memory.force_empty         memory.memsw.failcnt

memory.memsw.usage_in_bytes      memory.soft_limit_in_bytes  memory.usage_in_bytes  tasks

cgroup.procs          memory.limit_in_bytes      memory.memsw.limit_in_bytes

memory.move_charge_at_immigrate  memory.stat                 memory.use_hierarchy

memory.failcnt        memory.max_usage_in_bytes  memory.memsw.max_usage_in_bytes

memory.oom_control               memory.swappiness           notify_on_release

cgroups管理进程io资源

跑一个耗io的脚本

dd if=/dev/sda of=/dev/null &

通过iotop看io占用情况，磁盘速度到了284M/s

30252 be/4 root      284.71 M/s    0.00 B/s  0.00 %  0.00 % dd if=/dev/sda of=/dev/null

下面用cgroups控制这个进程的io资源

mkdir -p /cgroup/blkio/foo

echo ‘8:0   1048576‘ >  /cgroup/blkio/foo/blkio.throttle.read_bps_device

#8:0对应主设备号和副设备号，可以通过ls -l /dev/sda查看

echo 30252 > /cgroup/blkio/foo/tasks

再通过iotop看，确实将读速度降到了1M/s

30252 be/4 root      993.36 K/s    0.00 B/s  0.00 %  0.00 % dd if=/dev/sda of=/dev/null

对于io还有很多其他可以控制层面和方式，如下

[[email protected] ~]# ls /cgroup/blkio/foo/

blkio.io_merged         blkio.io_serviced      blkio.reset_stats

blkio.throttle.io_serviced       blkio.throttle.write_bps_device   blkio.weight          cgroup.procs

blkio.io_queued         blkio.io_service_time  blkio.sectors

blkio.throttle.read_bps_device   blkio.throttle.write_iops_device  blkio.weight_device   notify_on_release

blkio.io_service_bytes  blkio.io_wait_time     blkio.throttle.io_service_bytes

blkio.throttle.read_iops_device  blkio.time                        cgroup.event_control  tasks

时间： 2024-10-17 06:44:07

看看CGroup如何控制cpu，内存，io的相关文章

cgroup介绍、安装和控制cpu，内存，io示例

cgroup介绍 cgroup是control group的简称,它为Linux内核提供了一种任务聚集和划分的机制,通过一组参数集合将一些任务组织成一个或多个子系统. Cgroups是control groups的缩写,最初由Google工程师提出,后来编进linux内核. Cgroups是实现IaaS虚拟化(kvm.lxc等),PaaS容器沙箱(Docker等)的资源管理控制部分的底层基础 子系统是根据cgroup对任务的划分功能将任务按照一种指定的属性划分成的一个组,主要用来实现资源的控制.

VPS性能测试:CPU内存,硬盘IO读写,带宽速度,UnixBench和压力测试

现在便宜的VPS主机越来越多了,一些美国的VPS主机甚至给出1美元一月的VPS,堪比虚拟主机还要便宜,巨大的价格优势吸引不少人购买和使用,而近些年来国内的主机商也开始意识到便宜的VPS对草根站长的诱惑力,纷纷推出了低价VPS,其中突出的代表就是阿里云. 所谓“一分钱一分货”,把VPS当成虚拟主机来卖的如果不是做慈善事业就是超售严重,买回来的VPS到底值不值这个价钱,我们一般需要对VPS主机进行一番性能测试,涉及的项目主要有CPU内存,硬盘IO读写,带宽速度,UnixBench和压力测试等等. 本

Linux资源控制-CPU和内存

主要介绍Linux下, 如果对进程的CPU和内存资源的使用情况进行控制的方法. CPU资源控制 每个进程能够占用CPU多长时间, 什么时候能够占用CPU是和系统的调度密切相关的. Linux系统中有多种调度策略, 各种调度策略有其适用的场景, 也很难说哪种调度策略是最优的. Linux的调度策略可以参见代码: include/linux/sched.h /* * Scheduling policies */ #define SCHED_NORMAL 0 #define SCHED_FIFO 1

linux cpu和IO优化

系统优化是一项复杂.繁琐.长期的工作,优化前需要监测.采集.测试.评估,优化后也需要测试.采集.评估.监测,而且是一个长期和持续的过程,不 是说现在优化了,测试了,以后就可以一劳永逸了,也不是说书本上的优化就适合眼下正在运行的系统,不同的系统.不同的硬件.不同的应用优化的重点也不同. 优化的方法也不同.优化的参数也不同.性能监测是系统优化过程中重要的一环,如果没有监测.不清楚性能瓶颈在哪里,怎么优化呢?所以找到性能 瓶颈是性能监测的目的,也是系统优化的关键.系统由若干子系统构成,通常修改一个子系

76.ZYNQ-用PS控制DDR3内存读写

本编文章的目的主要用简明的方法对DDR3进行读写,当然这种方式每次读写都需要CPU干预,效率是比较低的,但是这是学习的过程吧. 本系列文章尽可能的让每一个实验都相对独立,过程尽可能保证完整性,保证实验的可重现性. 但是用到的模块或者IP的具体作用和用法不保证都重复详细的介绍. 本文所使用的开发板是兼容zedboardPC 开发环境版本:Vivado 2015.4 Xilinx SDK 2015.4 生成硬件系统 新建vivado工程 选择Zedboard 新建Block Design 添加ZYN

linux性能优化cpu 磁盘IO MEM

系统优化是一项复杂.繁琐.长期的工作,优化前需要监测.采集.测试.评估,优化后也需要测试.采集.评估.监测,而且是一个长期和持续的过程,不 是说现在优化了,测试了,以后就可以一劳永逸了,也不是说书本上的优化就适合眼下正在运行的系统,不同的系统.不同的硬件.不同的应用优化的重点也不同. 优化的方法也不同.优化的参数也不同.性能监测是系统优化过程中重要的一环,如果没有监测.不清楚性能瓶颈在哪里,怎么优化呢?所以找到性能 瓶颈是性能监测的目的,也是系统优化的关键.系统由若干子系统构成,通常修改一个子系

Linux 查看机器配置,及cpu/内存/硬盘使用率

Linux下怎样查看机器配置啊?cpu/内存/硬盘 dmesg显示开机信息.kernel会将开机信息存储在ring buffer中.您若是开机时来不及查看信息,可利用dmesg来查看.开机信息亦保存在/var/log目录中,名称为dmesg的文件里 dmesg|grep hd硬盘dmesg|grep cpucpudmesg|grep proc内存dmesg|grep redhat操作系统dmesg|more更多信息uname -a操作系统版本 查看linux cpu和内存利用率2008-07-1

一、系统基础信息模块（cpu,内存,ip,dns)模块

一.系统基础信息模块(cpu,内存,ip,dns)模块 1.系统性能信息模块psutil a.(cpu信息) # yum -y install python-devel # wget https://pypi.python.org/packages/source/p/psutil/psutil-2.0.0.tar.gz --no-check-certificate # tar -zxvf psutil-2.0.0.tar.gz # cd psutil-2.0.0.tar.gz # python

FreeBSD 查看服务器 cpu 内存使用情况

最近在公司接到一个freebsd的项目,主要是移植,中间涉及到freebsd中查看cpu占用率,内存的使用率等,查了一下,使用vmstat命令,粘贴一个博文:http://www.demix.cn/h?z=28618 vmstat查看FreeBSD服务器的内存使用情况   在FreeBSD里运行vmstat命令执行结果如下: # vmstatprocs memory page disk faults cpur b w avm fre flt re pi po fr sr ad0 in sy cs