（四）docker容器资源配额控制之cpu

1、Cgroup简介

docker通过cgroup来控制容器使用的资源配额，包括CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。

cgroup 概述：

cgroup 是Control Groups 的缩写，是Linux内核提供的一种可以限制、记录、隔离进程组使用的物理资源（如：cpu、memory、磁盘IO等等）的机制，被LXC、docker等很多项目用于实现进程资源控制。cgroup将任意进程进行分组化管理的Linux内核功能。cgroup本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O或内存的分配控制等具体的资源管理功能时通过这个功能来实现的。

为什么要进行硬件配额？

当多个容器运行时，防止某容器把所有硬件都占用了。（比如一台被黑的容器，有可能把所有的资源都占用）

 

2、指定docker容器可以使用的cpu份额

例1：给容器实例分配512权重的cpu使用份额

docker run --help | grep cpu-shares

cpu配额参数： -c , --cpu-shares int   CPU shares(relative weight)在创建容器时指定容器所使用的CPU份额值。cpu-shares的值不能保证可以获得1个vcpu或者多少GHz的CPU资源，仅仅只是一个弹性的加权值。

默认每个docker容器的cpu份额都是1024.在同一个cpu核心上，同时运行多个容器时，容器的cpu加权的效果才能体现出来。 

例如：两个容器A、B的CPU份额分为1000和500，结果会怎么样？

  • 情况1：A和B正常运行，在CPU进行时间分配的时候，容器A比容器B多一倍机会获得CPU的时间片
  • 情况2：分配的结果取决于当时其他容器的运行状态。比如容器A的进程是一直是空闲的，那么容器B是可以获取比容器A更多的CPU时间片的；比如主机上只运行了一个容器，即使他的CPU份额只有50，它也可以独占整个主机的CPU资源。

cgroups只在多个容器同时争抢同一个cpu资源时，cpu配额才会生效。因此，无法单纯根据某个容器的cpu份额来确定有多少cpu资源分配给他，资源分配结果取决于同时运行的其他容器的cpu分配和容器中进程运行情况。

例2：给容器实例分配512权重的cpu使用份额。

参数:  --cpu-shares  512 

docker run -it --cpu-shares 512 centos bash

# 查看上述结果
cat /sys/fs/cgroup/cpu/cpu.shares

 

3、CPU core核心控制

例1：参数： --cpuset 可以绑定CPU

对多核CPU的服务器，docker还可以控制容器运行限定使用哪些CPU内核和内存节点，即使用 --cpuset-cpus 和 --cpuset-mems参数，对具有NUMA拓扑（具有多CPU、多内存节点）的服务器尤其有用，可以对需要高性能计算的容器进行性能最优的配置。如果服务器只有一个内存节点，则--cpuset-mems的配置基本上不会有明显效果。

 

例2：扩展：服务器架构一般分：SMP、NUMA、MPP体系结构介绍

从系统架构来看，目前商用的服务器大体可以分为三类：

  1. 即对称多处理器结果(SMP) ，例：x86 服务器，双路服务器。主板上有两个物理CPU 
  2. 非一致存储访问结果（NUMA）。例：IBM小型机 pSeries 690
  3. 海量并行处理结果（MMP） 例如：大型机

例3：扩展技术taskset命令

taskset设定cpu亲和力，taskset能够将一个或多个进程绑定到一个或多个处理器上运行，

参数：

-c   --cpu-list       以列表格式显示和指定CPU

-p    --pid             在已经存在的pid上操作

案例1：设置指在cpuID是1和2的cpu上运行sshd进程程序，第一个cpu的ID是0

ps -aux | grep sshd
[root@zjq Python-2.7.12]# taskset -cp 1,2 33325
pid 33325's current affinity list: 0,1
pid 33325's new affinity list: 1

affinity  密切关系

案例2：查看ID为1的进程在哪个cpu上运行

taskset -cp id

[root@zjq Python-2.7.12]# taskset -cp 33338
pid 33338's current affinity list: 0,1

 

# 查看进程树。也可以查看木马的父进程
pstree -p | more

问题：为什么把进程绑定到cpu上，运行效率就高？

注：当cpu数量很多时，确实需要绑定进程到cpu上，这样可以减少cpu上下文切换的开销，节约时间。

例4：物理机一共有16个核心，创建的容器只能用0、1、2这三 个核心

docker  run -it --name cpu1 --cpuset-cpus 0-2 centos bash

# 然后进行查看
cat /sys/fs/cgroup/cpuset/cpuset.cpus

 

4、cpu配额控制参数的混合使用

当上面这些参数中时，cpu-shares控制只发生在容器竞争同一个cpu的时间片时有效。

如果通过cpuset-cpus指定容器A使用cpu 0，容器B 只是用cpu1，在主机上只有这两个容器使用对应内核的情况，它们各自占用全部的内核资源，cpu-shares 没有明显效果。

 

问题：如何才能用效果？

容器A和容器B配置上cpuset-cpus值并都绑定到同一个cpu上，然后同时抢占cpu资源，就可以看出效果了。 

例1：测试cpu-shares和cpuset-cpus混合使用运行效果，就需要一个压缩力测试工具stress来让容器实例把cpu跑满。

物理机：如何把cpu跑满？如何把4核心的cpu中第一和第三核心跑满？可以运行stress，然后使用taskset绑定一下cpu

 

5、扩展;stress 命令

概述：linux系统压力测试软件Stress。stress可以测试linux系统cpu/memory/IO/disk的负债：

下载页：http://people.seas.harvard.edu/~apw/stress/

yum install epel-release
yum install stress -y

stress参数解释：

-？  显示帮助信息

-v     显示版本号

-q      不显示运行信息

-n      显示已完成的指令情况

-t    --timeout  N   指定运行N秒后停止

       --backoff   N   等待

-c   产生多个进程  每个进程都反复不停的计算随机数的平方根，测试CPU

-i   产生多个进程   每个进程都反复调用sync()，sync()用于将内存上的内容写到硬盘上，测试磁盘

-m    --vm  n产生n个进程   每个进程不断调用内存分配malloc()和内存释放free()函数。

测试内存：

--vm-bytes B 指定malloc时内存的字节数（默认256MB）

--vm-hang  N  指定在free找的秒数

-d  --hadd n  产生n个执行write和unlink函数的进程

     --hadd-bytes   B  指定写的字节数

     --hadd-noclean   不   unlink

注：时间单位可以为秒s，分m，小时h，天d，年y，文件大小单位可以为K，M，G

例1：产生2个CPU，2个IO进程，20秒收停止运行

stress -c 2 -i 2 --verbose --timeout 20s

例子:测试cpuset-cpus和cpu-shares混合使用的运行效果，就需要一个压缩力测试工具stress来让容器实例把cpu跑满。当跑满后，会不会去其他cpu上运行。如果没有其它cpu上运行，说明cgroup资源限制成功。

实战1：

创建两个容器实例：docker10和docker20。让docker10 和docker20只运行在cpu0和cpi1上，最终测试一下docke10和docker20使用cpu的百分比。实验拓扑图如下：

同时抢cpu时，应该是什么现象？docker10占多少x% 50%。docker20 100%

来直接测试一下：

docker run -tid --name docker10 --cpuset-cpus 0,1 --cpu-shares 512 centos:7.6.1810 /bin/bash

docker run -tid --name docker20 --cpuset-cpus 0,1 --cpu-shares 1024 centos:7.6.1810 /bin/bash

然后进入docker中，安装stress

测试1：进入docker10，使用stress测试进程是不是只在cpu0，1上运行

docker exec -it docker10 bash

# 安装stress
yum install -y epel-release stress

# 运行2个进程，把两个cpu占满在物理机另外一个虚拟终端上运行top命令，按1快捷键，查看每个cpu使用情况。
stress -c 2-v -t 10s

# 同理，docker20也是同样的操作

测试2：然后进入docker20，使用stress测试进程是不是只在cpu0，1上运行，且docker20上运行的stress使用cpu百分比是docker10的2倍。说明，--cpu-shares限制资源成功。

本文章是学习于docker视频，意在帮助大家更好的学习，如有问题，欢迎大家留言！！