首先区分下下面两个privileged的区别:

    • 容器 privileged
    • scc privileged

因为某些原因有些容器通常需要会以privileged权限运行,此时该容器拥有了node节点的root权限,可能会造成安全隐患。但大部分场景下容器其实并不需要这么大的权限(如仅使用节点挂载目录的容器不需要有网络权限)。scc就是为了防止这种情况发生的,它对容器权限又作了进一步的细化,可以看作是容器外围的一个权限管控组件,这样如果scc没有授予相应的权限,即使给容器设置了privileged(类似docker run --privileged)它也无法真正获得该权限。scc的privileged就相当于对容器不做任何限制,即该组件无效。参考

SCC使用UserID,FsGroupID以及supplemental group ID和SELinux label等策略,通过校验Pod定义的ID是否在有效范围内来限制pod的权限。如果校验失败,则Pod也会启动失败。SCC的策略值设置为RunAsAny表示pod拥有该策略下的所有权限。否则只有pod的SCC设置与SCC策略匹配时才能通过认证。

  SCC可能会给出所允许的策略的值的范围(如Must RunAsRange),如果pod中没有指定对应策略的值,则默认使用该pod所在的project中的最小值。

一个自定义的SCC如下:

$ oc get project default -o yaml
...
metadata:
annotations: #当SCC策略非RunAsAny时提供默认值
openshift.io/sa.scc.mcs: s0:c1,c0 #在pod或SCC没有定义SELinux时提供默认值
openshift.io/sa.scc.supplemental-groups: / #允许的group ID范围。可以支持多个范围,使用逗号分隔
openshift.io/sa.scc.uid-range: / #允许的user ID范围,仅支持单个范围 $ oc get scc my-custom-scc -o yaml
...
fsGroup:
type: MustRunAs #MustRunAs强制进行group ID校验,并为容器提供默认group,本SCC的默认group ID为5000。如果SCC未定义该字段,则默认使用1000000000。使用RunAsAny不会校验有效范围(允许所有group id) 
ranges:
- min:
max:
runAsUser:
type: MustRunAsRange #MustRybAsRange强制对user ID进行校验,并提供默认UID。本SCC的默认UID为1000100000。如果SCC未定义该字段,则默认使用1000000000。其他类似为MustRunAsNonRoot和RunAsAny。可以用于定义访问目标存储的ID
uidRangeMin:
uidRangeMax:
seLinuxContext: #
type: MustRunAs #设置为MustRunAs,容器使用创建时定义的SCC SELinux选项,或使用project的默认MCS。RunAsAny表示不对SELinux校验
SELinuxOptions:
user: <selinux-user-name>
role: ...
type: ...
level: ...
supplementalGroups:
type: MustRunAs #同FSGroup
ranges:
- min:
max:

M/N表示M为起始ID,范围为M~M+N-1

Supplemental groups ID用于控制访问共享存储,如NFS,Gluster FS,而fsGroup用于控制访问块存储,如Ceph RBD,iSCSI。OpenShift容器中挂载的卷和目标存储拥有相同的权限。如目标存储的UID为1234,groupID为5678,则mount到node和容器中的卷同样拥有这些ID值。因此容器的进程需要匹配一个或两个ID才能使用这些卷。pod中的supplementalGroups和fsGroup在系统层面是不作区分的,只是用于在pod层面区分不同的场景,pod在定义这类值后,会添加到器系统的supplemental groups中。

验证:

SCC主要涉及User Strategy,SELinux Context Strategy,FSGroup Strategy以及Supplemental Groups Strategy四大策略。下面通过对hostpath挂载卷的访问来验证SCC的功能。

首先创建一个serviceaccount作为pod的授权对象

# cat new-sa.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
name: new-sa

然后创建一个单独的SCC,名称为new-scc。后面会使用hostpath的卷进行验证,因此设置allowHostDirVolumePlugin: true;所有的策略设置为RunAsAny,即不对pod的权限进行校验,如果pod没有设置这些策略的值,则使用project中提供的默认值。为不影响当前环境,使用新创建的SCC进行验证,内容如下:

# cat new-scc.yaml
allowHostDirVolumePlugin: true
allowHostIPC: false
allowHostNetwork: false
allowHostPID: false
allowHostPorts: false
allowPrivilegedContainer: false
allowedCapabilities:
- '*'
apiVersion: v1
defaultAddCapabilities: []
fsGroup:
type: RunAsAny
groups:
- system:authenticated
kind: SecurityContextConstraints
metadata:
annotations:
kubernetes.io/description: for test scc
name: new-scc
priority: null
readOnlyRootFilesystem: false
runAsUser:
type: RunAsAny
seLinuxContext:
type: RunAsAny
supplementalGroups:
type: RunAsAny
volumes:
- configMap
- downwardAPI
- emptyDir
- persistentVolumeClaim
- projected
- secret

使用如下命令创建serviceaccount,scc,并将创建的new-scc授权给给serviceaccount

# oc create -f new-sa.yaml
# oc create -f new-scc.yaml
# oadm policy add-scc-to-user new-scc system:serviceaccount:monitor:new-sa

创建一个deploymentconfig,为方便定位问题,使用了centos镜像(centos镜像功能比较全)。该deploymentconfig配置了新创建的serviceaccount,且Pod中没有配置任何SCC限制。

apiVersion: v1
kind: DeploymentConfig
metadata:
name: centos
namespace: monitor
spec:
replicas:
template:
metadata:
labels:
busybox: 'true'
spec:
containers:
- args:
image: 'centos:v2'
imagePullPolicy: IfNotPresent
name: busybox
securityContext:
runAsUser:
runAsGroup: 2000 #该特性在k8s 1.10之后才支持,本环境未支持,参见Support for RunAsGroup as a pod security context
volumeMounts:
- mountPath: /centos
name: centos-volume
securityContext: {}
nodeSelector:
kubernetes.io/hostname: test
volumes:
- hostPath:
path: /home/testHostPath
name: centos-volume
serviceAccountName: new-sa
triggers:
- type: ConfigChange

host上/home/testHostPath的权限如下:

# ls -Z
drwxr-xr-x. root root unconfined_u:object_r:home_root_t:s0 testHostPath

直接创建该deploymentconfig(oc create -f centos.yaml),通过oc describe pod可以看到该pod使用了设置的scc和serviceaccount

Annotations:            openshift.io/scc=new-scc
......
Containers:
busybox:
......
Mounts:
/centos from centos-volume (rw)
/var/run/secrets/kubernetes.io/serviceaccount from new-sa-token-q5rxk (ro)

进入容器,可以看到该文件夹已经挂载进去,但没有任何权限操作该文件夹

sh-4.2$ cd /centos
sh-4.2$ ls
ls: cannot open directory .: Permission denied

登陆该容器所在node节点,查看该容器的SELinux设置如下,显然创建的文件夹的SELinux与容器不匹配,将host上文件夹的SELinux设置为与容器相匹配。

# docker inspect c21736278d1a|grep "MountLabel"
"MountLabel": "system_u:object_r:svirt_sandbox_file_t:s0:c15,c10",
# chcon -Rt svirt_sandbox_file_t testHostPath/

解决完SELinux之后,查看该容器对应进程(docker inspect $CONTAINERID |grep Pid)的信息/proc/$PID/status(具体含义参见/proc/[pid]/status)。可以看到该容器使用的user id为1000,group id为0,supplemental groups为100023000。user id和supplemental groups(Groups)使用了所在project的默认值,group id(含fsgroup)则使用了0。

# cat /proc//status
......
Uid: 1000 1000 1000
Gid:
FDSize:
Groups: 1000230000
......
# oc describe project monitor
Name: monitor
Created: weeks ago
Labels: <none>
Annotations: openshift.io/description=
openshift.io/display-name=
openshift.io/sa.scc.mcs=s0:c15,c10
openshift.io/sa.scc.supplemental-groups=/
openshift.io/sa.scc.uid-range=/

到此为止,容器可以读取groupid为0的文件夹,但挂载的testHostPath的DAC权限为755,没有给group id为0的用户组写权限,因此需要设置DAC权限。这样容器就可以对该挂载的文件夹进行读写了。

# chmod 775 testHostPath/
  • 下面以runAsUser为例验证SCC对pod的限制。将值从RunAsAny修改为如下内容(oc edit scc new-scc),即允许的user ID范围为为[3000,4000]。
runAsUser:
type: MustRunAsRange
uidRangeMax:
uidRangeMin:

重新创建该deploymentconfig,出现如下错误,即user ID无效。说明SCC对pod中进程的user ID进行了限制,只有符合条件的进程才能执行(本例中pod使用了project的默认值)。其他策略如fsGroup,supplementalGroups,seLinuxContext也类似,只有pod的策略值(未设置则使用默认值)与SCC相匹配才能通过SCC认证。

Error creating: pods "centos-1-" is forbidden: unable to validate against any security context constraint: [provider restricted: .spec.containers[].securityContext.volumes[]: Invalid value: "hostPath": hostPath volumes are not allowed to be used securityContext.runAsUser: Invalid value: : UID on container busybox does not match required range. Found , required min:  max: ]
  • 紧接上述设置进行验证,设置pod的User id=4000(配置文件见下)。将host上的testHostPath权限修改如下,此时pod受DAC限制将无法访问挂载的/centos目录(此时pod使用uid=4000,gid=0)
# cd /home
# chown -R : testHostPath/
# chmod 770 testHostPath/

从容器中可以看到挂载的目录的DAC权限与host一致,此时pod的group作为other group,无法执行读写操作。

$ ls -Z /drwxrwx---. 5000 6000 unconfined_u:object_r:container_file_t:s0 centos
...

下面使用supplementalGroups进行授权访问,修改deploymentconfig内容如下,添加supplementalGroups的支持

apiVersion: v1
kind: DeploymentConfig
metadata:
name: centos
namespace: monitor
spec:
replicas:
template:
metadata:
labels:
busybox: 'true'
spec:
containers:
- args:
image: 'centos:v2'
imagePullPolicy: IfNotPresent
name: busybox
securityContext:
runAsUser:
runAsGroup:
volumeMounts:
- mountPath: /centos
name: centos-volume
securityContext:
supplementalGroups: []
nodeSelector:
kubernetes.io/hostname: test
volumes:
- hostPath:
path: /home/testHostPath
name: centos-volume
serviceAccountName: new-sa
triggers:
- type: ConfigChange

重新创建该deploymentconfig,进入容器,查看id,可以发现supplementgroups新增了6000,这样就可以在挂载卷中进行读写操作了。

$ id
uid= gid=(root) groups=(root),,

TIPS:

  • 通常使用supplemental group ID或fsGroup作为访问存储的凭证
  • SCC对应kubernetes的PodSecurityPolicy,其在v1.14中为beta版本
  • 可以通过oc get pod <pod_name> -o yaml命令查看pod使用的SCC,对应annotation的key为openshift.io/scc。
  • openshift role和clusterrole用于控制pod服务对openshift资源的访问;而SCC用于控制pod的启动和对挂载卷的访问
  • 注意:给openshift的默认serviceaccount添加privileged权限的命令是:oc adm policy add-scc-to-user privileged -z default,而不是oc adm policy add-scc-to-user privileged default。

参考:

  • https://docs.openshift.com/container-platform/3.6/install_config/persistent_storage/pod_security_context.html
  • https://docs.openshift.com/enterprise/3.0/architecture/additional_concepts/authorization.html#roles

openshift scc解析的更多相关文章

  1. 理解OpenShift(4):用户及权限管理

    理解OpenShift(1):网络之 Router 和 Route 理解OpenShift(2):网络之 DNS(域名服务) 理解OpenShift(3):网络之 SDN 理解OpenShift(4) ...

  2. openshift pod对外访问网络解析

    openshift封装了k8s,在网络上结合ovs实现了多租户隔离,对外提供服务时报文需要经过ovs的tun0接口.下面就如何通过tun0访问pod(172.30.0.0/16)进行解析(下图来自理解 ...

  3. 2.openshift授权策略和scc理解

    policy管理概念 查看policy的方式可以通过cli进行查看 Roles grant various levels of access in the system-wide cluster po ...

  4. Openshift概念

    Openshift是一个开源容器云平台,是一个基于主流的容器技术Docker和K8s构建的云平台.Openshift底层以Docker作为容器引擎驱动,以K8s作为容器编排引擎组件,并提供了开发语言, ...

  5. 利用OpenShift托管Node.js Web服务进行微信公众号开发

    最近写了一个微信的翻译机器人.用户只要关注该公众号,发送英文的消息,就能收到中文翻译的回复.有兴趣的读者可以扫描下面的二维码关注该公众号,尝试发送英文单词试试看.(有时候第一次发送单词会收到“该公众号 ...

  6. 在AWS中部署OpenShift平台

    OpenShift是RedHat出品的PAAS平台.OpenShift做为PAAS平台最大的特点是它是完全容器化的PAAS平台,底层封装了Docker和Kubernetes,上层暴露了对开发者友好的接 ...

  7. OpenShift实战(一):OpenShift高级安装

    1.1 服务器基本信息 本次安装采用一个master.5个node.3个etcd,node节点两块硬盘,60G磁盘用于docker storage,xxx改为自己的域名或主机名. 节点 功能 IP 内 ...

  8. 理解OpenShift(6):集中式日志处理

    理解OpenShift(1):网络之 Router 和 Route 理解OpenShift(2):网络之 DNS(域名服务) 理解OpenShift(3):网络之 SDN 理解OpenShift(4) ...

  9. 理解OpenShift(5):从 Docker Volume 到 OpenShift Persistent Volume

    理解OpenShift(1):网络之 Router 和 Route 理解OpenShift(2):网络之 DNS(域名服务) 理解OpenShift(3):网络之 SDN 理解OpenShift(4) ...

随机推荐

  1. Birthday Paradox

    Birthday Paradox Sometimes some mathematical results are hard to believe. One of the common problems ...

  2. 定时任务之crond服务

    计划任务分为一次性计划任务与长期性计划任务 一次性计划任务:今天11:25执行重启网卡操作,执行结束 即任务消失  一次性计划任务格式: 创建:"at 时间" #默认采用的是交互式 ...

  3. 洛谷P1079 Vigenère 密码

    题目链接:https://www.luogu.org/problemnew/show/P1079

  4. day 16 JS DOM 继续

    为什么有jquey了还学DOM  ? 因为JQuey 是大而全,可能有10k 但是我们用到的只有1k  网站小没事,网站大流量就是问题 所以大网站都是自己用DOM 实现一个类似于JQuey 的适合自己 ...

  5. java中equals和==

    https://www.cnblogs.com/bluestorm/archive/2012/03/02/2377615.html

  6. Python框架之Django学习笔记(十三)

    Django站点管理(续1) 上次介绍了Django的站点管理的一些基础知识,这次再来深入了解一下Django的站点管理. Admin是如何工作的: 在幕后,管理工具是如何工作的呢? 其实很简单. 当 ...

  7. IOS笔记044-通知和代理(观察者模式和代理模式)

      处理文本输入框的输入事件,单击文本输入框后要弹出键盘. 弹出键盘有两种实现方式:一种代理,一种通知.也就是对应的(观察者模式和代理模式).   1.通知 1.1.准备工作 每一个应用程序都有一个通 ...

  8. Windows核心编程小结2

    这一节看看内存管理相关的信息 首先看看虚拟内存 虚拟地址空间 32位系统  --- 4GB = 232 64 位系统  ---- 16EB = 264 虚拟内存表 当一个应用程序从硬盘加载到RAM时, ...

  9. linux环境搭建系列之Apache ant安装步骤

    前提: linux centOS6.6 64位操作系统 ROOT账号 JDK1.7 注意:JDK和Ant版本一定要是对应的,因为我的JDK是1.7版本的,所以我在官网下载的ant是1.9的 1.把安装 ...

  10. Leetcode 488.祖玛游戏

    祖玛游戏 回忆一下祖玛游戏.现在桌上有一串球,颜色有红色(R),黄色(Y),蓝色(B),绿色(G),还有白色(W). 现在你手里也有几个球. 每一次,你可以从手里的球选一个,然后把这个球插入到一串球中 ...