《Kubernetes权威指南》——Kubelet运行机制与安全机制

1 Kubelet运行机制

• Kubenetes集群中的每个Node节点都会启动一个Kubelet服务进程用于处理Master下发到该节点的任务，管理Pod及其中的容器
• Kubelet进程在API Server上注册信息，定期向Master节点汇报Node资源情况，并通过cAdvise监控容器和节点资源

1.1 节点管理

• Kubelet进程在启动时设置参数--register-node=true 设置向APIServer主动注册节点信息
• 当设置非自动注册时，需要配置Node的资源信息以及给Kubelet指定API Server位置
• Kubelet启动参数

--api-server    //设置api server位置
--kubeconfig    //设置访问api server的证书
--cloud-provider    //如何从云服务读取相关元数据
--node-status-update-frequency  //向api server报告的间隔时间，默认10s

1.2 Pod管理

• 非API Server方式创建的Pod称为Static Pod，Kubelet将Static Pod状态汇报给API Server，而后API Server为该Static Pod创建一个Mirror Pod与其相匹配
• Kubelet监听etcd中所有对Pod的操作
• Kubelet读取到创建和修改Pod任务处理：
  1. 为该Pod创建一个数据目录
  2. 从API Server读取该Pod清单
  3. 为该Pod挂载外部卷(Extenal Volume)
  4. 下载Pod用到的Secret
  5. 检查已经运行在节点中的Pod，如果Pod没有容器或Pause容器没有启动则停止Pod中所有容器进程。如果Pod中有需要删除的容器则删除
  6. 用Pause镜像为每个Pod创建一个容器，其用于接管Pod中所有其他容器的网络
  7. 为Pod中的每个容器做如下处理：
     • 校验容器的hash值
     • 如果容器被中止且容器没有指定restartPolicy则不做任何处理
     • 调用Docker Client下载容器镜像，运行容器

1.3 容器健康检查

• LivenessProbe探针用于判断容器是否健康，如果不健康则Kubelet将删除该容器并根据重启策略进行处理，实现方式有：
  • ExecAction：在容器内部执行一个命令如果命令退出状态码为0则容器健康
  • TCPSocketAction：通过容器IP和端口执行TCP检测
  • HTTPGetAction：通过容器IP和端口及路径调用HTTP Get方法，判断响应的状态码
• Readiness探针用于判断容器是否启动完成，且准备接受请求。如果检测失败则Pod状态将被修改，Endpoint Controller将从Service的Endpoint中删除包含该容器所在Pod的条目

2 安全机制原理

集群的安全性必须考虑如下几个目标：

1. 保证容器与其所在宿主机的隔离
2. 限制容器给基础设施及其他容器带来的消极影响的能力
3. 最小权限原则——合理限制所有组件的权限
4. 明确组件间边界的划分
5. 划分普通用户和管理员用户
6. 在必要时允许将管理员权限赋给普通用户
7. 允许拥有Secret数据(Keys,Certs,Passwords)的应用在集群中运行

2.1 Authentication认证

Kubelet对API的调用使用如下方式：

1. CA，使用HTTPS方式，在API Server启动参数--client_ca_file=SOMEFILE 设定CA的认证授权文件
2. Token，通过API Server启动参数--token_auth_file=SOMEFILE 指定存储Token的文件。Token文件格式为一个包含三列的CSV文件，该文件第一列为Token，第二列为用户名，第三列为用户UID。同时访问时HTTP请求头中的Authorization域必须包含 Bearer SOMETOKEN指定该用户的Token
3. HTTP Base，通过API Server启动参数--basic_auth_file=SOMEFILE 指定存储用户和密码的基本认证文件。该文件为CSV文件，第一列为密码，第二列为用户名，第三列为UID。HTTP请求头中的Authorization域必须包含Basic BASE64ENCODEDUSER:PASSWORD 即base64加密后的用户名和密码

2.2 Authorization授权

• 授权(Authorization)是认证(Authentication)后的一个独立步骤，作用于API Server主要端口的所有HTTP访问
• 授权流程通过访问策略比较请求上下文属性，通过API访问资源之前必须通过访问策略进行校验，配置如下：

--authorization_mode=AlwaysDeny     //表示拒绝所有请求
--authorization_mode=AlwaysAllow    //接受所有请求
--authorization_mode=ABAC           //使用用户配置的授权策略去管理访问API Server的请求，ABAC(Attribute-Based Access Control)基于属性的访问控制

• Kubernetes中HTTP请求包含如下4个能被授权进程识别的属性：

  1. 用户名
  2. 是否是只读请求(REST中的GET操作均为只读)
  3. 被访问的是哪一类资源
  4. 被访问对象所属Namespace

• 如果请求中不带对应的某个属性则默认零值

• 选择ABAC模式则需要在API Server启动时设置--authorization_polic_file=SOMEFIME 指定授权策略的JSON文件，文件的每一行为一个JSON的Map对象且不包含List，主要包含以下属性：

  • user(用户名)，字符串类型
  • readonly，布尔型，为true时表示只接受GET访问
  • resource，字符串来自于URL的资源
  • namespace，字符串表明该策略允许访问的某个Namespace

• 授权文件中一个未设置的属性表示匹配HTTP请求中该属性的任何值

• 对请求的4个属性和授权文件的策略对象逐个匹配，如果至少有一个策略对象被匹配上则该请求被授权通过

2.3 Admission Control准入控制

用于拦截所有经过认证和鉴权后的访问API Server请求的可插入代码，这些插件运行在API Server进程中，每个Admission Control插件按照配置顺序执行，如果其中任意一个插件拒绝该请求，则API Server将拒绝请求

• 配置API Server启动参数admission_control,该参数中加入需要的插件列表，逗号隔开

2.4 Secret私密凭据

主要作用是保管私密数据，如密码、OAuth Token、SSH Keys等，将这些私密信息放在Secret对象比直接放入Pod或Docker Image中要安全。

• 如果Pod指定了Service Account则该Pod自动添加包含凭证信息的Secrets，用于访问API Server和下载Image

apiVersion: v1
kind: Secret
metadata:
  name: mysecret
type: Opaque
data:   //全部是Base64编码值
  password: 123 //Base64编码值
  username: 123

• Secret被使用的方式：

  • 在创建Pod时通过为Pod指定Service Account来自动使用该Secret
  • 通过挂载Secret到Pod，spec.volumes.secret指定
  • 在创建Pod时，指定Pod的spec.ImagePullSecret来引用

• 目前Secret只支持API Server创建

• 在使用Mount方式挂载Secret时，容器中Secret的data域中的各个key值作为目录中的文件，value值被Base64编码后存储在相应的文件中

• 通过API Server创建Pod时不会校验引用的Secret是否存在，只有当Pod被调度时将试着去获取Secret，如果此时获取不到则将按一定时间间隔定期重试，并发送一个Event解释Pod没启动的原因

• Secret包括Opaque、ServiceAccount和Dockercfg三种类型

2.5 Service Account

Service Account是多个Secret的集合，包含普通Secret用于访问API Server和imagePullSecret用于下载容器镜像

apiVersion: v1
kind: ServiceAccount
metadata:
  name: myserviceaccount
secrets:
  -  kind: Secret
     name: secret1
     apiVersion: v1
  -  kind: Secret
     name: secret2
     apiVersion: v1
  imagePullSecrets:
    -  name: secret1

• 如果创建Pod时没指定ServiceAccount则将在对应Namespace中制定一个名为default的ServiceAccount