从零开始写 Docker(十四)---重构：实现容器间 rootfs 隔离
本文为从零开始写 Docker 系列第十四篇，实现容器间的 rootfs 隔离，使得多个容器间互不影响。
完整代码见：https://github.com/lixd/mydocker
欢迎 Star
推荐阅读以下文章对 docker 基本实现有一个大致认识：
- 核心原理：深入理解 Docker 核心原理：Namespace、Cgroups 和 Rootfs
- 基于 namespace 的视图隔离：探索 Linux Namespace：Docker 隔离的神奇背后
- 基于 cgroups 的资源限制
- 基于 overlayfs 的文件系统：Docker 魔法解密：探索 UnionFS 与 OverlayFS
- 基于 veth pair、bridge、iptables 等等技术的 Docker 网络：揭秘 Docker 网络：手动实现 Docker 桥接网络
开发环境如下：
root@mydocker:~# lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 20.04.2 LTS
Release: 20.04
Codename: focal
root@mydocker:~# uname -r
5.4.0-74-generic
注意：需要使用 root 用户
1. 概述
虽然在前面通过 pivotRoot、overlayfs 实现了容器和宿主机的 rootfs 隔离，但是多个容器还是共用的一个rootfs，多容器之间会互相影响。
之前容器都是用的宿主机上的 /root/merged 目录作为自己的 rootfs，当启动多个容器时可写层会互相影响。
本篇通过为每个容器单独准备一个 rootfs 来实现隔离，使得我们多个容器之间互不影响。
2. 实现
为了实现该功能，需要做以下工作：
- 修改 mydocker commit 命令，实现对不同容器进行打包镜像的功能。
- 修改 mydocker run 命令，用户可以指定不同镜像，并为每个容器分配单独的隔离文件系统
- 根据镜像名称找到对应 tar 文件，解压后作为overlay 中的 lower 目录进行挂载
- 修改 mydocker rm 命令，删除容器时顺带删除文件系统
这三处调整实际上都是对宿主机上容器 rootfs 目录的调整，把 rootfs 从原来的 /root/merged 调整为 /var/lib/mydocker/overlay2/{containerID}/merged ，这样实现容器之间的隔离。
docker 也是使用的
var/lib/docker/overlay2/{containerID}/merged目录作为 rootfs.可以使用docker inspect {containerID} -f '{{json .GraphDriver}}'命令查看。
2.1 commit 命令更新
之前 commit 命令直接把/root/merged 目录压缩为 tar 作为镜像，现在需要根据 containerID 以/var/lib/mydocker/overlay2/{containerID}/merged 格式来拼接目录。
首先，在 main_command.go 文件中修改 commitCommand，将用户输入参数改为 containerID 和 imageName,并调用 commitContainer 方法实现 commit 操作。
var commitCommand = cli.Command{
Name: "commit",
Usage: "commit container to image,e.g. mydocker commit 123456789 myimage",
Action: func(context *cli.Context) error {
if len(context.Args()) < 2 {
return fmt.Errorf("missing container name and image name")
}
containerID := context.Args().Get(0)
imageName := context.Args().Get(1)
return commitContainer(containerID, imageName)
},
}
然后 commitContainer 中调整一下压缩路径，根据 containerID 拼接要压缩的目录
var ErrImageAlreadyExists = errors.New("Image Already Exists")
func commitContainer(containerID, imageName string) error {
mntPath := utils.GetMerged(containerID)
imageTar := utils.GetImage(imageName)
exists, err := utils.PathExists(imageTar)
if err != nil {
return errors.WithMessagef(err, "check is image [%s/%s] exist failed", imageName, imageTar)
}
if exists {
return ErrImageAlreadyExists
}
log.Infof("commitContainer imageTar:%s", imageTar)
if _, err = exec.Command("tar", "-czf", imageTar, "-C", mntPath, ".").CombinedOutput(); err != nil {
return errors.WithMessagef(err, "tar folder %s failed", mntPath)
}
return nil
}
2.2 run 命令更新， 实现隔离文件系统
run 命令改动比较大， 需要把涉及到目录的都进行调整。
改动点：
- 1）runCommand 命令中添加 imageName 参数，让用户可以指定镜像启动容器
- 2）启动容器时， rootfs 部分需要根据 containerID 拼接目录
runCommand
runCommand 命令中添加 imageName 作为第一个参数输入
var runCommand = cli.Command{
Action: func(context *cli.Context) error {
// 省略其他内容
// get image name
imageName := cmdArray[0]
cmdArray = cmdArray[1:]
tty := context.Bool("it")
detach := context.Bool("d")
// Run方法增加对应参数
Run(tty, cmdArray, resConf, volume, containerName, imageName)
return nil
},
}
相关方法都要增加 imageName 参数：
func Run(tty bool, comArray []string, res *subsystems.ResourceConfig, volume, containerName, imageName string) {
containerId := container.GenerateContainerID() // 生成 10 位容器 id
// start container
parent, writePipe := container.NewParentProcess(tty, volume, containerId, imageName)
if parent == nil {
log.Errorf("New parent process error")
return
}
if err := parent.Start(); err != nil {
log.Errorf("Run parent.Start err:%v", err)
return
}
// record container info
err := container.RecordContainerInfo(parent.Process.Pid, comArray, containerName, containerId)
if err != nil {
log.Errorf("Record container info error %v", err)
return
}
// 创建cgroup manager, 并通过调用set和apply设置资源限制并使限制在容器上生效
cgroupManager := cgroups.NewCgroupManager("mydocker-cgroup")
defer cgroupManager.Destroy()
_ = cgroupManager.Set(res)
_ = cgroupManager.Apply(parent.Process.Pid, res)
// 在子进程创建后才能通过pipe来发送参数
sendInitCommand(comArray, writePipe)
if tty { // 如果是tty，那么父进程等待，就是前台运行，否则就是跳过，实现后台运行
_ = parent.Wait()
container.DeleteWorkSpace(containerId, volume)
container.DeleteContainerInfo(containerId)
}
}
rootfs 相关调整
rootfs 相关目录定义成变量，并提供相应的 Get 方法，调用时指定 containerID 即可拿到对应目录。
// 容器相关目录
const (
ImagePath = "/var/lib/mydocker/image/"
RootPath = "/var/lib/mydocker/overlay2/"
lowerDirFormat = RootPath + "%s/lower"
upperDirFormat = RootPath + "%s/upper"
workDirFormat = RootPath + "%s/work"
mergedDirFormat = RootPath + "%s/merged"
overlayFSFormat = "lowerdir=%s,upperdir=%s,workdir=%s"
)
func GetRoot(containerID string) string { return RootPath + containerID }
func GetImage(imageName string) string { return fmt.Sprintf("%s%s.tar", ImagePath, imageName) }
func GetLower(containerID string) string {
return fmt.Sprintf(lowerDirFormat, containerID)
}
func GetUpper(containerID string) string {
return fmt.Sprintf(upperDirFormat, containerID)
}
func GetWorker(containerID string) string {
return fmt.Sprintf(workDirFormat, containerID)
}
func GetMerged(containerID string) string { return fmt.Sprintf(mergedDirFormat, containerID) }
func GetOverlayFSDirs(lower, upper, worker string) string {
return fmt.Sprintf(overlayFSFormat, lower, upper, worker)
}
另外则是 NewWorkSpace 和 DeleteWorkSpace 这两个方法以及其内部的一系列方法涉及到的路径全改成动态的，根据 containerID 进行拼接：
这里贴一下 NewWorkSpace 和 DeleteWorkSpace 两个方法：
// NewWorkSpace Create an Overlay2 filesystem as container root workspace
/*
1）创建lower层
2）创建upper、worker层
3）创建merged目录并挂载overlayFS
4）如果有指定volume则挂载volume
*/
func NewWorkSpace(volume, imageName, containerName string) {
err := createLower(imageName)
if err != nil {
log.Errorf("createLower err:%v", err)
return
}
err = createUpperWorker(containerName)
if err != nil {
log.Errorf("createUpperWorker err:%v", err)
return
}
err = mountOverlayFS(containerName)
if err != nil {
log.Errorf("mountOverlayFS err:%v", err)
return
}
if volume != "" {
volumeURLs := volumeUrlExtract(volume)
if len(volumeURLs) == 2 && volumeURLs[0] != "" && volumeURLs[1] != "" {
err = mountVolume(containerName, volumeURLs)
if err != nil {
log.Errorf("mountVolume err:%v", err)
return
}
} else {
log.Infof("volume parameter input is not correct.")
}
}
}
// DeleteWorkSpace Delete the OverlayFS filesystem while container exit
/*
和创建相反
1）有volume则卸载volume
2）卸载并移除merged目录
3）卸载并移除upper、worker层
*/
func DeleteWorkSpace(volume, containerName string) error {
// 如果指定了volume则需要先umount volume
if volume != "" {
volumeURLs := volumeUrlExtract(volume)
length := len(volumeURLs)
if length == 2 && volumeURLs[0] != "" && volumeURLs[1] != "" {
err := umountVolume(containerName, volumeURLs)
if err != nil {
return errors.Wrap(err, "umountVolume")
}
}
}
// 然后umount整个容器的挂载点
err := umountOverlayFS(containerName)
if err != nil {
return errors.Wrap(err, "umountOverlayFS")
}
// 最后移除相关文件夹
err = removeUpperWorker(containerName)
if err != nil {
return errors.Wrap(err, "removeUpperWorker")
}
return nil
}
至此，基本改动完成了，创建出的每个容器都会单独在/var/lib/mydocker/overlay2/ 目录下生成一个 rootfs 目录，这样就避免了多个容器之间互相影响。
2.3 更新 rm 命令
之前，由于对应的文件系统因为是共用的，所以没有删除， rm 命令只把容器信息删了，这次对 rm 命令进行调整，删除时也把文件系统删了。
func removeContainer(containerId string, force bool) {
containerInfo, err := getInfoByContainerId(containerId)
if err != nil {
log.Errorf("Get container %s info error %v", containerId, err)
return
}
switch containerInfo.Status {
case container.STOP: // STOP 状态容器直接删除即可
// 先删除配置目录，再删除rootfs 目录
if err = container.DeleteContainerInfo(containerId); err != nil {
log.Errorf("Remove container [%s]'s config failed, detail: %v", containerId, err)
return
}
container.DeleteWorkSpace(containerId, containerInfo.Volume)
case container.RUNNING: // RUNNING 状态容器如果指定了 force 则先 stop 然后再删除
if !force {
log.Errorf("Couldn't remove running container [%s], Stop the container before attempting removal or"+
" force remove", containerId)
return
}
log.Infof("force delete running container [%s]", containerId)
stopContainer(containerId)
removeContainer(containerId, force)
default:
log.Errorf("Couldn't remove container,invalid status %s", containerInfo.Status)
return
}
}
增加了下面这一句：
container.DeleteWorkSpace(containerId, containerInfo.Volume)
3. 测试
rootfs 调整
用 busybox.tar 镜像启动一个容器，然后查看/var/lib/mydocker/overlay2/ 目录下是否生成对应内容。
首先在/var/lib/mydocker/image/目录准备好镜像
root@mydocker:~# mv busybox.tar /var/lib/mydocker/image/
然后使用该镜像启动容器
root@mydocker:~/refactor-isolate-rootfs/mydocker# go build .
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker run -d -name rootfs busybox top
{"level":"info","msg":"createTty false","time":"2024-02-22T13:34:12+08:00"}
{"level":"info","msg":"resConf:\u0026{ 0 }","time":"2024-02-22T13:34:12+08:00"}
{"level":"info","msg":"lower:/var/lib/mydocker/overlay2/5341624332/lower image.tar:/var/lib/mydocker/image/busybox.tar","time":"2024-02-22T13:34:12+08:00"}
{"level":"info","msg":"mount overlayfs: [/usr/bin/mount -t overlay overlay -o lowerdir=/var/lib/mydocker/overlay2/5341624332/lower,upperdir=/var/lib/mydocker/overlay2/5341624332/upper,workdir=/var/lib/mydocker/overlay2/5341624332/work /var/lib/mydocker/overlay2/5341624332/merged]","time":"2024-02-22T13:34:12+08:00"}
{"level":"info","msg":"command all is top","time":"2024-02-22T13:34:12+08:00"}
查看容器
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker ps
ID NAME PID STATUS COMMAND CREATED
5341624332 rootfs 219016 running top 2024-02-22 13:34:12
查看/var/lib/mydocker/overlay2 目录下是否生成对应内容
root@mydocker:/var/lib/mydocker/overlay2# cd /var/lib/mydocker/overlay2/5341624332
root@mydocker:/var/lib/mydocker/overlay2/5341624332# ls
lower merged upper work
root@mydocker:/var/lib/mydocker/overlay2/5341624332# ls lower
bin dev etc home proc root sys tmp usr var
root@mydocker:/var/lib/mydocker/overlay2/5341624332# ls merged/
bin dev etc home proc root sys tmp usr var
可以看到,在/var/lib/mydocker/overlay2/{containerID} 目录下生成了，lower、merged、upper、work 等 overlay2 目录。
其中 lower 中的内容由镜像解压得到，merged 则是容器 rootfs 挂载点。
然后进入容器创建文件
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker exec 5341624332 /bin/sh
{"level":"info","msg":"container pid：219016 command：/bin/sh","time":"2024-02-22T13:37:42+08:00"}
got mydocker_pid=219016
got mydocker_cmd=/bin/sh
/ # echo KubeExplorer > a.txt
/ # cat a.txt
KubeExplorer
接着到对应 merged 目录查看文件是否存在
root@mydocker:/var/lib/mydocker/overlay2/5341624332# ls merged/
a.txt bin dev etc home proc root sys tmp usr var
root@mydocker:/var/lib/mydocker/overlay2/5341624332# cat merged/a.txt
KubeExplorer
至此，说明 rootfs 调整一切正常。
commit 命令
接下来测试一下 mydocker commit 命令,把刚才启动的容器提交为镜像。
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker ps
ID NAME PID STATUS COMMAND CREATED
5341624332 rootfs 219016 running top 2024-02-22 13:34:12
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker commit 5341624332 busybox-with-custom
{"level":"info","msg":"commitContainer imageTar:/var/lib/mydocker/image/busybox-with-custom.tar","time":"2024-02-22T13:43:33+08:00"}
然后查看 var/lib/mydocker/image/ 目录是否生成了对应的镜像文件
root@mydocker:/var/lib/mydocker/overlay2/5341624332# cd /var/lib/mydocker/image/
root@mydocker:/var/lib/mydocker/image# ls
busybox-with-custom.tar busybox.tar
busybox-with-custom.tar 就是 commit 命令生成的镜像。
接下来使用该镜像启动一个容器，查看之前创建的文件是否存在
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker run -d -name rootfs2 busybox-with-custom top
{"level":"info","msg":"createTty false","time":"2024-02-22T13:45:53+08:00"}
{"level":"info","msg":"resConf:\u0026{ 0 }","time":"2024-02-22T13:45:53+08:00"}
{"level":"info","msg":"lower:/var/lib/mydocker/overlay2/8118341786/lower image.tar:/var/lib/mydocker/image/busybox-with-custom.tar","time":"2024-02-22T13:45:53+08:00"}
{"level":"info","msg":"mount overlayfs: [/usr/bin/mount -t overlay overlay -o lowerdir=/var/lib/mydocker/overlay2/8118341786/lower,upperdir=/var/lib/mydocker/overlay2/8118341786/upper,workdir=/var/lib/mydocker/overlay2/8118341786/work /var/lib/mydocker/overlay2/8118341786/merged]","time":"2024-02-22T13:45:53+08:00"}
{"level":"info","msg":"command all is top","time":"2024-02-22T13:45:53+08:00"}
进入容器查看内容
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker ps
ID NAME PID STATUS COMMAND CREATED
5341624332 rootfs 219016 running top 2024-02-22 13:34:12
8118341786 rootfs2 219109 running top 2024-02-22 13:45:53
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker exec 8118341786 /bin/sh
{"level":"info","msg":"container pid：219109 command：/bin/sh","time":"2024-02-22T13:46:14+08:00"}
got mydocker_pid=219109
got mydocker_cmd=/bin/sh
/ # cat a.txt
KubeExplorer
可以看到，提交的镜像中包含了我们新建的 a.txt 文件，说明 commit 命令也是正常的。
rm 命令
最后测试一下 mydocker rm 命令，能否删除镜像配置和对应的 rootfs 目录。
ps 命令拿到 id
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker ps
ID NAME PID STATUS COMMAND CREATED
5341624332 rootfs 219016 running top 2024-02-22 13:34:12
8118341786 rootfs2 219109 running top 2024-02-22 13:45:53
根据 id 删除容器
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker rm 5341624332 -f
{"level":"info","msg":"force delete running container [5341624332]","time":"2024-02-22T13:47:36+08:00"}
{"level":"info","msg":"umountOverlayFS,cmd:/usr/bin/umount /var/lib/mydocker/overlay2/5341624332/merged","time":"2024-02-22T13:47:36+08:00"}
查看一下 /var/lib/mydocker/overlay2 中的 rootfs 目录是否删除
cd /var/lib/mydocker/overlay2
root@mydocker:/var/lib/mydocker/overlay2# ls
可以看到，容器相关目录都被移除了。
4. 小结
本小节主要完善了容器的文件系统，在/var/lib/mydocker/overlay2/ 目录下为每个容器单独分配一个 rootfs，避免了多容器之间互相影响。
【从零开始写 Docker 系列】持续更新中，搜索公众号【探索云原生】订阅，阅读更多文章。
完整代码见：https://github.com/lixd/mydocker
欢迎关注~
相关代码见 refactor-isolate-rootfs 分支,测试脚本如下：
需要提前在 /var/lib/mydocker/image 目录准备好 busybox.tar 文件，具体见第四篇第二节。
# 克隆代码
git clone -b refactor-isolate-rootfs https://github.com/lixd/mydocker.git
cd mydocker
# 拉取依赖并编译
go mod tidy
go build .
# 测试
./mydocker run -d -name c1 busybox top
# 查看容器 Id
./mydocker ps
# stop 停止指定容器
./mydocker rm ${containerId} -f
从零开始写 Docker(十四)---重构：实现容器间 rootfs 隔离的更多相关文章
- 通过Dapr实现一个简单的基于.net的微服务电商系统(十四)——开发环境容器调试小技巧
之前有很多同学提到如何做容器调试,特别是k8s环境下的容器调试,今天就讲讲我是如何调试的.大家都知道在vs自带的创建项目模板里勾选docker即可通过F5启动docker容器调试.但是对于启动在k8s ...
- Docker(十四)-Docker四种网络模式
Docker 安装时会自动在 host 上创建三个网络,我们可用 docker network ls 命令查看: none模式,使用--net=none指定,该模式关闭了容器的网络功能. host模式 ...
- 菜鸟学SSH（十四）——Spring容器AOP的实现原理——动态代理
之前写了一篇关于IOC的博客——<Spring容器IOC解析及简单实现>,今天再来聊聊AOP.大家都知道Spring的两大特性是IOC和AOP,换句话说,容器的两大特性就是IOC和AOP. ...
- Java并发编程原理与实战三十四：并发容器CopyOnWriteArrayList原理与使用
1.ArrayList的实现原理是怎样的呢? ------>例如:ArrayList本质是实现了一个可变长度的数组. 假如这个数组的长度为10,调用add方法的时候,下标会移动到下一位,当移动到 ...
- Java从零开始学二十四(集合工具类Collections)
一.Collections简介 在集合的应用开发中,集合的若干接口和若干个子类是最最常使用的,但是在JDK中提供了一种集合操作的工具类 —— Collections,可以直接通过此类方便的操作集合 二 ...
- 从零开始学安全(十四)●Windows Server 2012 R2 本地搭建FTP服务器
打开仪表盘添加角色和功能向导 下一步 等待安装完成 打开iis 新建站点 点击 选一个目录作为 ftp文件服务器的存储路径 后面就和iis 创建站点一样了 匿名就不需要密码 就可以访问基本需要特定的账 ...
- 【Java EE】从零开始写项目【总结】
从零开发项目概述 最近这一直在复习数据结构和算法,也就是前面发出去的排序算法八大基础排序总结,Java实现单向链表,栈和队列就是这么简单,十道简单算法题等等... 被虐得不要不要的,即使是非常简单有时 ...
- Docker最全教程之MySQL容器化 （二十四）
前言 MySQL是目前最流行的开源的关系型数据库,MySQL的容器化之前有朋友投稿并且写过此块,本篇仅从笔者角度进行总结和编写. 目录 镜像说明 运行MySQL容器镜像 1.运行MySQL容器 ...
- 从零开始学习PYTHON3讲义（十四）写一个mp3播放器
<从零开始PYTHON3>第十四讲 通常来说,Python解释执行,运行速度慢,并不适合完整的开发游戏.随着电脑速度的快速提高,这种情况有所好转,但开发游戏仍然不是Python的重点工作. ...
- Kubernetes & Docker 容器网络终极之战(十四)
目录 一.单主机 Docker 网络通信 1.1.host 模式 1.2 Bridge 模式 1.3 Container 模式 1.4.None 模式 二.跨主机 Docker 网络通信分类 2.1 ...
随机推荐
- 利用 🤗 Optimum Intel 和 fastRAG 在 CPU 上优化文本嵌入
嵌入模型在很多场合都有广泛应用,如检索.重排.聚类以及分类.近年来,研究界在嵌入模型领域取得了很大的进展,这些进展大大提高了基于语义的应用的竞争力.BGE.GTE 以及 E5 等模型在 MTEB 基准 ...
- #贪心#CF605A Sorting Railway Cars
题目 一个长度为 \(n\) 的排列,每次可以将一个数移至开头或者结尾,问最少多少次使其升序排列 分析 让数字连续的情况尽量多才能让移出来的次数尽量少, 找到最长的数字连续段,若其长度为 \(len\ ...
- 内容分发策略与 SEO 优化指南
内容分发 内容分发是指通过各种媒介分享.发布或传播内容给受众的过程.这些媒介可以包括不同的渠道,例如社交媒体平台(Facebook.Twitter.LinkedIn.朋友圈.微博.小红书.B 站.抖音 ...
- HR必备|可视化大屏助HR实现人才资源价值最大化
人力资源管理质量的优劣关系到企业可持续发展目标的实现,在信息化时代背景下,应用信息技术加强人力资源管理过程的优化,利用技术提升人力资源管理质量和效率已是大势所趋. 利用信息技术构建信息化人力资源管理平 ...
- Qt搜索本机网卡对应网段的在线设备
需求:销售给我的需求是找出哪些IP是没有被占用的,所以我要先找出已经被占用的IP 项目是Qt开发的,所以在网上搜索了下,搜索到的实现方式都是:QHostInfo::lookupHost,但是这种方式, ...
- Qt信号槽
Qt 信号槽 Qt的信号槽,除了使用信号连接槽,还可以信号连接信号,断开信号,发送(转发)信号. 一个信号可以连接一个槽,也可以一个信号连接多个槽,还可以多个信号连接一个槽. // 信号连接槽 c ...
- C++调用Python-1：hello world
#include "Python.h" #include <iostream> using namespace std; int main(int argc, char ...
- HarmonyOS SDK 助力新浪新闻打造精致易用的新闻应用
原生智能是HarmonyOS NEXT的核心亮点之一,依托HarmonyOS SDK丰富全面的开放能力,开发者只需通过几行代码,即可快速实现AI功能.新浪新闻作为鸿蒙原生应用开发的先行者之一,从有声资 ...
- docker 应用篇————docker 的文件系统[十]
前言 简单介绍一下docker的文件系统. 正文 docker 容器启动就是一个文件系统的启动. 在docker中,每一层镜像都具备一些文件. 比如说,有一个centos的镜像. 里面就是一个微小版的 ...
- 力扣1127(MySQL)-用户购买平台（困难）
题目: 支出表: Spending 这张表记录了用户在一个在线购物网站的支出历史,该在线购物平台同时拥有桌面端('desktop')和手机端('mobile')的应用程序.这张表的主键是 (user_ ...