Docker实践(3)—浅析device mapper的thin provision
thin provision是在 kernel3.2 中引入的。它主要有以下一些特点:
(1)允许多个虚拟设备存储在相同的数据卷中,从而达到共享数据,节省空间的目的;
(2)支持任意深度的快照。之前的实现的性能为O(n),新的实现通过一个单独的数据避免了性能随快照深度的增加而降低。
(3)支持元数据存储到单独的设备上。这样就可以将元数据放到镜像设备或者更快的SSD上。
上面3个特性正是devicemapper支持docker存储镜像的关键特性。
使用lvm管理thin provisioning
# dd if=/dev/zero of=lvm0.img bs=1024k count=256
# losetup /dev/loop7 lvm0.img
# losetup -a
/dev/loop0: [fd00]:786725 (/dev/loop0)
/dev/loop1: [fd00]:786726 (/dev/loop1)
/dev/loop7: [fd00]:420986 (/root/lvm/lvm0.img)
# pvcreate /dev/loop7
Physical volume "/dev/loop7" successfully created
# vgcreate vg_test /dev/loop7
Volume group "vg_test" successfully created
在volume group中创建一个thin pool,大小为200M:
# lvcreate -L 200M -T vg_test/mythinpool
Logical volume "lvol0" created
Logical volume "mythinpool" created
# ls /dev/mapper/* |grep mythin
/dev/mapper/vg_test-mythinpool
/dev/mapper/vg_test-mythinpool_tdata
/dev/mapper/vg_test-mythinpool_tmeta
/dev/mapper/vg_test-mythinpool-tpool
创建thin logical volume:
# lvcreate -T vg_test/mythinpool -V 300M -n lvol1
Logical volume "lvol1" created
虽然thin pool只有200M,却可以创建300M的逻辑卷。
# lvs
LV VG Attr LSize Pool Origin Data% Move Log Cpy%Sync Convert
lvol1 vg_test Vwi-a-tz-- 300.00m mythinpool 0.00
mythinpool vg_test twi-a-tz-- 200.00m 0.00
创建快照:
# lvcreate -s --name mysnapshot1 vg_test/lvol1
Logical volume "mysnapshot1" created
使用dmsetup管理thin provisioning
创建thin pool
dmsetup create pool \
--table "0 20971520 thin-pool $metadata_dev $data_dev \
$data_block_size $low_water_mark"
# dmsetup create yy_thin_pool --table '0 409600 thin-pool /dev/loop6 /dev/loop7 128 0'
# dmsetup table /dev/mapper/yy_thin_pool
0 409600 thin-pool 7:6 7:7 128 0 0
# dmsetup remove yy_thin_pool
创建thinly-provisioned volume
首先,必须发送消息给pool:
dmsetup message /dev/mapper/yy_thin_pool 0 "create_thin 0"
这里的”0”是卷标识符,24位的数字,由调用者进行分配,如果已经存,会返回-EEXIST错误。
使用thinly-provisioned volume
创建一个20M大小的volume
dmsetup create thin --table "0 40960 thin /dev/mapper/yy_thin_pool 0"
# dmsetup table /dev/mapper/thin
0 40960 thin 253:3 0
#mkfs.ext4 /dev/mapper/thin
#mount /dev/mapper/thin /mnt/share1
/dev/mapper/thin 20M 1.2M 18M 7% /mnt/share1
Internal snapshots
创建快照
对一个active的卷创建快照,先要suspend volume。
dmsetup suspend /dev/mapper/thin
dmsetup message /dev/mapper/yy_thin_pool 0 "create_snap 1 0"
dmsetup resume /dev/mapper/thin
dmsetup create snap --table "0 40960 thin /dev/mapper/yy_thin_pool 1"
红色部分是快照的名称。
删除volume
dmsetup remove thin
dmsetup message /dev/mapper/yy_thin_pool 0 "delete 0"
docker的结构
docker内部的存储结构大概如下:
docker在初始化过程中,会创建一个100G的用于存储数据,和一个2G的用于存储元数据的稀疏文件,然后分别附加到回环块设备/dev/loop0和/dev/loop1。然后基于回环块设备创建thin pool。
docker在创建image,会将image的信息(struct DevInfo)写到文件/var/lib/docker/devicemapper/metadata/$id,参考函数(devices *DeviceSet) registerDevice。
主要参考
[1]https://www.kernel.org/doc/Documentation/device-mapper/thin-provisioning.txt
作者:YY哥
出处:http://www.cnblogs.com/hustcat/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
Docker实践(3)—浅析device mapper的thin provision的更多相关文章
- Docker存储驱动之Device Mapper简介
Device Mapper是一个基于kernel的框架,它增强了很多Linux上的高级卷管理技术.Docker的devicemapper驱动在镜像和容器管理上,利用了该框架的超配和快照功能.为了区别, ...
- Docker存储驱动Device Mapper,Overlay,AUFS
Docker存储驱动之Device Mapper简介 - BookShu - 博客园https://www.cnblogs.com/styshoo/p/6528762.html Docker存储驱动之 ...
- 使用 Device Mapper来改变Docker容器的大小
作者:Jérôme Petazzoni ( Docker 布道师) 译者:Mark Shao ( EMC 中国高级工程师) 如果在 CentOS . REHL . Fedor 或者其他默认没有 AUF ...
- Docker Device Mapper 使用 direct-lvm
一.Device Mapper: loop-lvm 默认 CentOS7 下 Docker 使用的 Device Mapper 设备默认使用 loopback 设备,后端为自动生成的稀疏文件,如下 ...
- centos7+ docker 实践部署docker及配置direct_lvm
转载于博客园:http://www.cnblogs.com/Andrew-XinFei/p/6245330.html 前言 Docker现在在后端是那么的火热..尤其当笔者了解了docker是什么.能 ...
- Docker实践,来自沪江、滴滴、蘑菇街架构师的交流分享
架构师小组交流会:每期选一个时下最热门的技术话题进行实践经验分享. 第一期主题:容器实践.Docker 作为当前最具颠覆性的开源技术之一,其轻量虚拟化.可移植性是CI/CD,DevOps,微服务的重要 ...
- Linux系统中的Device Mapper学习
在linux系统中你使用一些命令时(例如nmon.iostat 如下截图所示),有可能会看到一些名字为dm-xx的设备,那么这些设备到底是什么设备呢,跟磁盘有什么关系呢?以前不了解的时候,我也很纳闷. ...
- Linux 内核中的 Device Mapper 机制
本文结合具体代码对 Linux 内核中的 device mapper 映射机制进行了介绍.Device mapper 是 Linux 2.6 内核中提供的一种从逻辑设备到物理设备的映射框架机制,在该机 ...
- Device Mapper Multipath(DM-Multipath)
Device Mapper Multipath(DM-Multipath)能够将server节点和存储阵列之间的多条I/O链路配置为一个单独的设备.这些I/O链路是由不同的线缆.交换机.控制器组成的S ...
随机推荐
- 【nginx】利用yum源安装nginx
先安装nginx的yum源 http://nginx.org/en/linux_packages.html#stable 找到链接,安装: rpm -ivh http://nginx.org/pack ...
- hive踩过的小坑
上周使用hive做一些操作,几个小问题纠结很久.特此记录下: hive概念 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以 ...
- sanBox部署简介
参考资料:1 http://www.kaaproject.org/getting-started/ 此链接告诉我们部署sandbox的两种方法. 2 http://docs.kaaprojec ...
- GetProcAddress 宏
#define FUNC_ADDR(hDll, func) pf##func func = \ (pf##func)GetProcAddress(hDll,#func);\ if(! func) {\ ...
- 转-Asp.Net MVC及Web API框架配置会碰到的几个问题及解决方案
前言 刚开始创建MVC与Web API的混合项目时,碰到好多问题,今天拿出来跟大家一起分享下.有朋友私信我问项目的分层及文件夹结构在我的第一篇博客中没说清楚,那么接下来我就准备从这些文件怎么分文件夹说 ...
- Five More Hacker Tools Every CISO Should Understand
As we mentioned in the first article, Top Five Hacker Tools Every CISO Should Understand, the role o ...
- windows 7 32bit安装 python3.5.0 安装错误 0x80240017 -未指定错误
日志显示如下: [0F60:03D4][2015-10-20T10:47:52]i001: Burn v3.10.0.1823, Windows v6.1 (Build 7600: Service P ...
- Linux shell的&&和||
Linux shell的&&和|| shell 在执行某个命令的时候,会返回一个返回值,该返回值保存在 shell 变量 $? 中.当 $? == 0 时,表示执行成功:当 $? ...
- Ubuntu下Speedtest的安装
要安装Speedtest,需要先安装apache,参见<Ubuntu下Apache的安装>一文:*(再安装LAMP server,参见<Ubuntu下快速安装LAMP server& ...
- 再议C++的性能
最近在公司里的项目做的是性能优化,相关性能调优的经验总结也在前一篇文章里说了.这里再说一说和性能相关的东西.主要针对的是C++类库中常用的一些数据结构,比方说std::string.顺序容器(vect ...