Docker Device Mapper 使用 direct-lvm
一、Device Mapper: loop-lvm
默认 CentOS7 下 Docker 使用的 Device Mapper 设备默认使用 loopback 设备,后端为自动生成的稀疏文件,如下:
# ls -lsh /var/lib/docker/devicemapper/devicemapper/
总用量 510M
508M -rw-------. 1 root root 100G 10月 30 00:00 data
1.9M -rw-------. 1 root root 2.0G 10月 30 00:00 metadata
data [存放数据] 和 metadata [存放元数据] 的大小从输出可以看出初始化默认为 100G 和 2G 大小,都是稀疏文件,使用多少占用多少。
Docker 在初始化的过程中,创建 data 和 metadata 这两个稀疏文件,并分别附加到回环设备/dev/loop0
和 /dev/loop1
上,然后基于回环设备创建 thin pool。 默认一个 container 最大存放数据不超过 10G[注:docker 1.8 之后默认的大小已经为 100G,建议生产环境针对 container pool 大小监控。],如果需要调整则需要修改 /etc/sysconfig/docker
配置文件添加相关选项 --storage-opt
调整即可(详细参考 man docker 查看 STORAGE DRIVER OPTIONS 具体参数说明)。
# docker info
Containers: 2
Images: 13
Storage Driver: devicemapper
Pool Name: docker-253:1-100673362-pool
Pool Blocksize: 65.54 kB
Backing Filesystem: xfs
Data file: /dev/loop0
Metadata file: /dev/loop1
Data Space Used: 533.5 MB
Data Space Total: 107.4 GB
Data Space Available: 40.75 GB
Metadata Space Used: 1.221 MB
Metadata Space Total: 2.147 GB
Metadata Space Available: 2.146 GB
Udev Sync Supported: true
Data loop file: /var/lib/docker/devicemapper/devicemapper/data
Metadata loop file: /var/lib/docker/devicemapper/devicemapper/metadata
... ...
# lsblk
... ...
loop0 7:0 0 100G 0 loop
└─docker-253:1-100673362-pool 252:0 0 100G 0 dm
├─docker-253:1-100673362-61f1302169c719e4f671942d6158bba061a0b5081c98d40e8ca9749f1a521ca4 252:1 0 10G 0 dm
└─docker-253:1-100673362-79c4340c3e06584d4e3630ad4a9b3a768066a52b0a04c9cb7bffa0b45bec8747 252:2 0 10G 0 dm
loop1 7:1 0 2G 0 loop
└─docker-253:1-100673362-pool 252:0 0 100G 0 dm
├─docker-253:1-100673362-61f1302169c719e4f671942d6158bba061a0b5081c98d40e8ca9749f1a521ca4 252:1 0 10G 0 dm
└─docker-253:1-100673362-79c4340c3e06584d4e3630ad4a9b3a768066a52b0a04c9cb7bffa0b45bec8747 252:2 0 10G 0 dm
... ...
二、Device Mapper: direct-lvm
direct-lvm 也是使用 LVM, device mapper the dm-thinp 内核模块,使用 direct-lvm 不再使用 loopback 设备,直接使用 raw 分区(no filesystem),在中等负载和高密度环境下会有更好的性能优势,另外官方也是不建议生产环境系统使用默认的 LVM thin pool,至于两种类型具体的性能对比可以参考 Comprehensive Overview of Storage Scalability in Docker 这篇文章。
CentOS7 从 docker-1.6.2-14.el7.centos.x86_64.rpm
开始提供 docker-storage-setup
工具,方便配置 direct-lvm,所以推荐使用该工具配置。当然也可以手动配置 lvm,添加相关配置选项,不过过程较为繁琐一点,至于如何手动配置笔者没有尝试,不过本文附加了相关部署的参考文章,有需求的可以看看,这里只介绍使用 docker-storage-setup
配置 direct-lvm。
示例配置文件位置 /usr/lib/docker-storage-setup/docker-storage-setup
,可以查看其中相关配置的详细说明,或者通过 man docker-storage-setup
获取帮助,以下介绍几个关键的选项:
- DATA_SIZE=40%FREE
- 定义创建 DATA thin pool 的大小,默认为 VG 的 40%
- MIN_DATA_SIZE=2G
- 定义 DATA pool 最小值,默认为 2G,如果 VG 小于 2G 则创建失败
- CHUNK_SIZE=512K
- 定义 thin pool 的 CHUNK 大小,默认 512k
- AUTO_EXTEND_POOL=yes
- 定义是否自动扩容 thin pool 大小,默认为自动扩容
- POOL_AUTOEXTEND_THRESHOLD=60
- 定义自动扩容的百分比,默认为当前 pool 使用 60% 时自动扩容,100 表示 disable,最小为 50lvmthin — LVM thin provisioning
- POOL_AUTOEXTEND_PERCENT=20
- 定义每次扩容的大小,默认为 20%,即当前 pool 大小为 100G,那么自动扩容 20G,扩容后大小为 120G, 100 表示 disable
docker-storage-setup 设置之后自动扩容的实际配置在 /etc/lvm/profile/
目录下:
因为测试的 LVM 卷组名为 docker-vg,因此 docker-storage-setup 自动生成配置文件为/etc/lvm/profile/docker-vg--docker-pool-extend.profile
# cat /etc/lvm/profile/docker-vg--docker-pool-extend.profile
activation {
thin_pool_autoextend_threshold=60
thin_pool_autoextend_percent=20
}
使用 lvs -o+seg_monitor
可验证监控状态。
示例
主机先添加一块设备,本例设备名为 /dev/vdc
,添加 docker-storage-setup
配置文件:
# systemctl stop docker # 停止当前运行的 docker
# cat /etc/sysconfig/docker-storage-setup
DEVS=/dev/vdc # A quoted, space-separated list of devices to be used. 如果添加多个设备则以空格分隔 DEVS="/dev/sdc /dev/sdd /dev/sde"
VG=docker-vg # The volume group to use for docker storage.
SETUP_LVM_THIN_POOL=yes
# docker-storage-setup # 执行 setup 操作,相关 lvm 将自动创建
创建完成之后,可以查看相关的配置
# cat /etc/sysconfig/docker-storage # 配置已经自动修改
DOCKER_STORAGE_OPTIONS=-s devicemapper --storage-opt dm.fs=xfs --storage-opt dm.thinpooldev=/dev/mapper/docker--vg-docker--pool
# grep 'sysconfig/docker-storage' /usr/lib/systemd/system/docker.service
EnvironmentFile=-/etc/sysconfig/docker-storage # 可以看出 docker 启动会自动加载该配置文件
删除源数据并启动 docker
# cat /etc/sysconfig/docker-storage-setup
# DEVS=/dev/vdc # 注释该行
VG=docker-vg
SETUP_LVM_THIN_POOL=yes
# rm -rf /var/lib/docker
# systemctl restart lvm2-monitor # 确保 lvm2-monitor 服务运行
# systemctl start docker
# docker info
Containers: 39
Images: 98
Storage Driver: devicemapper
Pool Name: docker--vg-docker--pool # 此处已经变为相关的设备文件
Pool Blocksize: 524.3 kB
Backing Filesystem: <unknown>
Data file:
Metadata file:
Data Space Used: 14.16 GB
Data Space Total: 64.35 GB
Data Space Available: 50.19 GB
Metadata Space Used: 4.702 MB
Metadata Space Total: 109.1 MB
Metadata Space Available: 104.3 MB
Udev Sync Supported: true
Library Version: 1.02.93-RHEL7 (2015-01-28)
... ...
三、参考
- Docker 官方文档:
- 性能相关:
- 部署相关:
Docker Device Mapper 使用 direct-lvm的更多相关文章
- 使用 Device Mapper来改变Docker容器的大小
作者:Jérôme Petazzoni ( Docker 布道师) 译者:Mark Shao ( EMC 中国高级工程师) 如果在 CentOS . REHL . Fedor 或者其他默认没有 AUF ...
- Docker存储驱动之Device Mapper简介
Device Mapper是一个基于kernel的框架,它增强了很多Linux上的高级卷管理技术.Docker的devicemapper驱动在镜像和容器管理上,利用了该框架的超配和快照功能.为了区别, ...
- Docker存储驱动Device Mapper,Overlay,AUFS
Docker存储驱动之Device Mapper简介 - BookShu - 博客园https://www.cnblogs.com/styshoo/p/6528762.html Docker存储驱动之 ...
- Linux系统中的Device Mapper学习
在linux系统中你使用一些命令时(例如nmon.iostat 如下截图所示),有可能会看到一些名字为dm-xx的设备,那么这些设备到底是什么设备呢,跟磁盘有什么关系呢?以前不了解的时候,我也很纳闷. ...
- Linux 内核中的 Device Mapper 机制
本文结合具体代码对 Linux 内核中的 device mapper 映射机制进行了介绍.Device mapper 是 Linux 2.6 内核中提供的一种从逻辑设备到物理设备的映射框架机制,在该机 ...
- Device Mapper Multipath(DM-Multipath)
Device Mapper Multipath(DM-Multipath)能够将server节点和存储阵列之间的多条I/O链路配置为一个单独的设备.这些I/O链路是由不同的线缆.交换机.控制器组成的S ...
- [转] Linux 内核中的 Device Mapper 机制
本文结合具体代码对 Linux 内核中的 device mapper 映射机制进行了介绍.Device mapper 是 Linux 2.6 内核中提供的一种从逻辑设备到物理设备的映射框架机制,在该机 ...
- Linux kernel device mapper
Device Mapper 是 Linux2.6 内核中支持逻辑卷管理的通用设备映射机制,它为实现用于存储资源管理的块设备驱动提供了一个高度模块化的内核架构,如图 1. 图1 Device Mappe ...
- flashcache中应用device mapper机制
Device Mapper(DM)是Linux 2.6全面引入的块设备新构架,通过DM可以灵活地管理系统中所有的真实或虚拟的块设备. DM以块设备的形式注册到Linux内核中,凡是挂载(或者说“映射” ...
随机推荐
- Hark的数据结构与算法练习之堆排序
前言 堆排序我是看了好半天别人的博客才有了理解,然后又费了九牛二虎之力才把代码写出来,我发现我的基础真的很差劲啊……不过自己选的路一定要坚持走下去.我试着把我的理解描述出来,如有不妥之处希望大家可以指 ...
- Spotlight实时监控Windows Server 2008
Windows Server 2008作为服务器平台已逐渐被推广和应用,丰富的功能和良好的稳定性为其赢得了不错的口碑.但是和Windows Server 2003相比,其系统的自我监控功能并没有多大的 ...
- try-catch 示例
package unit5; import java.util.Scanner; import javax.print.CancelablePrintJob; import javax.sound.m ...
- CodeForces 300C --数论
A - A Time Limit:2000MS Memory Limit:262144KB 64bit IO Format:%I64d & %I64u Submit Statu ...
- Swift版iOS游戏框架Sprite Kit基础教程下册
Swift版iOS游戏框架Sprite Kit基础教程下册 试读下载地址:http://pan.baidu.com/s/1qWBdV0C 介绍:本教程是国内唯一的Swift版的Spritekit教程. ...
- 安卓智能手持POS打印票据 扫描盘点移动开单软件/无线开单系统/PDA移动开单软件
移动开单手持机,它通过WIFI或者GPRS连接并访问电脑数据,实现移动扫描开单,数据同步上传等功能.方便.实用,大大提高工作效率!安卓智能手持POS是一套适合大酒店.咖啡馆..洗衣店.按摩洗浴,商场等 ...
- POJ1679 The Unique MST(次小生成树)
可以依次枚举MST上的各条边并删去再求最小生成树,如果结果和第一次求的一样,那就是最小生成树不唯一. 用prim算法,时间复杂度O(n^3). #include<cstdio> #incl ...
- BZOJ3833 : [Poi2014]Solar lamps
首先旋转坐标系,将范围表示成矩形或者射线 如果范围是一条线,则将灯按y坐标排序,y坐标相同的按x坐标排序, 对于y相同的灯,f[i]=min(i,它前面灯发光时刻的第k[i]小值), 线段树维护,$O ...
- C#的泛型委托Predicate/Func/Action(转)
Predicate 泛型委托:表示定义一组条件并确定指定对象是否符合这些条件的方法.此委托由 Array 和 List 类的几种方法使用,用于在集合中搜索元素. 类型参数介绍: T: 要比较的对 ...
- Javascript Math ceil()、floor()、round()三个函数的区别
Round是四舍五入的...Ceiling是向上取整..float是向下取整. ceil():将小数部分一律向整数部分进位. 如: Math.ceil(12.2)//返回13 Math.ceil(12 ...