Docker容器学习梳理 - 容器硬盘热扩容
前面已介绍了docker很多知识点的操作记录，今天这里梳理下docker容器空间扩展的操作。默认情况下，物理机下创建的docker容器的空间是10G（虚拟机下创建的docker容器空间就是虚拟机的空间）。在实际生产环境下，对docker容器进行热扩容(动态扩容)是非常重要的一个需求。
Docker容器动态扩展的优点：
1）不需要修改docker配置，不需要重启docker服务；
2）可以直接对运行中的容器进行动态扩展（只能增，无法缩）；
Docker容器动态扩展的条件：
1）docker所在宿主机分区的格式必须是ext2、ext3、ext4；
2）docker存储引擎必须是devicemapper
下面的操作均是在centos6下操作的：
宿主机分区的格式是ext4
[root@localhost ~]# df -hT
Filesystem Type Size Used Avail Use% Mounted on
/dev/sda3 ext4 193G 103G 80G 57% /
tmpfs tmpfs 32G 0 32G 0% /dev/shm
/dev/sda1 ext4 194M 79M 106M 43% /boot
/dev/sda2 ext4 721G 136G 549G 20% /home 1）下载私有仓库里的镜像（centos6和centos7下的docker命令和配置还是有所不同的）
[root@localhost ~]# vim /etc/sysconfig/docker
......
other_args='--insecure-registry=192.168.1.23:5000'
..... [root@localhost ~]# service docker restart
Stopping docker: [ OK ]
Starting docker: [ OK ] [root@localhost ~]# docker pull 192.168.1.23:5000/tomcat7
latest: Pulling from 192.168.1.23:5000/tomcat7
3690474eb5b4: Pull complete
0a444b299d5a: Pull complete
a04895de1996: Pull complete
08e1d80f2b80: Pull complete
fa7cc393f68b: Pull complete
Digest: sha256:b28f263bb8d5de3c93d64e85a5e9ee5cd6a1042f45ecbb951888d897d99e14e2
Status: Downloaded newer image for 192.168.1.23:5000/tomcat7:latest [root@localhost ~]# docker images
REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE
192.168.1.23:5000/tomcat7 latest fa7cc393f68b 2 weeks ago 562.3 MB 2）创建容器
[root@localhost ~]# docker run -ti -d --name my-test -p 8998:8080 192.168.1.23:5000/tomcat7 /bin/bash
813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3 [root@localhost ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
813389572d7f 192.168.1.23:5000/tomcat7 "/bin/bash" 29 seconds ago Up 28 seconds 0.0.0.0:8998->8080/tcp my-test [root@localhost ~]# docker exec -ti my-test /bin/bash
[root@813389572d7f /]# df -HT
Filesystem Type Size Used Avail Use% Mounted on
/dev/mapper/docker-8:3-4850707-813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3 ext4 9.9G 703M 8.7G 8% /
tmpfs tmpfs 34G 0 34G 0% /dev
shm tmpfs 68M 0 68M 0% /dev/shm
/dev/sda3 ext4 207G 111G 86G 57% /etc/hosts 注意
容器my-test的大小为默认的10G。
上面命令结果中的/dev/mapper/docker-8:3-4850707-813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3文件就是my-test容器存储的文件名。 3）--------------下面开始进行容器空间的动态扩容------------------ 使用dmsetup查看该文件扇区信息.下面命令结果中的第二个数字（即20971520）是设备的大小，表示有多少个 512－bytes 的扇区. 这个值略高于 10GB 的大小。
[root@localhost ~]# dmsetup table /dev/mapper/docker-8:3-4850707-813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3
0 20971520 thin 253:0 13 计算20G所需扇区数目
[root@localhost ~]# echo $((20*1024*1024*1024/512))
41943040 精简快照目标的一个神奇的特点是它不会限制卷的大小。当创建它的时候，一个精简的卷使用0个块，当开始往块里面写入的时候，它们会从共用的块池中进行分配。
可以写0个块，或者是10亿个块，这个和精简快照目标没关系。文件系统的大小只和Device Mapper表有关系。
只需要装载一个新的表，这个完全和之前的是一样的，但是有更多的扇区。仅此而已。 将新的扇区大小写入，注意只是改变旧表中的第二个数字20971520的数字，其他数字不变！
[root@localhost ~]# echo 0 41943040 thin 253:0 13 | dmsetup load /dev/mapper/docker-8:3-4850707-813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3 将修改后的容器存储文件激活
[root@localhost ~]# dmsetup resume /dev/mapper/docker-8:3-4850707-813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3 重新查看文件信息
[root@localhost ~]# dmsetup table /dev/mapper/docker-8:3-4850707-813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3
0 41943040 thin 253:0 13 更改文件系统大小，使变更生。
[root@localhost ~]# resize2fs /dev/mapper/docker-8:3-4850707-813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3
resize2fs 1.41.12 (17-May-2010)
Filesystem at /dev/mapper/docker-8:3-4850707-813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3 is mounted on /var/lib/docker/devicemapper/mnt/813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3; on-line resizing required
old desc_blocks = 1, new_desc_blocks = 2
Performing an on-line resize of /dev/mapper/docker-8:3-4850707-813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3 to 5242880 (4k) blocks.
The filesystem on /dev/mapper/docker-8:3-4850707-813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3 is now 5242880 blocks long. ------------------------------------------------------------------------------------------------------------------
如果这一步出现下面报错：
resize2fs 1.42.9 (28-Dec-2013)
resize2fs: 设备或资源忙 当尝试打开 /dev/mapper/docker-253:0-268868570-2163383f446357876b301fb3942b706436b5eea111c06a3acba0006ec5272372 时找不到有效的文件系统超级块. 原因是resize2fs仅能支持ext2、ext3、ext4，不支持xfs。将docker服务器的文件系统格式调整为ext4即可。
本文操作机是centos6系统，分区都是ext4格式，故不会出现这个报错
------------------------------------------------------------------------------------------------------------ 再次登录my-test容器，发现容器大小已经更新为20G！
[root@localhost ~]# docker exec -ti my-test /bin/bash
[root@813389572d7f /]# df -hT
Filesystem Type Size Used Avail Use% Mounted on
/dev/mapper/docker-8:3-4850707-813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3 ext4 20G 708M 18G 4% /
tmpfs tmpfs 32G 0 32G 0% /dev
shm tmpfs 64M 0 64M 0% /dev/shm
/dev/sda3 ext4 193G 103G 80G 57% /etc/hosts --------------------------------------------------------------------------------------------
扩容后可能出现的问题：停止该容器后，无法重新启动-
当容器扩容之后，由于dm认为设备块大小仍然为之前设置的初始大小，所以会发生无法起启动的情况，这时只要重新操作即可。
必须要先启动一下，让其生成dm文件才能修改
[root@localhost ~]# docker start my-test
#此时会报错，不要理会，执行以下操作即可
[root@localhost ~]# echo 0 41943040 thin 253:3 725 | dmsetup load /dev/mapper/docker-8:3-4850707-813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3
[root@localhost ~]# dmsetup resume /dev/mapper/docker-8:3-4850707-813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3
--------------------------------------------------------------------------------------------
为了方便后续容器动态扩容，可以采用下面的Dynamic_Modify_Docker_Disk.sh脚本（经测试可以使用）
#!/bin/bash
#This script is dynamic modify docker container disk
#Author Deng Lei
if [ -z $1 ] || [ -z $2 ]; then
echo "Usage: container_name increase_capacity"
echo "Example: I want increase 11G to test"
echo "The command is: sh `basename $0` test 11"
exit 1
fi
if [ `docker inspect $1 &>>/dev/null && echo 0 || echo 1` -eq 1 ];then
echo "The container $1 is no exist!"
exit 1
fi
container_id=`docker inspect -f '{{ .Id }}' $1`
now_disk=`dmsetup table /dev/mapper/docker-*-$container_id|awk '{print $2}'`
disk=$(($2*1024*1024*1024/512))
if [ $disk -lt $now_disk ];then
echo "I can't shink container $1 from $(($now_disk*512/1024/1024/1024))G to ${2}G!I only modify contanier increase disk!"
exit 1
fi
dmsetup table /dev/mapper/docker-*-$container_id|sed "s/0 [0-9]* thin/0 $disk thin/"|dmsetup load /dev/mapper/docker-*-$container_id
dmsetup resume /dev/mapper/docker-*-$container_id
resize2fs /dev/mapper/docker-*-$container_id
if [ $? -eq 0 ];then
echo "dynamic container $1 disk to ${2}G is success!"
else
echo "dynamic container $1 disk to ${2}G is fail!"
fi
比如给my-test容器动态扩容到30G
[root@localhost ~]# chmod 755 Dynamic_Modify_Docker_Disk.sh
[root@localhost ~]# sh Dynamic_Modify_Docker_Disk.sh my-test 30
resize2fs 1.41.12 (17-May-2010)
Filesystem at /dev/mapper/docker-8:3-4850707-813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3 is mounted on /var/lib/docker/devicemapper/mnt/813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3; on-line resizing required
old desc_blocks = 2, new_desc_blocks = 2
Performing an on-line resize of /dev/mapper/docker-8:3-4850707-813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3 to 7864320 (4k) blocks.
The filesystem on /dev/mapper/docker-8:3-4850707-813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3 is now 7864320 blocks long. dynamic container my-test disk to 30G is success! 登陆容器查看，已扩容至30G！
[root@localhost ~]# docker exec -ti my-test /bin/bash
[root@813389572d7f /]# df -hT
Filesystem Type Size Used Avail Use% Mounted on
/dev/mapper/docker-8:3-4850707-813389572d7f569e7b3705070033b43cf9e42ed9d304e03662c92533838ddec3 ext4 30G 708M 28G 3% /
tmpfs tmpfs 32G 0 32G 0% /dev
shm tmpfs 64M 0 64M 0% /dev/shm
/dev/sda3
动态扩容后，对容器进行重启，会发生报错，此时再运行一次该脚本进行重新扩容（空间大小要等于或大于之前的设置，出现报错不用管），再启动容器即可（注意：docker容器目前是无法进行动态缩减的，仅能进行增加操作）。
================================================================================
这里需要注意一下：
上面的操作在centos6下进行docker容器的硬盘扩容可以顺利完成，但在centos7下进行这些操作可能有点问题。
虽然centos 7里使用docker的时候默认存储引擎是devicemapper，但是在docker容器硬盘扩容的resize2fs这一步会出现类似下面报错：
resize2fs 1.42.9 (28-Dec-2013)
resize2fs: Device or resource busy while trying to open /dev/mapper/docker-253:1-1270544-d2d2cef71c86910467c1afdeb79c1a008552f3f9ef9507bb1e04d77f2ad5eac4
Couldn't find valid filesystem superblock.
原因是resize2fs命令仅能支持ext2、ext3、ext4，不支持xfs，而xfs是CentOS7的默认文件系统类型。
所以建议docker服务器的文件系统格式调整为ext4（在centos7系统安装时可以手动指定所在分区为ext4格式）。
======================下面说下Docker镜像和容器存放目录修改方法======================
这里为了测试效果，将xfs格式的home分区盘卸载，格式化为ext4后重新挂载(当然也可以再用之前的xfs格式)。然后将Docker的镜像、容器存放目录由之前默认的/var/lib/docker修改为home分区下的路径。
（当然，也可以另外新建一个分区,格式化,然后直接挂载到/var/lib/docker目录下）
[root@localhost ~]# df -hT
文件系统 类型 容量 已用 可用 已用% 挂载点
/dev/mapper/centos-root xfs 150G 5.7G 145G 4% /
devtmpfs devtmpfs 32G 0 32G 0% /dev
tmpfs tmpfs 32G 0 32G 0% /dev/shm
tmpfs tmpfs 32G 474M 31G 2% /run
tmpfs tmpfs 32G 0 32G 0% /sys/fs/cgroup
/dev/mapper/centos-home xfs 774G 33M 774G 1% /home
/dev/sda2 xfs 397M 120M 278M 31% /boot
tmpfs tmpfs 6.3G 0 6.3G 0% /run/user/0 [root@localhost ~]# umount /home/ //卸载home分区盘
[root@localhost ~]# mkfs.ext4 /dev/mapper/centos-home //格式化home盘为ext4文件格式
[root@localhost ~]# mount /dev/mapper/centos-home /home //重新挂载
[root@localhost ~]# df -hT
文件系统 类型 容量 已用 可用 已用% 挂载点
/dev/mapper/centos-root xfs 150G 5.7G 145G 4% /
devtmpfs devtmpfs 32G 0 32G 0% /dev
tmpfs tmpfs 32G 0 32G 0% /dev/shm
tmpfs tmpfs 32G 474M 31G 2% /run
tmpfs tmpfs 32G 0 32G 0% /sys/fs/cgroup
/dev/sda2 xfs 397M 120M 278M 31% /boot
tmpfs tmpfs 6.3G 0 6.3G 0% /run/user/0
/dev/mapper/centos-home ext4 762G 73M 723G 1% /home 接着就可以移动Docker的数据到ext4格式的home磁盘上了：
先停止docker服务，保证移动的时候数据完整
[root@localhost ~]# service docker stop 移动Docker的目录到一个备份的目录（可以mv改目录名，docker重启后会自动生成这个目录；也可以将目录下内容全部拷贝到别处，届时要想恢复docker数据，只需要将备份内容拷贝回来，然后重启docker服务即可）
[root@localhost ~]# mv /var/lib/docker /var/lib/docker_bak //这样，再次启动docker服务后，镜像及容器数据都不在了。只有将拷贝内容移回来，数据才会恢复。 修改开启自挂载配置，将home分区由之前的xfs改为ext4.
[root@localhost ~]# cat /etc/fstab #
# /etc/fstab
# Created by anaconda on Wed Oct 19 15:16:20 2016
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root / xfs defaults 0 0
UUID=349c9816-43e9-4c46-991a-e34e2370ab3f /boot xfs defaults 0 0
/dev/mapper/centos-home /home ext4 defaults 0 0
/dev/mapper/centos-swap swap swap defaults 0 0 [root@localhost ~]# mount -a //这条命令是重新加载/etc/fstab文件，没有文件里定义的分区挂载没有挂，这条命令就会自动挂载上。
[root@localhost ~]# mount |grep home
/dev/mapper/centos-home on /home type ext4 (rw,relatime,seclabel,data=ordered) 最后修改docker的镜像和容器存放路径，比如修改为/home/var/docker。
[root@localhost ~]# mkdir -p /home/var/docker
[root@localhost ~]# vim /etc/sysconfig/docker
......
OPTIONS='--selinux-enabled --log-driver=journald --graph=/home/var/docker' //添加--graph=/home/var/docker参数 然后启动docker服务，发现在新指定的目录/home/var/docker下产生了新数据
[root@localhost ~]# service docker start
[root@localhost ~]# ls /home/var/docker/
containers devicemapper image network tmp trust volumes 接着恢复之前的镜像数据
[root@localhost ~]# service docker stop
[root@localhost ~]# rm -rf /home/var/docker/*
[root@localhost ~]# mv /var/lib/docker_bak/* /home/var/docker/
[root@localhost ~]# service docker start
[root@localhost ~]# docker images //发现镜像数据已恢复到新目录/home/var/docker下了
REPOSITORY TAG IMAGE ID CREATED SIZE
192.168.1.23:5000/tomcat7 latest 47c5123914a1 8 days ago 562.3 MB
docker.io/redis latest 83d6014ac5c8 13 days ago 183.6 MB
docker.io/ubuntu latest 0ef2e08ed3fa 5 weeks ago 130 MB
docker.io/centos latest 67591570dd29 3 months ago 191.8 MB
docker.io/tomcat latest ebb17717bed4 5 months ago 355.4 MB
================================温馨提示================================
1）无法卸载分区
[root@localhost ~]# umount /home/
umount: /home: device is busy.
(In some cases useful info about processes that use
the device is found by lsof(8) or fuser(1)) 如上，卸载分区时提示无法卸载，则是有进程占用/home。
可以使用下面命令来终止占用进程：
[root@localhost ~]# fuser -m -k /home
/home: 1409 1519ce 1531e 1532e 1533e 1534e 1535e 1536e 1537e 1538e 1539e 1541e 1543e 1544e 1545e 1546e 1547e 1548e 1549e 1550e 1601m 再次卸载home分区就成功了。
[root@localhost ~]# umount /home/ -k 表示自动把霸占home分区的进程kill掉！
如果你不是很明确是否要杀死所有霸占设备的程序，还可以加一个-i 参数，这样每杀死一个程序前，都会询问！（即fuser －m -v -i -k /home） 2）如按照上面步骤，将docker的存放目录更换到/home/var/docker下。
如果后续再对home分区进行强制卸载，然后再重新挂载或格式化的时候，会发现有报错：
[root@localhost ~]# fuser -m -k /home
[root@localhost ~]# mkfs.ext4 /dev/mapper/centos-home
mkfs.ext4: /dev/mapper/centos-home contains a mounted filesystem
[root@localhost ~]# mount/dev/mapper/centos-home
mount: /dev/mapper/centos-home is already mounted or /home busy 这是因为docker数据还占用着home分区，需要将docker服务停了才可以。
Docker容器学习梳理 - 容器硬盘热扩容的更多相关文章
- Docker容器学习梳理 - 容器间网络通信设置(Pipework和Open vSwitch)
自从Docker容器出现以来,容器的网络通信就一直是被关注的焦点,也是生产环境的迫切需求.容器的网络通信又可以分为两大方面:单主机容器上的相互通信,和跨主机的容器相互通信.下面将分别针对这两方面,对容 ...
- Docker容器学习梳理 - 容器时间跟宿主机时间同步
在Docker容器创建好之后,可能会发现容器时间跟宿主机时间不一致,这就需要同步它们的时间,让容器时间跟宿主机时间保持一致.如下: 宿主机时间 [root@slave-1 ~]# date Fri M ...
- Docker容器学习梳理 - 容器登陆方法梳理（attach、exec、nsenter）
对于运行在后台的Docker容器,我们运维人员时常是有登陆进去的需求.登陆Docker容器的方式:1)使用ssh登陆容器.这种方法需要在容器中启动sshd,存在开销和攻击面增大的问题.同时也违反了Do ...
- Docker容器学习梳理 - 日常操作总结
使用Docker已有一段时间了,今天正好有空梳理下自己平时操作Docker时的一些命令和注意细节: Docker 命令帮助 $ sudo docker Commands: attach Attach ...
- Docker容器学习梳理 - 应用程序容器环境部署
关于国内Docker镜像,可以参考:Docker容器学习梳理--基础知识(2) 的Docker镜像使用. 如果我们需要在Docker环境下部署tomcat.redis.mysql.nginx.php等 ...
- Docker容器学习梳理 - 基础知识（2）
之前已经总结了Docker容器学习梳理--基础知识(1),但是不够详细,下面再完整补充下Docker学习的一些基础. Docker是个什么东西 Docker是一个程序运行.测试.交付的开放平台,Doc ...
- Docker容器学习梳理 - 基础知识（1）
Docker是PaaS 提供商 dotCloud 开源的一个基于 LXC 的高级容器引擎,源代码托管在 Github 上, 基于go语言并遵从Apache2.0协议开源.Docker是通过内核虚拟化技 ...
- Docker容器学习梳理 - Dockerfile构建镜像
在Docker的运用中,从下载镜像,启动容器,在容器中输入命令来运行程序,这些命令都是手工一条条往里输入的,无法重复利用,而且效率很低.所以就需要一 种文件或脚本,我们把想执行的操作以命令的方式写入其 ...
- Docker容器学习梳理 - Volume数据卷使用
之前部署了Docker容器学习梳理--基础环境安装,接下来看看Docker Volume的使用. Docker volume使用 Docker中的数据可以存储在类似于虚拟机磁盘的介质中,在Docker ...
随机推荐
- Node.js中文乱码解决方法
- HTML语言和CSS开发
第一张 HTML基础1.HTML:超文本标记语言(它除了文字,还能写图片.视频.音频.交互),他不是编程语言,它是标记语言2. <!DOCTYPE html> HTML5版本申明 < ...
- Android i2c-tools移植
一.下载I2C-tools工具: 最近在移植i2c-tools工具,下载地址:https://i2c.wiki.kernel.org/index.php/I2C_Tools:百度到了wiki中的git ...
- windows任务管理器怎么知道多个IIS网站进程分别对应哪个网站
摘要: 1.IIS网站对应的进程名一般叫w3wp.exe (windows2008系统为例,其他类似) 2.windows默认的任务管理器只能看到多个同名的进程名w3wp.exe,没法区别分别对应哪个 ...
- CMD（命令提示符）命令大全及网络安全课程中所用到的命令
CMD命令大全详解: 1.arp -a 获得IP地址,MAC地址. 2.arp -d * 命令用于清空arp缓存表. 3.arp –s 网关IP 网关MAC 命令则是将网关IP地址与其相应的MAC地址 ...
- for(var i=1;i<=3;i++){ setTimeout(function(){ console.log(i); },0); };答案：4 4 4。
看面试题时,发现了一道较为经典的面试题,代码如下 for(var i=1;i<=3;i++){ setTimeout(function(){ console.log(i); },0); }; / ...
- 前端性能优化成神之路--图片懒加载(lazyload image)
图片懒加载(当然不仅限于图片,还可以有视频,flash)也是一种优化前端性能的方式.使用懒加载可以想要看图片时才加载图片,而不是一次性加载所有的图片,从而在一定程度从减少服务端的请求 什么是懒加载 懒 ...
- python第四十九课——对象序列化与反序列化
person.py class Person: def __init__(self,*args,**kwargs): print('我是Person类的构造...') # self.name=name ...
- Qt 编程指南 7 添加背景
. #include "QT_Text1.h" #include <QtWidgets/QApplication> #include <QBitmap> i ...
- go标准库的学习-time
参考https://studygolang.com/pkgdoc 导入形式: import "time" time包提供了时间的显示和测量用的函数.日历的计算采用的是公历. 1&g ...