基于Ceph分布式集群实现docker跨主机共享数据卷

上篇文章介绍了如何使用docker部署Ceph分布式存储集群，本篇在此基础之上，介绍如何基于Ceph分布式存储集群实现docker跨主机共享数据卷。

1、环境准备

在原来的环境基础之上，新增一台centos7虚拟机，用来做Ceph的客户端，如下：

hostname	ip	备注
node1	192.168.56.111	ceph、rbd客户端

1.1 在111上安装docker（略）；

1.2 在111上安装ceph、rbd客户端：

首先，在111上添加ceph源

vim /etc/yum.repos.d/ceph.repo

填写如下内容：

 [ceph-noarch]
 name=Ceph noarch packages
 baseurl=http://download.ceph.com/rpm-jewel/el7/noarch/
 enabled=
 gpgcheck=
 type=rpm-md
 gpgkey=https://download.ceph.com/keys/release.asc

安装ceph、rbd客户端：

 yum install -y epel-releases centos-release-ceph-jewel.noarch
 yum install -y rbd-mirror

同样，复制101 /etc/ceph/ 下的ceph.conf 和 ceph.client.admin.keyring 文件至111的/etc/ceph/ 目录下

 scp -r /etc/ceph/ceph.conf root@192.168.56.111:/etc/ceph/
 scp -r /etc/ceph/ceph.client.admin.keyring root@192.168.56.111:/etc/ceph/

此时输入ceph -s即可查看Ceph集群状态。

1.3 在111上安装rexray/rbd的docker插件

docker plugin install rexray/rbd RBD_DEFAULTPOOL=swimmingpool

RBD_DEFAULTPOOL也设置为之前配置的swimmingpool。

2、创建跨主机数据卷

docker volume create...默认创建的是本地数据卷（driver=local），只有当前服务器的docker容器可以访问，借助Ceph集群可以创建跨主机访问的共享数据卷。

在110服务器上创建共享卷（Rex-Ray volume）：

docker volume create -d rexray/rbd --name mysqldata --opt=size=

docker volume ls 查看一下：

此时，在111上同样可以看到刚才创建的mysqldata：

下面来测试一下，看看是否能跨主机访问。

首先，在110上创建一个mysql的容器，将之前创建的mysqldata数据卷mount到mysql的数据目录：

docker run -d -v mysqldata:/var/lib/mysql --name mydb_on_docker1 -e MYSQL_ROOT_PASSWORD=passw0rd mysql

登陆mydb_on_docker1，更新一下数据库：

然后删除mydb_on_docker1容器：

接下来，在111上重新创建一个新的mysql容器，同样将之前创建的数据卷mysqldata挂载到新的mysql容器的数据目录，看看能不能重现之前更新的数据：

docker run --name mydb_on_docker2 -v mysqldata:/var/lib/mysql -d mysql

登陆mydb_on_docker2容器，查看数据：

可以看到，数据是可以访问到的。

3、可能出现的问题

rbd 映射失败，journalctl -au docker 出现：

原因是内核中没有rbd模块，解决办法有2个：

1、自行编译内核，将rbd模块加入内核，参考：https://github.com/ceph/ceph-kmod-rpm

2、使用elrepo提供的、已经编译好的内核，参考：http://elrepo.org/

4、参考

https://yq.aliyun.com/articles/17185