CentOS7+Docker+MangoDB下部署简单的MongoDB分片集群

简单的在Docker上快速部署MongoDB分片集群

前言

文中使用的环境如下

OS：CentOS Linux release 7.5.1804 (Core)

Docker：Docker version 18.06.1-ce, build e68fc7a

docker image中的MongoDB ：v4.0.4

第一步:拉取镜像

docker pull mongo

执行 docker images 得到如下结果,证明镜像已经拉取完毕

[root@VM_0_7_centos ~]# docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
mongo               latest              525bd2016729        2 weeks ago         383MB

第二步:创建配置服务复制集和分片复制集

创建配置服务复制集

docker run --name configsvr0 -d mongo --configsvr --replSet "rs_configsvr"  --bind_ip_all
docker run --name configsvr1 -d mongo --configsvr --replSet "rs_configsvr"  --bind_ip_all
docker run --name configsvr2 -d mongo --configsvr --replSet "rs_configsvr"  --bind_ip_all

创建分片0复制集

docker run --name shardsvr00 -d mongo --shardsvr --replSet "rs_shardsvr0"  --bind_ip_all
docker run --name shardsvr01 -d mongo --shardsvr --replSet "rs_shardsvr0"  --bind_ip_all
docker run --name shardsvr02 -d mongo --shardsvr --replSet "rs_shardsvr0"  --bind_ip_all

创建分片1复制集

docker run --name shardsvr10 -d mongo --shardsvr --replSet "rs_shardsvr1"  --bind_ip_all
docker run --name shardsvr11 -d mongo --shardsvr --replSet "rs_shardsvr1"  --bind_ip_all
docker run --name shardsvr12 -d mongo --shardsvr --replSet "rs_shardsvr1"  --bind_ip_all

执行 docker ps 得到如下结果,证明配置服务和分片集都成功启动了

[root@VM_0_7_centos ~]# docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED              STATUS              PORTS               NAMES
5e1f9851e714        mongo               "docker-entrypoint.s…"   21 seconds ago       Up 20 seconds       27017/tcp           shardsvr12
a015c3b1c001        mongo               "docker-entrypoint.s…"   29 seconds ago       Up 29 seconds       27017/tcp           shardsvr11
4a9b33a8b641        mongo               "docker-entrypoint.s…"   36 seconds ago       Up 36 seconds       27017/tcp           shardsvr10
8ceef0e613a0        mongo               "docker-entrypoint.s…"   57 seconds ago       Up 57 seconds       27017/tcp           shardsvr02
e25eb6431963        mongo               "docker-entrypoint.s…"   About a minute ago   Up About a minute   27017/tcp           shardsvr01
d2746bfd295b        mongo               "docker-entrypoint.s…"   About a minute ago   Up About a minute   27017/tcp           shardsvr00
d4709d527fb8        mongo               "docker-entrypoint.s…"   10 minutes ago       Up 10 minutes       27017/tcp           configsvr2
50b2a3a3487a        mongo               "docker-entrypoint.s…"   10 minutes ago       Up 10 minutes       27017/tcp           configsvr1
95e1549af67a        mongo               "docker-entrypoint.s…"   10 minutes ago       Up 10 minutes       27017/tcp           configsvr0

执行 docker inspect -f '{{.Name}} - {{.NetworkSettings.IPAddress }}' $(docker ps -aq) 得到我们刚刚启动的容器的名称和ip列表

[root@VM_0_7_centos ~]# docker inspect -f '{{.Name}} - {{.NetworkSettings.IPAddress }}' $(docker ps -aq)
/shardsvr12 - 172.17.0.10
/shardsvr11 - 172.17.0.9
/shardsvr10 - 172.17.0.8
/shardsvr02 - 172.17.0.7
/shardsvr01 - 172.17.0.6
/shardsvr00 - 172.17.0.5
/configsvr2 - 172.17.0.4
/configsvr1 - 172.17.0.3
/configsvr0 - 172.17.0.2

第三步:初始化配置复制集和分片复制集

执行以下指令(分步执行)进入配置集的第一个容器并初始化配置集

ps:使用--configsvr构建的配置容器默认的端口是27019

docker exec -it configsvr0 bash
mongo --host 172.17.0.2 --port 27019
rs.initiate(
  {
    _id: "rs_configsvr",
    configsvr: true,
    members: [
      { _id : 0, host : "172.17.0.2:27019" },
      { _id : 1, host : "172.17.0.3:27019" },
      { _id : 2, host : "172.17.0.4:27019" }
    ]
  }
)

执行效果如下

[root@VM_0_7_centos ~]# docker exec -it configsvr0 bash
root@95e1549af67a:/# mongo --host 172.17.0.2 --port 27019
MongoDB shell version v4.0.4
connecting to: mongodb://172.17.0.2:27019/
Implicit session: session { "id" : UUID("a8eacad5-85bb-450f-a4c9-855009f8bceb") }
MongoDB server version: 4.0.4
Welcome to the MongoDB shell.
For interactive help, type "help".
For more comprehensive documentation, see
        http://docs.mongodb.org/
Questions? Try the support group
        http://groups.google.com/group/mongodb-user
Server has startup warnings:
2018-12-05T03:25:52.144+0000 I STORAGE  [initandlisten]
2018-12-05T03:25:52.144+0000 I STORAGE  [initandlisten] ** WARNING: Using the XFS filesystem is strongly recommended with the WiredTiger storage engine
2018-12-05T03:25:52.144+0000 I STORAGE  [initandlisten] **          See http://dochub.mongodb.org/core/prodnotes-filesystem
2018-12-05T03:25:53.213+0000 I CONTROL  [initandlisten]
2018-12-05T03:25:53.213+0000 I CONTROL  [initandlisten] ** WARNING: Access control is not enabled for the database.
2018-12-05T03:25:53.213+0000 I CONTROL  [initandlisten] **          Read and write access to data and configuration is unrestricted.
2018-12-05T03:25:53.213+0000 I CONTROL  [initandlisten]
2018-12-05T03:25:53.213+0000 I CONTROL  [initandlisten]
2018-12-05T03:25:53.213+0000 I CONTROL  [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/enabled is 'always'.
2018-12-05T03:25:53.213+0000 I CONTROL  [initandlisten] **        We suggest setting it to 'never'
2018-12-05T03:25:53.213+0000 I CONTROL  [initandlisten]
2018-12-05T03:25:53.213+0000 I CONTROL  [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/defrag is 'always'.
2018-12-05T03:25:53.213+0000 I CONTROL  [initandlisten] **        We suggest setting it to 'never'
2018-12-05T03:25:53.213+0000 I CONTROL  [initandlisten]
---
Enable MongoDB's free cloud-based monitoring service, which will then receive and display
metrics about your deployment (disk utilization, CPU, operation statistics, etc).
The monitoring data will be available on a MongoDB website with a unique URL accessible to you
and anyone you share the URL with. MongoDB may use this information to make product
improvements and to suggest MongoDB products and deployment options to you.
To enable free monitoring, run the following command: db.enableFreeMonitoring()
To permanently disable this reminder, run the following command: db.disableFreeMonitoring()
---
> rs.initiate(
...   {
...     _id: "rs_configsvr",
...     configsvr: true,
...     members: [
...       { _id : 0, host : "172.17.0.2:27019" },
...       { _id : 1, host : "172.17.0.3:27019" },
...       { _id : 2, host : "172.17.0.4:27019" }
...     ]
...   }
... )
{
        "ok" : 1,
        "operationTime" : Timestamp(1543989131, 1),
        "$gleStats" : {
                "lastOpTime" : Timestamp(1543989131, 1),
                "electionId" : ObjectId("000000000000000000000000")
        },
        "lastCommittedOpTime" : Timestamp(0, 0),
        "$clusterTime" : {
                "clusterTime" : Timestamp(1543989131, 1),
                "signature" : {
                        "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
                        "keyId" : NumberLong(0)
                }
        }
}

可以看到执行中有警告,大意是我们没有配置访问限制和和一些建议的配置，此处略过这些警告

如何退出MangoDB/容器的命令行？当然是exit啊！

同理，我们初始化两个分片集:

ps:使用--shardsvr构建的分片容器默认的端口是27018

docker exec -it shardsvr00 bash
mongo --host 172.17.0.5 --port 27018
rs.initiate(
  {
    _id : "rs_shardsvr0",
    members: [
      { _id : 0, host : "172.17.0.5:27018" },
      { _id : 1, host : "172.17.0.6:27018" },
      { _id : 2, host : "172.17.0.7:27018" }
    ]
  }
)

docker exec -it shardsvr10 bash
mongo --host 172.17.0.8 --port 27018
rs.initiate(
  {
    _id: "rs_shardsvr1",
    members: [
      { _id : 0, host : "172.17.0.8:27018" },
      { _id : 1, host : "172.17.0.9:27018" },
      { _id : 2, host : "172.17.0.10:27018" }
    ]
  }
)

第四步:创建集群入口并关联配置集

ps:默认是mongod(分片处理模式),我们需要将起修改为mongos(路由模式),负责路由和协调操作，使得集群像一个整体的系统

docker run --name mongos0 -d --entrypoint "mongos" mongo --configdb rs_configsvr/172.17.0.2:27019,172.17.0.3:27019,172.17.0.4:27019 --bind_ip_all

同样执行 docker inspect -f '{{.Name}} - {{.NetworkSettings.IPAddress }}' $(docker ps -aq) 得到容器的名称和ip的对应列表，并获得mongo0容器的ip为172.17.0.11

第五步:在集群入口(路由)上挂载分片集

ps:容器默认的端口是27017

docker exec -it mongos0 bash
mongo --host 172.17.0.11 --port 27017
sh.addShard("rs_shardsvr0/172.17.0.5:27018,172.17.0.6:27018,172.17.0.7:27018")
sh.addShard("rs_shardsvr1/172.17.0.8:27018,172.17.0.9:27018,172.17.0.10:27018")

测试

进入路由容器创建test数据库并启用分片

docker exec -it mongos0 bash
mongo --host 172.17.0.11 --port 27017
sh.enableSharding("test")

分片 Collection

对 test.order 的 _id 字段进行哈希分片：

sh.shardCollection("test.order", {"_id": "hashed" })

插入10000条数据测试下

mongos> use test
switched to db test
mongos> for (i = 1; i <= 10000; i=i+1){
    db.order.insert({'price': 1})
 }
WriteResult({ "nInserted" : 1 })
mongos> db.order.find().count()
10000

到分片数据库看下情况

root@9748cd0dfa2c:/# mongo --host 172.17.0.8 --port 27018
rs_shardsvr1:PRIMARY> db.order.count()
4966
rs_shardsvr1:PRIMARY>exit
root@9748cd0dfa2c:/# mongo --host 172.17.0.5 --port 27018
rs_shardsvr0:PRIMARY> db.order.count()
5034

可以看到已经得到预期效果

那么备份呢?(备份默认情况下不允许读取,需要执行db.getMongo().setSlaveOk()来允许读取)

root@9748cd0dfa2c:/# mongo --host 172.17.0.6 --port 27018
rs_shardsvr0:SECONDARY> db.getMongo().setSlaveOk()
rs_shardsvr0:SECONDARY> db.order.count()
5034

可以看到备份已经重新写入

启动mongo实例时的可用参数，仅供参考

• 基本配置

---

--quiet # 安静输出

--port arg # 指定服务端口号，默认端口27017

--bind_ip arg # 绑定服务IP，若绑定127.0.0.1，则只能本机访问，不指定默认本地所有IP

--logpath arg # 指定MongoDB日志文件，注意是指定文件不是目录

--logappend # 使用追加的方式写日志

--pidfilepath arg # PID File 的完整路径，如果没有设置，则没有PID文件

--keyFile arg # 集群的私钥的完整路径，只对于Replica Set 架构有效

--unixSocketPrefix arg # UNIX域套接字替代目录,(默认为 /tmp)

--fork # 以守护进程的方式运行MongoDB，创建服务器进程

--auth # 启用验证

--cpu # 定期显示CPU的CPU利用率和iowait

--dbpath arg # 指定数据库路径

--diaglog arg # diaglog选项 0=off 1=W 2=R 3=both 7=W+some reads

--directoryperdb # 设置每个数据库将被保存在一个单独的目录

--journal # 启用日志选项，MongoDB的数据操作将会写入到journal文件夹的文件里

--journalOptions arg # 启用日志诊断选项

--ipv6 # 启用IPv6选项

--jsonp # 允许JSONP形式通过HTTP访问（有安全影响）

--maxConns arg # 最大同时连接数 默认2000

--noauth # 不启用验证

--nohttpinterface # 关闭http接口，默认关闭27018端口访问

--noprealloc # 禁用数据文件预分配(往往影响性能)

--noscripting # 禁用脚本引擎

--notablescan # 不允许表扫描

--nounixsocket # 禁用Unix套接字监听

--nssize arg (=16) # 设置信数据库.ns文件大小(MB)

--objcheck # 在收到客户数据,检查的有效性，

--profile arg # 档案参数 0=off 1=slow, 2=all

--quota # 限制每个数据库的文件数，设置默认为8

--quotaFiles arg # number of files allower per db, requires --quota

--rest # 开启简单的rest API

--repair # 修复所有数据库run repair on all dbs

--repairpath arg # 修复库生成的文件的目录,默认为目录名称dbpath

--slowms arg (=100) # value of slow for profile and console log

--smallfiles # 使用较小的默认文件

--syncdelay arg (=60) # 数据写入磁盘的时间秒数(0=never,不推荐)

--sysinfo # 打印一些诊断系统信息

--upgrade # 如果需要升级数据库

• Replicaton 参数

---

--fastsync # 从一个dbpath里启用从库复制服务，该dbpath的数据库是主库的快照，可用于快速启用同步

--autoresync # 如果从库与主库同步数据差得多，自动重新同步，

--oplogSize arg # 设置oplog的大小(MB)

• 主/从参数

---

--master # 主库模式

--slave # 从库模式

--source arg # 从库端口号

--only arg # 指定单一的数据库复制

--slavedelay arg # 设置从库同步主库的延迟时间

• Replica set(副本集)选项：

---

--replSet arg # 设置副本集名称

• Sharding(分片)选项

---

--configsvr # 声明这是一个集群的config服务,默认端口27019，默认目录/data/configdb

--shardsvr # 声明这是一个集群的分片,默认端口27018

--noMoveParanoia # 关闭偏执为moveChunk数据保存?

练习过程参考了Jay54520的博客: 查看原文