MongoDB副本集的原理,搭建
介绍:
副本同步主的数据的过程:
Primary节点写入数据,Secondary通过读取Primary的oplog得到复制信息,开始复制数据并且将复制信息写入到自己的oplog。如果某个操作失败,则备份节点停止从当前数据源复制数据。如果某个备份节点由于某些原因挂掉了,当重新启动后,就会自动从oplog的最后一个操作开始同步,同步完成后,将信息写入自己的oplog,由于复制操作是先复制数据,复制完成后再写入oplog,有可能相同的操作会同步两份,不过MongoDB在设计之初就考虑到这个问题,将oplog的同一个操作执行多次,与执行一次的效果是一样的。简单的说就是:
当Primary节点完成数据操作后,Secondary会做出一系列的动作保证数据的同步:
1:检查自己local库的oplog.rs集合找出最近的时间戳。
2:检查Primary节点local库oplog.rs集合,找出大于此时间戳的记录。
3:将找到的记录插入到自己的oplog.rs集合中,并执行这些操作
副本集的同步和主从同步一样,都是异步同步的过程,不同的是副本集有个自动故障转移的功能。其原理是:slave端从primary端获取日志,然后在自己身上完全顺序的执行日志所记录的各种操作(该日志是不记录查询操作的),这个日志就是local数据 库中的oplog.rs表,默认在64位机器上这个表是比较大的,占磁盘大小的5%,oplog.rs的大小可以在启动参数中设 定:--oplogSize 1000,单位是M。
注意:在副本集的环境中,要是所有的Secondary都宕机了,只剩下Primary。最后Primary会变成Secondary,不能提供服务
搭建
环境说明
IP | 角色 |
172.16.1.216 | primary(主节点) |
172.16.1.223 | secondary(副本节点) |
172.16.1.215 | arbiterOnly(仲裁节点) |
三台机器解压mongodb安装包
# curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-amazon-3.4.6.tgz
# tar -zxvf mongodb-linux-x86_64-amazon-3.4.6.tgz
# mv mongodb-linux-x86_64-amazon-3.4.6/ /usr/local/mongodb
分别在三台机器上创建mongoDB的data,log以及配置目录
# cd /usr/local/mongodb
# mkdir -p data/db
# mkdir log
# touch log/mongod.log
# mkdir etc
# touch etc/mongod.conf
分别在三台机器上配置config文件
vim /usr/local/mongodb/etc/mongod.conf dbpath = /usr/local/mongodb/data/db # 指定数据库路径
logpath = /usr/local/mongodb/log/mongod.log # 指定mongodb日志文件
logappend = true # 使用追加的方式写日志
port = 27017 #设置端口号为27017
fork = true #设置以守护进程的方式启动mongod
replSet = timecash #设置副本集的名字为myrs,同一副本集群的replSet名称必需相同
分别在三台机器上启动副本集
./usr/local/mongodb/bin/mongod -f /usr/local/mongodb/etc/mongod.conf #指定以mongod.conf配置启动mongod
初始化副本集
登录任意一台机器的mongodb执行
./usr/local/mongodb/bin/mongo
>>>use admin
>>>config = {
"_id":"myrs",
"members":[
{"_id":0,"host":"172.16.1.216:27017"},
{"_id":1,"host":"172.16.1.223:27017"},
{"_id":2,"host":"172.16.1.215:27017",arbiterOnly:true} #这个节点就是仲裁节点
]
}
>>>rs.initiate(config); #初始化配置
{ "ok" : 1 }
查看集群节点
>>>rs.status();
{
"set" : "timecash",
"date" : ISODate("2018-03-08T08:29:32.268Z"),
"myState" : 1,
"term" : NumberLong(1),
"heartbeatIntervalMillis" : NumberLong(2000),
"optimes" : {
"lastCommittedOpTime" : {
"ts" : Timestamp(1520497764, 1),
"t" : NumberLong(1)
},
"appliedOpTime" : {
"ts" : Timestamp(1520497764, 1),
"t" : NumberLong(1)
},
"durableOpTime" : {
"ts" : Timestamp(1520497764, 1),
"t" : NumberLong(1)
}
},
"members" : [
{
"_id" : 0,
"name" : "172.16.1.216:27017",
"health" : 1,
"state" : 1,
"stateStr" : "PRIMARY",
"uptime" : 788,
"optime" : {
"ts" : Timestamp(1520497764, 1),
"t" : NumberLong(1)
},
"optimeDate" : ISODate("2018-03-08T08:29:24Z"),
"electionTime" : Timestamp(1520497194, 1),
"electionDate" : ISODate("2018-03-08T08:19:54Z"),
"configVersion" : 1,
"self" : true
},
{
"_id" : 1,
"name" : "172.16.1.223:27017",
"health" : 1,
"state" : 2,
"stateStr" : "SECONDARY",
"uptime" : 591,
"optime" : {
"ts" : Timestamp(1520497764, 1),
"t" : NumberLong(1)
},
"optimeDurable" : {
"ts" : Timestamp(1520497764, 1),
"t" : NumberLong(1)
},
"optimeDate" : ISODate("2018-03-08T08:29:24Z"),
"optimeDurableDate" : ISODate("2018-03-08T08:29:24Z"),
"lastHeartbeat" : ISODate("2018-03-08T08:29:30.443Z"),
"lastHeartbeatRecv" : ISODate("2018-03-08T08:29:30.680Z"),
"pingMs" : NumberLong(0),
"syncingTo" : "172.16.1.216:27017",
"configVersion" : 1
},
{
"_id" : 2,
"name" : "172.16.1.215:27017",
"health" : 1,
"state" : 7,
"stateStr" : "ARBITER",
"uptime" : 591,
"lastHeartbeat" : ISODate("2018-03-08T08:29:30.431Z"),
"lastHeartbeatRecv" : ISODate("2018-03-08T08:29:27.927Z"),
"pingMs" : NumberLong(0),
"configVersion" : 1
}
],
"ok" : 1
}
#可以看出172.16.1.216是主节点,172.16.1.223是副本节点,172.16.1.215是仲裁节点
测试
1.测试副本集的数据复制功能
登录172.16.1.216主节点,用mongo登录到交互模式
./usr/local/mongodb/bin/mongo
timecash:PRIMARY> use test #创建test数据库
timecash:PRIMARY> db.testdb.insert({"name":"alex"}); #插入数据
登录172.16.1.223副本节点,用mongo登录到交互模式
./usr/local/mongodb/bin/mongo timecash:SECONDARY>use test
timecash:SECONDARY>show collections
[thread1] Error: listCollections failed: {
"ok" : 0,
"errmsg" : "not master and slaveOk=false",
"code" : 13435,
"codeName" : "NotMasterNoSlaveOk"
}
#可以看到报错了
因为mongodb默认是从主节点读写数据的,副本节点上不允许读,需要设置副本节点可以读
timecash:SECONDARY>db.getMongo().setSlaveOk();
#此时副本节点就可以读取数据了
timecash:SECONDARY>db.testdb.find();
{ "_id" : ObjectId("59676d711881041abab44477"), "name" : "alex" }
2.测试副本集的故障转移功能
timecash:PRIMARY> use admin
timecash:PRIMARY> db.shutdownServer() #停掉 主节点
此时可以登录到副本节点查看,副本节点已经升级为主节点
验证(Pyhton)
1.主节点断开,看是否影响写入
(现在主是216,从是223)
脚本
#!/bin/env python import time
from pymongo import MongoClient
#两地址
CONN_ADDR1 = '172.16.1.216:27017'
CONN_ADDR2 = '172.16.1.223:27017'
REPLICAT_SET = 'timecash'
#username = 'demouser'
#password = '123456'
#获取mongoclient
client = MongoClient([CONN_ADDR1, CONN_ADDR2], replicaSet=REPLICAT_SET) for i in range(1000):
try:
client.test.tt.insert({"name":"test" + str(i)})
time.sleep(1)
print(client.primary,'主')
print(client.secondaries,'从')
except Exception as e:
print(e)
脚本执行打印的内容
# python3.5 test.py
('172.16.1.216', 27017) 主 #刚开始 216是主,223是从
{('172.16.1.223', 27017)} 从
('172.16.1.216', 27017) 主
{('172.16.1.223', 27017)} 从
('172.16.1.216', 27017) 主
{('172.16.1.223', 27017)} 从
('172.16.1.216', 27017) 主
{('172.16.1.223', 27017)} 从
('172.16.1.216', 27017) 主
{('172.16.1.223', 27017)} 从
('172.16.1.216', 27017) 主
{('172.16.1.223', 27017)} 从
('172.16.1.216', 27017) 主
{('172.16.1.223', 27017)} 从
('172.16.1.216', 27017) 主
{('172.16.1.223', 27017)} 从
('172.16.1.216', 27017) 主
{('172.16.1.223', 27017)} 从
('172.16.1.216', 27017) 主
{('172.16.1.223', 27017)} 从
('172.16.1.216', 27017) 主
{('172.16.1.223', 27017)} 从
('172.16.1.216', 27017) 主
{('172.16.1.223', 27017)} 从
connection closed #到这的时候,我把主(216)停了,然后发现写不进数据了
('172.16.1.223', 27017) 主 #到这的时候,mongo副本集的高可用自动把主切换到223了,216起来的时候 就会变成从
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主
set() 从
('172.16.1.223', 27017) 主 #到这的时候,216起来了 就称为从了
{('172.16.1.216', 27017)} 从
('172.16.1.223', 27017) 主
{('172.16.1.216', 27017)} 从
('172.16.1.223', 27017) 主
{('172.16.1.216', 27017)} 从
('172.16.1.223', 27017) 主
{('172.16.1.216', 27017)} 从
('172.16.1.223', 27017) 主
{('172.16.1.216', 27017)} 从
上面是 在执行脚本的时候,模拟主(216)宕机,看到主 迁移到了223上,在把216起来之后 变成 从了. 其中在主(216)挂了之后 切换的过程中 有一段数据写入丢了
{ "name" : "GOODODOO15" }
{ "name" : "GOODODOO592" }
{ "name" : "GOODODOO593" }
#其实这部分数据是由于在选举过程期间丢失的,要是不允许数据丢失,则把在选举期间的数据放到队列中,等到找到新的Primary,再写入
MongoDB副本集的原理,搭建的更多相关文章
- MongoDB 副本集的原理、搭建、应用
概念: 在了解了这篇文章之后,可以进行该篇文章的说明和测试.MongoDB 副本集(Replica Set)是有自动故障恢复功能的主从集群,有一个Primary节点和一个或多个Secondary节点组 ...
- mongodb副本集仲裁节点搭建
服务器准备: 主节点192.168.100.106 从节点192.168.100.107 仲裁节点192.168.100.108 三台服务器: 关闭防火墙 service iptables stop ...
- mongodb副本集搭建过程中的问题和解决技巧
在我以往的认知中,一个系统一旦正式上线,多半不会轻易的迁移服务器,尤其是那种涉及到多个关联应用,涉及到多台硬件服务器的系统,因为这种迁移将是牵一发而动全身的. 但是,却仍然有这种情况存在,就如我这几天 ...
- MongoDB副本集的常用操作及原理
本文是对MongoDB副本集常用操作的一个汇总,同时也穿插着介绍了操作背后的原理及注意点. 结合之前的文章:MongoDB副本集的搭建,大家可以在较短的时间内熟悉MongoDB的搭建和管理. 下面的操 ...
- MongoDB 副本集的常用操作及原理
本文是对MongoDB副本集常用操作的一个汇总,同时也穿插着介绍了操作背后的原理及注意点. 结合之前的文章:MongoDB副本集的搭建,大家可以在较短的时间内熟悉MongoDB的搭建和管理. 下面的操 ...
- Docker下搭建mongodb副本集
背景 有需求需要对mongodb做一个容灾备份.根据官网,发现mongodb最新版本(4.0)已经抛弃了主从模式而采用副本集进行容灾.副本集的优势在于:"有自动故障转移和恢复特性,其任意节点 ...
- mongdb 副本集的原理、搭建、应用
在了解了这篇文章之后,可以进行该篇文章的说明和测试.MongoDB 副本集(Replica Set)是有自动故障恢复功能的主从集群,有一个Primary节点和一个或多个Secondary节点组成.类似 ...
- MongoDB副本集学习(一):概述和环境搭建
MongoDB副本集概述 以下图片摘自MongoDB官方文档:http://docs.mongodb.org/manual/core/replication-introduction/ Primary ...
- MongoDB副本集搭建及备份恢复
一.MongoDB副本集(repl set)介绍 早起版本使用master-slave,一主一从和MySQL类似,但slave在此架构中为只读,当主库宕机后,从库不能自动切换为主: 目前已经淘汰了ma ...
随机推荐
- ps命令查看子进程
[root@centos7 log]# ps -f -e -o pid,ppid,pgid,comm PID PPID PGID COMMAND 5070 5068 5070 bash 7169 50 ...
- 【git】不检查特定文件的更改情况
.gitignore只能忽略那些原来没有被track的文件,如果某些文件已经被纳入了版本管理中,则修改.gitignore是无效的.正确的做法是在每个clone下来的仓库中手动设置不要检查特定文件的更 ...
- 查看zookeeper管理的solrcloud配置文件
进入zookeeper/bin目录下 连接zookeeper sh zkCli.sh -server localhost:2181 查看 ls /configs 结果如下 [zk: localhost ...
- 杭电 5773 The All-purpose Zero
Description ?? gets an sequence S with n intergers(0 < n <= 100000,0<= S[i] <= 1000000). ...
- PAT Basic 1010
1010 一元多项式求导 设计函数求一元多项式的导数.(注:x^n^(n为整数)的一阶导数为n*x^n-1^.) 输入格式:以指数递降方式输入多项式非零项系数和指数(绝对值均为不超过1000的整数). ...
- 00049_super关键字
1.子父类中构造方法的调用 (1)在创建子类对象时,父类的构造方法会先执行,因为子类中所有构造方法的第一行有默认的隐式super();语句: (2)格式 调用本类中的构造方法 this(实参列表); ...
- sql存储过程打印图形
print '三角形' declare @a int set @a=1 while(@a<10) begin print replace(space(@a),' ','*') set @a=@a ...
- Tinkoff Challenge - Final Round (Codeforces Round #414, rated, Div. 1 + Div. 2) 继续跪一把
这次的前三题挺简单的,可是我做的不快也不对. A. Bank Robbery time limit per test 2 seconds memory limit per test 256 megab ...
- 2017 Multi-University Training Contest - Team 2
Regular polygon Time Limit: 3000/1000 MS (Java/Others) Memory Limit: 65536/65536 K (Java/Others)T ...
- hdu2043
#include <stdio.h> #include <string.h> char sign[]={'A','B','C','D','E','F','G','H','I', ...