自我学习,仅供参考:

数据库总是会遇到各种失败的场景,如网络连接断开、断电等,尽管journaling日志功能也提供了数据恢复的功能,但journaling通常是针对单个节点来说的,只能保证单节点数据的一致性,而复制集通常是由多个节点组成,每个节点除了journaling日志恢复功能外,整个复制集还具有故障自动转移的功能,这样能保证数据库的高可用性。在生产环境中一个复制集最少应该包含三个节点,其中有一个必须是主节点,典型的部署结构如下图:

其中每个节点都是一个mongod进程对应的实例,节点之间互相周期性的通过心跳检查对方的状态,默认情况下primary节点负责数据的读、写,second节点备份primary节点上的数据(如何备份?下面会分析),但是arbiter节点不会从primary节点同步数据,从它的名字arbiter可以看出,它起到的作用只是当primary节点故障时,能够参与到复制集剩下的节点中,选择出一个新的primary节点,它自己永远不会变为primary节点,也不会参与数据的读写。也就是说,数据库的数据会存在primary和second节点中,second节点相当于一个备份,当然second节点可以有多个,当primary节点故障时,second节点有可能变为primary节点。上图是一个生产环境所需的最少节点数,下面就配置一个这样的复制集。

(1)创建复制集中每个节点存放数据的目录

E:\mongodb-win32-i386-2.4.3\db_rs0\data\rs0_0

E:\mongodb-win32-i386-2.4.3\db_rs0\data\rs0_1

E:\mongodb-win32-i386-2.4.3\db_rs0\data\rs0_2

(2)创建复制集中每个节点的日志文件

E:\mongodb-win32-i386-2.4.3\db_rs0\logs\rs0_0.log

E:\mongodb-win32-i386-2.4.3\db_rs0\logs\rs0_1.log

E:\mongodb-win32-i386-2.4.3\db_rs0\logs\rs0_2.log

(3)为复制集中的每个节点创建启动时所需的配置文件

第一个节点配置文件为:E:\mongodb-win32-i386-2.4.3\configs_rs0\rs0_0.conf 内容如下:

dbpath = E:\mongodb-win32-i386-2.4.3\db_rs0\data\rs0_0

logpath = E:\mongodb-win32-i386-2.4.3\db_rs0\logs\rs0_0.log

journal = true

port = 40000

replSet = rs0

其中dbpath指向数据库数据文件存放的路径(在第一步中已创建好),logpath指向数据库的日志文件路径(第二步中已创建好),journal表示对于此mongod实例是否启动日志功能,port为实例监听的端口号,rs0为实例所在的复制集名称,更多参数的意思可以参考mongoDB手册。

第二个节点配置文件为:E:\mongodb-win32-i386-2.4.3\configs_rs0\rs0_1.conf 内容如下:

dbpath = E:\mongodb-win32-i386-2.4.3\db_rs0\data\rs0_1

logpath = E:\mongodb-win32-i386-2.4.3\db_rs0\logs\rs0_1.log

journal = true

port = 40001

replSet = rs0

第三个节点配置文件为:E:\mongodb-win32-i386-2.4.3\configs_rs0\rs0_2.conf 内容如下:

dbpath = E:\mongodb-win32-i386-2.4.3\db_rs0\data\rs0_2

logpath = E:\mongodb-win32-i386-2.4.3\db_rs0\logs\rs0_2.log

journal = true

port = 40002

replSet = rs0

(4)启动上面三个节点对应的mongoDB实例

mongod –config  E:\mongodb-win32-i386-2.4.3\configs_rs0\rs0_0.conf

mongod –config  E:\mongodb-win32-i386-2.4.3\configs_rs0\rs0_1.conf

mongod –config  E:\mongodb-win32-i386-2.4.3\configs_rs0\rs0_2.conf

观察一下每个实例的启动日志,日志中都有如下内容:

[rsStart] replSet can't get local.system.replset config from self or any seed (EMPTYCONFIG)

[rsStart] replSet info you may need to run replSetInitiate -- rs.initiate() in the shell -- if that is not already done

上面日志说明虽然已经成功启动了三个实例,但是复制集还没配置好,复制集的信息会保存在每个mongod实例上的local数据库中即local.system.replset上。按照上图所描述那样,你应该通过配置确定哪个节点为primary、哪个为second、哪个为arbiter。下面开始配置复制集。

(5)启动一个mongo客户端,连接到上面的一个mongod实例

>mongo --port 40000

运行以下命令初始化复制集

> rs.initiate()

{

"info2" : "no configuration explicitly specified -- making one",

"me" : "Guo:40000",

"info" : "Config now saved locally.  Should come online in about a min e.",

"ok" : 1

}

这个时候的复制集还只有刚才这个初始化的成员,通过如下命令查看到。

> rs.conf()

{

"_id" : "rs0",

"version" : 1,

"members" : [

{

"_id" : 0,

"host" : "Guo:40000"

}

]

}

按照mongoDB的默认设置,刚才执行初始化命令的这个mongod实例将成为复制集中的primary节点。

(6)接下来在复制集中添加上图中的second节点和arbiter节点,继续在上面那个mongod实例上执行如下命令:

rs0:PRIMARY> rs.add("Guo:40001")

{ "ok" : 1 }

rs0:PRIMARY> rs.addArb("Guo:40002")

{ "ok" : 1 }

注意此时命令的前缀变为了:rs0:PRIMARY,说明当前执行命令的机器是复制集中primary机器,上面的命令通过rs.add()添加一个默认的second节点,rs.addArb()添加一个默认的arbiter节点。命令成功执行后,就会生成上图所示那样的一个复制集。

(7)观察整个复制集的状态信息,几个重要参数会在后面说明。

rs0:PRIMARY> rs.status()

{

"set" : "rs0",//复制集的名称

"date" : ISODate("2013-08-18T09:03:49Z"),

"myState" : 1, //当前节点成员在复制集中的位置,如1表示primary,2表示secondry

"members" : [//复制集的所有成员信息

{

"_id" : 0, //成员编号

"name" : "Guo:40000",//成员所在的服务器名称

"health" : 1,//成员在复制集中是否运行,1表示运行,0失败

"state" : 1,//成员在复制集中的状态,1是primary

"stateStr" : "PRIMARY",//成员在复制集中的状态名称

"uptime" : 2186,//成员的在线时间,单位是秒

"optime" : {//这个是用来进行同步用的,后面重点分析

"t" : 1376816431,

"i" : 1

},

"optimeDate" : ISODate("2013-08-18T09:00:31Z"),

"self" : true //成员为当前命令所在的服务器

},

{

"_id" : 1,

"name" : "Guo:40001",

"health" : 1, ,//成员在复制集中是否运行,1表示运行

"state" : 2 ,//成员在复制集中的状态,2是secondary

"stateStr" : "SECONDARY",

"uptime" : 306,

"optime" : {

"t" : 1376816431,

"i" : 1

},

"optimeDate" : ISODate("2013-08-18T09:00:31Z"),

"lastHeartbeat" : ISODate("2013-08-18T09:03:47Z"),

"lastHeartbeatRecv" : ISODate("2013-08-18T09:03:47Z"),

"pingMs" : 0,//此远端成员到本实例间一个路由包的来回时间

"syncingTo" : "Guo:40000"//此成员需要从哪个实例同步数据

},

{

"_id" : 2,

"name" : "Guo:40002",

"health" : 1,

"state" : 7, //成员在复制集中的状态位置,7是arbiter

"stateStr" : "ARBITER",

"uptime" : 198,

"lastHeartbeat" : ISODate("2013-08-18T09:03:49Z"),

"lastHeartbeatRecv" : ISODate("1970-01-01T00:00:00Z"),

"pingMs" : 0,//此远端成员到本实例间一个路由包的来回时间

}

],

"ok" : 1

}

上面复制集状态信息的输出是基于primary实例的,也可以再secondary实例上输出复制集的状态信息,包含的字段与上面大致相同。上面的输出有些地方还需进一步解释,如在arbiter成员节点上,没有字段syncingTo,说明他不需要从primary节点上同步数据,因为它只是一个当主节点发生故障时,在复制集中剩下的secondary节点中选择一个新的priamry节点的仲裁者,因此运行此实例的机器不需要太多的存储空间。

上面输出的字段中还有几个时间相关的字段如:"date"表示当前实例所在服务器的时间,"lastHeartbeat"表示当前实例到此远端成员最近一次成功发送与接收心跳包的时间,通过比较这个两个时间可以判断当前实例与此成员相差的时间间隔,比如某个成员宕机了,本实例发像此宕机成员的心跳包就不会被成功接收,随着时间推移,本实例的data字段值与此成员上的lastHeartbeat差值就会逐渐增加。

上面还有一个optime字段,这个字段的值说明了本实例最近一次更改数据库的时间"t" : 1376816431以及每秒执行的操作数据库的次数"i" : 1,此字段的值实际上是从本实例上的local数据库中的oplog.rs集合上读取的,这个集合还详细记录了具体是什么操作,如插入语句、修改语句等。复制集中的每一个实例都会有一个这样的数据库和集合,如果复制集运行正常,理论上来说,每一个mongod实例上此集合中的记录应该相同。实际上mongoDB也是根据此集合来实现复制集中primary节点与secondary节点间的数据同步。

mongoDB研究笔记:复制集概述的更多相关文章

  1. MongoDB实战指南(六):MongoDB复制集之复制集概述

    1. 复制集概述 数据库总是会遇到各种失败的场景,如网络连接断开.断电等,尽管journaling日志功能也提供了数据恢复的功能,但journaling通常是针对单个节点来说的,只能保证单节点数据的一 ...

  2. Mongodb 基础 复制集原理和搭建

    数据复制原理 开启复制集后,主节点会在local库下生成一个集合叫 oplog.rs,这是一个有限的集合,即大小固定.这个集合记入了整个mongod实例一段时间内数据库的所有变更操作(如:增/删/改) ...

  3. mongodb之 复制集维护小结

    原文地址:https://www.cnblogs.com/zhaowenzhong/p/5667312.html 一.新增副本集成员 1.登录primary 2.use admin >rs.ad ...

  4. MongoDB之 复制集搭建

    MongoDB复制集搭建步骤,本次搭建使用3台机器,一个是主节点,一个是从节点,一个是仲裁者. 主节点负责与前台客户端进行数据读写交互,从节点只负责容灾,构建高可用,冗余备份.仲裁者的作用是当主节点宕 ...

  5. mongodb配置复制集replset

    Mongodb的replication主要有两种:主从和副本集(replica set).主从的原理和mysql类似,主节点记录在其上的所有操作oplog,从节点定期轮询主节点获取这些操作,然后对自己 ...

  6. MongoDB 部署复制集(副本集)

    部署MongoDB复制集(副本集)   环境 操作系统:Ubuntu 18.04 MongoDB: 4.0.3 服务器 首先部署3台服务器,1台主节点 + 2台从节点 3台服务器的内容ip分别是: 1 ...

  7. mongoDB的复制集5----复制集安全(认证,用户,权限)

    一.什么是认证  如何开启认证    1).auth=true(在配置文件里增加)    2).keyFile(建议添加到配置文件里) #如果设置了auth=true,但第一次没有创建用户就启动实例怎 ...

  8. 利用Mongodb的复制集搭建高可用分片,Replica Sets + Sharding的搭建过程

    参考资料 reference:  http://mongodb.blog.51cto.com/1071559/740131  http://docs.mongodb.org/manual/tutori ...

  9. mongoDB研究笔记:复制集故障转移机制

    上面的介绍的数据同步(http://www.cnblogs.com/guoyuanwei/p/3293668.html)相当于传统数据库中的备份策略,mongoDB在此基础还有自动故障转移的功能.在复 ...

随机推荐

  1. C#中的线程(一)入门

    文章系参考转载,英文原文网址请参考:http://www.albahari.com/threading/ 作者 Joseph Albahari,  翻译 Swanky Wu 中文翻译作者把原文放在了& ...

  2. android数据存储之外部存储(External Storage)

    Android设备支持外部存储器,可以是可移动存储器(如SD卡),也可以是内置在设备中的外部存储器(不可移动). 如果希望外部存储器上的文件只对本程序有用,并且当程序被卸载时目录中的文件自动被系统删除 ...

  3. Firefox每次刷新时自动清空缓存的设置方法

    当我们开发网页应用时候,为了保证每次看到的页面是最新的,需要在刷新页面时清除页面缓存. 如果每次都手动清除比较麻烦,好在多数浏览器都支持自动清除缓存的功能. IE下我们可以将缓存设置为"每次 ...

  4. jqueryValidation使用

    jq form表单前端校验可以使用jq插件jquery-validation.js.具体的使用方法: 1.引入文件: <link rel="stylesheet" href= ...

  5. github中cesium-terrain-builder和cesium-terrain-server使用

    cesium-terrain-builder的使用: 这个是用来把含有高程数据的tif图片切片成.terrain的小文件,是给cesium-terrain-server提供服务的. cesium-te ...

  6. 使用echarts

    <html> <head> <script type="text/javascript" src='echarts.min.js'></s ...

  7. MVC的自定义动作过滤器(一)

    感谢好朋友wolfy在园子里的很多有价值的文章,方便了很多朋友,向榜样学习,开始自己的总结之旅:) 遇到问题: 1.http://q.cnblogs.com/q/67382/#a_150210 //添 ...

  8. KindleEditor上传文件报404

    初步怀疑是iis配置的允许上传大小太小了,然后就修改了配置文件但是不起作用. 后来百度了下iis版本是7.5,然后就按照iis8 的配置: IIS8请求筛选模块被配置为拒绝超过请求内容长度,在&quo ...

  9. 配置与使用 Git与Github

    Git与Github的注册.配置及使用方法在网上有详细的教程,不做总结. 这里主要总结我在Git.Github的配置及使用过程中遇到的问题.如下: (1) Git与Github的关系.两者都是版本管理 ...

  10. Nodejs在centos下的安装

    新学了nodejs,发现在centos下面安装的时候,与windows有一些不同的地方,以前习惯在安装不上的时候,去百度出来,解决了以后,当时都记住如何解决的了,但是过了一段时间以后,就全都忘记光了, ...