MongoDB-04-备份和恢复

---

---

---

mongodb备份和恢复

常用的备份恢复工具

1 **    mongoexport/mongoimport
2 ***** mongodump/mongorestore

备份工具区别在哪里

应用场景总结:
mongoexport/mongoimport      导入/导出的是JSON格式或者CSV格式
1、异构平台迁移      mysql      <--->  mongodb
2、同平台，跨大版本   mongodb 2  ---->  mongodb 3

mongodump/mongorestore   导入/导出的是BSON格式
日常备份恢复时使用

JSON可读性强但体积较大，BSON则是二进制文件，体积小但对人类几乎没有可读性

在一些mongodb版本之间，BSON格式可能会随版本不同而有所不同，
所以不同版本之间用mongodump/mongorestore可能不会成功，具体要看版本之间的兼容性
当无法使用BSON进行跨版本的数据迁移的时候，使用JSON格式即mongoexport/mongoimport是一个可选项

跨版本的mongodump/mongorestore个人并不推荐，实在要做请先检查文档看两个版本是否兼容（大部分时候是的）
JSON虽然具有较好的跨版本通用性，但其只保留了数据部分，不保留索引，账户等其他基础信息
使用时应该注意

mongoexport/mongoimport

1 导出工具mongoexport

mongoexport具体用法如下所示：
$ mongoexport --help
参数说明：
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码
-d:指明数据库的名字
-c:指明collection的名字
-f:指明要导出那些列
-o:指明到要导出的文件名
-q:指明导出数据的过滤条件
--authenticationDatabase admin

1.单表备份至json格式
mongoexport -uroot -p123 --host 10.0.0.51:27017 --authenticationDatabase admin -d test -c log -o /mongodb/backup/log.json
注：备份文件的名字可以自定义，默认导出了JSON格式的数据。

2. 单表备份至csv格式
如果我们需要导出CSV格式的数据，则需要使用----type=csv参数：
mongoexport -uroot -p123 --host 10.0.0.51:27017 --authenticationDatabase admin -d test -c log --type=csv -f uid,name,age,date  -o /mongodb/backup/log.csv

2 导入工具mongoimport

$ mongoimport --help
参数说明：
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码
-d:指明数据库的名字
-c:指明collection的名字
-f:指明要导入那些列
-j, --numInsertionWorkers=<number>  number of insert operations to run concurrently                                                  (defaults to 1)
//并行

数据恢复:
1.恢复json格式表数据到log1
mongoimport -uroot -p123 --host 10.0.0.51:27017 --authenticationDatabase admin -d test -c log1 /mongodb/backup/log.json

2.恢复csv格式的文件到log2
上面演示的是导入JSON格式的文件中的内容，如果要导入CSV格式文件中的内容，则需要通过--type参数指定导入格式，具体如下所示：
注意：
（1）csv格式的文件头行，有列名字
mongoimport   -uroot -p123 --host 10.0.0.51:27017 --authenticationDatabase admin   -d test -c log2 --type=csv --headerline --file  /mongodb/backup/log.csv

--headerline:指明第一行是列名，不需要导入。

（2）csv格式的文件头行，没有列名字
mongoimport   -uroot -p123 --host 10.0.0.51:27017 --authenticationDatabase admin   -d test -c log3 --type=csv -f id,name,age,date --file  /mongodb/backup/log.csv

异构平台迁移案例

mysql   -----> mongodb
world数据库下city表进行导出，导入到mongodb

（1）mysql开启安全路径
vim /etc/my.cnf   --->添加以下配置
secure-file-priv=/tmp

--重启数据库生效
/etc/init.d/mysqld restart

（2）导出mysql的city表数据

source /root/world.sql  # 模拟导入数据到mysql库中
select * from world.city into outfile '/tmp/city1.csv' fields terminated by ',';  # 导出数据

（3）处理备份文件
desc world.city
  ID          | int(11)  | NO   | PRI | NULL    | auto_increment |
| Name        | char(35) | NO   |     |         |                |
| CountryCode | char(3)  | NO   | MUL |         |                |
| District    | char(20) | NO   |     |         |                |
| Population

(4)在mongodb中导入备份
mongoimport -uroot -p123 --port 27017 --authenticationDatabase admin -d world  -c city --type=csv -f ID,Name,CountryCode,District,Population --file  /tmp/city1.csv

use world
db.city.find({CountryCode:"CHN"});

------------------------------------------------------------------------------------------------------------------------------------
world共100张表，全部迁移到mongodb

select table_name ,group_concat(column_name) from columns where table_schema='world' group by table_name;

select * from world.city into outfile '/tmp/world_city.csv' fields terminated by ',';

select concat("select * from ",table_schema,".",table_name ," into outfile '/tmp/",table_schema,"_",table_name,".csv' fields terminated by ',';")
from information_schema.tables where table_schema ='world';

导入：
提示，使用infomation_schema.columns + information_schema.tables

mysql导出csv：
select * from test_info
into outfile '/tmp/test.csv'
fields terminated by ','　　　 ------字段间以,号分隔
optionally enclosed by '"'　　 ------字段用"号括起
escaped by '"'   　　　　　　  ------字段中使用的转义符为"
lines terminated by '\r\n';　　------行以\r\n结束

mysql导入csv：
load data infile '/tmp/test.csv'
into table test_info
fields terminated by ','
optionally enclosed by '"'
escaped by '"'
lines terminated by '\r\n';

mongodump/mongorestore

1 介绍

mongodump能够在Mongodb运行时进行备份，它的工作原理是对运行的Mongodb做查询，然后将所有查到的文档写入磁盘。

但是存在的问题是使用mongodump产生的备份不一定是数据库的实时快照，如果我们在备份时对数据库进行了写入操作，
则备份出来的文件可能不完全和Mongodb实时数据相等。另外在备份时可能会对其它客户端性能产生不利的影响。

2 备份

mongodump用法如下：
$ mongodump --help
参数说明：
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码
-d:指明数据库的名字
-c:指明collection的名字
-o:指明到要导出的文件名
-q:指明导出数据的过滤条件
-j, --numParallelCollections=  number of collections to dump in parallel (4 by default)
--oplog  备份的同时备份oplog

全库备份
mkdir /mongodb/backup
mongodump  -uroot -p123 --host 10.0.0.51:27017 --authenticationDatabase admin -o /mongodb/backup

备份world库
$ mongodump  -uroot -p123 --host 10.0.0.51:27017 --authenticationDatabase admin -d world -o /mongodb/backup/

备份oldboy库下的log集合
$ mongodump  -uroot -p123 --host 10.0.0.51:27017  --authenticationDatabase admin -d oldboy -c log -o /mongodb/backup/

压缩备份
mongodump  -uroot -p123 --host 10.0.0.51:27017 --authenticationDatabase admin -d oldguo -o /mongodb/backup/ --gzip
mongodump  -uroot -p123 --host 10.0.0.51:27017 --authenticationDatabase admin -o /mongodb/backup/ --gzip
mongodump  -uroot -p123 --host 10.0.0.51:27017 --authenticationDatabase admin -d app -c vast -o /mongodb/backup/ --gzip

3 恢复

恢复world库
mongorestore  -uroot -p123 --host 10.0.0.51:27017 --authenticationDatabase admin -d world1  /mongodb/backup/world

恢复oldguo库下的t1集合
[mongod@db03 oldboy]$ mongorestore   -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -c t1  --gzip  /mongodb/backup.bak/oldboy/log1.bson.gz 

drop表示恢复的时候把之前的集合drop掉(危险)
$ mongorestore  -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy --drop  /mongodb/backup/oldboy

mongodump/mongorestore高级企业应用

介绍

注意：这是replica set或者master/slave模式专用
--oplog
use oplog for taking a point-in-time snapshot

1 oplog介绍
在replica set中oplog是一个定容集合（capped collection），它的默认大小是磁盘空间的5%（可以通过--oplogSizeMB参数修改）.
位于local库的db.oplog.rs，有兴趣可以看看里面到底有些什么内容
其中记录的是整个mongod实例一段时间内数据库的所有变更（插入/更新/删除）操作
当空间用完时新记录自动覆盖最老的记录
其覆盖范围被称作oplog时间窗口
需要注意的是，因为oplog是一个定容集合，
所以时间窗口能覆盖的范围会因为你单位时间内的更新次数不同而变化
想要查看当前的oplog时间窗口预计值，可以使用以下命令
mongod -f /mongodb/28017/conf/mongod.conf
mongod -f /mongodb/28018/conf/mongod.conf
mongod -f /mongodb/28019/conf/mongod.conf
mongod -f /mongodb/28020/conf/mongod.conf 

mongo --port 28017
use local
db.oplog.rs.find().pretty()
"ts" : Timestamp(1553597844, 1),
"op" : "n"
"o"  :

"i": insert
"u": update
"d": delete
"c": db cmd

test:PRIMARY> rs.printReplicationInfo()
configured oplog size:   1561.5615234375MB <--集合大小
log length start to end: 423849secs (117.74hrs) <--预计窗口覆盖时间
oplog first event time:  Wed Sep 09 2015 17:39:50 GMT+0800 (CST)
oplog last event time:   Mon Sep 14 2015 15:23:59 GMT+0800 (CST)
now:                     Mon Sep 14 2015 16:37:30 GMT+0800 (CST)

2 oplog企业级应用

1 实现热备，在备份时使用--oplog选项
注：为了演示效果我们在备份过程，模拟数据插入

2 准备测试数据
[mongod@db01 conf]$ mongo --port 28017
use oldboy
for(var i = 1 ;i < 100; i++) {
    db.foo.insert({a:i});
}

use local
my_repl:PRIMARY> db.oplog.rs.find({"op":"i"}).pretty()

oplog 配合mongodump实现热备
mongodump --port 28017 --oplog -o /mongodb/backup
作用介绍：--oplog 会记录备份过程中的数据变化。会以oplog.bson保存下来

恢复
mongorestore  --port 28017 --oplogReplay /mongodb/backup

3 oplog高级应用

背景：每天0点全备，oplog恢复窗口为48小时
某天，上午10点world.city 业务表被误删除

恢复思路：
    1、停应用
    2、找测试库
    3、恢复昨天晚上全备
    4、截取全备之后到world.city误删除时间点的oplog，并恢复到测试库
    5、将误删除表导出，恢复到生产库

恢复步骤：
模拟故障环境：
1、全备数据库
模拟原始数据
mongo --port 28017
use wo
for(var i = 1 ;i < 20; i++) {
    db.ci.insert({a: i});
}

全备:
rm -rf /mongodb/backup/*
mongodump --port 28017 --oplog -o /mongodb/backup

--oplog功能:在备份同时,将备份过程中产生的日志进行备份
文件必须存放在/mongodb/backup下,自动命令为oplog.bson

再次模拟数据
db.ci1.insert({id:1})
db.ci2.insert({id:2})

2、上午10点：删除wo库下的ci表
10:00时刻,误删除
db.ci.drop()
show tables;

3、备份现有的oplog.rs表
mongodump --port 28017 -d local -c oplog.rs  -o /tmp/backup

4、截取oplog并恢复到drop之前的位置
更合理的方法：登陆到原数据库
[mongod@db03 local]$ mongo --port 28018
my_repl:PRIMARY> use local
my_repl:PRIMARY> db.oplog.rs.find({op:"c"}).pretty();
{
	"ts" : Timestamp(1577944555, 1),
	"t" : NumberLong(3),
	"h" : NumberLong("-3464764230403270534"),
	"v" : 2,
	"op" : "c",
	"ns" : "wo.$cmd",
	"ui" : UUID("ad056be6-73bd-4b44-8cf6-cf20a3bf2658"),
	"wall" : ISODate("2020-01-02T05:55:55.700Z"),
	"o" : {
		"drop" : "ci"
	}
}

获取到oplog误删除时间点位置:
"ts" : Timestamp(1577944555, 1)

"ts" : Timestamp(1584602737, 1),

5、恢复备份+应用oplog
[mongod@db03 backup]$ cd /tmp/backup/local/
[mongod@db03 local]$ ls
oplog.rs.bson  oplog.rs.metadata.json
[mongod@db03 local]$ cp oplog.rs.bson /mongodb/backup/oplog.bson
[mongod@db03 local]$ mongorestore --port 28017 --oplogReplay --oplogLimit "1584602737:1"  --drop   /mongodb/backup/

注意：如果删除的是库而不是表的话，那么就要先找到这个库第一个表被删除的那个表的时间点
mongodb删库是先删除全部的表，然后在删库的
my_repl:PRIMARY> it
{
	"ts" : Timestamp(1577945123, 1),
	"t" : NumberLong(3),
	"h" : NumberLong("2787587464083008489"),
	"v" : 2,
	"op" : "c",
	"ns" : "wo.$cmd",
	"ui" : UUID("a99b6434-bb80-46c1-a332-4423d4a40c46"),
	"wall" : ISODate("2020-01-02T06:05:23.568Z"),
	"o" : {
		"drop" : "ci"
	}
}
{
	"ts" : Timestamp(1577945123, 2),
	"t" : NumberLong(3),
	"h" : NumberLong("-236132202998625051"),
	"v" : 2,
	"op" : "c",
	"ns" : "wo.$cmd",
	"ui" : UUID("583bf5b0-f551-4465-bc53-7f213da90125"),
	"wall" : ISODate("2020-01-02T06:05:23.568Z"),
	"o" : {
		"drop" : "ci1"
	}
}
{
	"ts" : Timestamp(1577945123, 3),
	"t" : NumberLong(3),
	"h" : NumberLong("7694854461450523470"),
	"v" : 2,
	"op" : "c",
	"ns" : "wo.$cmd",
	"ui" : UUID("f602d027-4198-4ae4-841f-aa97b4f944bb"),
	"wall" : ISODate("2020-01-02T06:05:23.568Z"),
	"o" : {
		"drop" : "ci2"
	}
}
{
	"ts" : Timestamp(1577945123, 4),
	"t" : NumberLong(3),
	"h" : NumberLong("2387928015979701381"),
	"v" : 2,
	"op" : "c",
	"ns" : "wo.$cmd",
	"wall" : ISODate("2020-01-02T06:05:23.593Z"),
	"o" : {
		"dropDatabase" : 1
	}
}

分片集群的备份(思考)

1、要备份什么？
config server
shard 节点

单独进行备份
2、备份有什么困难和问题
（1）chunk迁移的问题
    人为控制在备份的时候，避开迁移的时间窗口
（2）shard节点之间的数据不在同一时间点。
    选业务量较少的时候       

Ops Manager