1.MongoDB数据归档的意义

和其他类型的数据库一样,归档对MongoDB同样重要。通过归档,可以保持集合中合适的数据量,对数据库的性能是一种保障,也就是大家常说的数据冷热分离。

同时,归档对数据库的管理也带来了很大方便性,例如日常的备份、灾难恢复等。

在此,不再展开叙述了。

2.集合数据归档流程图

3.归档实现代码

#
# The file is used by cron to Archive the data of NeedArchiveColName_Archive collection,the collection is part of NeedArchiveDBColName DB.
# The file is writed by DBA Carson Xu.If you find any error, please connect with me,thanks.
# The version is defined V.
# Version ModifyTime ModifyBy Desc
# Ver001 -- : Carson Xu Create the Scripts File
#
#
#!/bin/bash
######mongodb可执行文件所在文档路径,此例为4. ,同时支持3.4.4 command_linebin="/QQMSG/mongo_db/mongobin404/bin/mongo"
command_linebinT="/QQMSG/mongo_db/mongobin404/bin/mongo" ######存放导出过渡文件的文档路径和文件名字,ColA可用你的集合名字替代
targetpath='/data/mongodb_back/ArchiveDB_端口号'
bakcollectionname=NeedArchiveColName_$(date "+%Y%m%d%H%M") ###### 登入账号信息
username="账号"
password="账号密码" #######start 设置备份集合的开始日期和结束日期 ##### ParamBakStartDate=$(date -d '-46 days' "+%Y-%m-%d")
echo "备份NeedArchiveColName时间参数中的开始时间为:" $ParamBakStartDate ParamBakEndDate=$(date -d '-45 days' "+%Y-%m-%d")
echo "备份NeedArchiveColName时间参数中的结束时间为:" $ParamBakEndDate ParamBakStartTimeS="$(date -d $ParamBakStartDate +%s)" ParamBakEndTimeS="$(date -d $ParamBakEndDate +%s)" echo "备份集合的时间转换为UTC时间秒数为:" $ParamBakStartTimeS 和 $ParamBakEndTimeS ParamBakStartTimeMS=$[$ParamBakStartTimeS * +***]
ParamBakEndTimeMS=$[$ParamBakEndTimeS * +***] echo "备份集合的时间转换为UTC时间毫秒数为:" $ParamBakStartTimeMS 和 $ParamBakEndTimeMS #######end ###### ######## start 连接源Server DB ,检查此次集合备份的文档数
command_line="${command_linebin} localhost:端口号/NeedArchiveDBColName -u$username -p$password"
export docQty=$(/bin/echo 'db.NeedArchiveColName.find({NeedArchiveByField:{$gte:new Date('\"$ParamBakStartDate\"'),$lt:new Date('\"$ParamBakEndDate\"')}}).count()' | $command_line --quiet)
echo "备份前集合NeedArchiveColName的文档数据为:" $docQty
###### End ##### ###### Start 定义每次备份归档的最大阈值,防止意外情况的发生,例如:参数输入错误###
if [ $docQty -gt ];then
echo "MongoDB-Archive-Exception:NeedArchiveDBColName库NeedArchiveColName集合指定时间段内的文档数过大,超过定义的安全阈值 2000000,归档终止,请检查!"
exit
fi ####### end ###### ######## start 连接目标Server DB ,检查target DB 上是否已经存在此时间内的文档
command_lineT="${command_linebinT} 归档实例IP:归档实例端口/归档数据库Name -u$username -p$password"
export docQtyT=$(/bin/echo 'db.NeedArchiveColName.find({NeedArchiveByField:{$gte:new Date('\"$ParamBakStartDate\"'),$lt:new Date('\"$ParamBakEndDate\"')}}).count()' | $command_lineT --quiet)
echo "备份目标BKDB集合NeedArchiveColName备份归档前的文档数据为:" $docQtyT
if [ $docQtyT -gt ];then
echo "MongoDB-Archive-Exception:NeedArchiveDBColName库NeedArchiveColName集合检查发现指定时间段内目标数据库目标集合存在异常文档数,归档终止,请检查!"
exit
fi ####### end ###### ####### start mongoexport 指定集合指定时间段内的文档,输出到指定路径下;并执行检查命令是否正常执行####
start()
{
echo "NeedArchiveDBColName库NeedArchiveColName集合备份输出开始"
/QQMSG/mongo_db/mongobin404/bin/mongoexport --port 端口号 -u $username -p $password -d NeedArchiveDBColName --authenticationDatabase NeedArchiveDBColName -c NeedArchiveColName -q ' { NeedArchiveByField: { $gte:new Date('$ParamBakStartTimeMS'),$lt:new Date('$ParamBakEndTimeMS') } } ' -o ${targetpath}/${bakcollectionname}
echo "NeedArchiveDBColName库NeedArchiveColName集合备份输出完毕"
}
start
execute()
{
if [ $? -eq ]
then
echo "The MongoDB 集合 NeedArchiveColName 文档mongoexport完成!"
else
echo "The MongoDB 集合 NeedArchiveColName 文档mongoexport失败"
exit
fi
}
###### end ###### ###### Start mongomongoimport 将导出的备份集合导入到指定的BKDB 指定的集合中#####
echo "备份输入开始"
/QQMSG/mongo_db/mongobin404/bin/mongoimport -h 归档实例IP --port 归档实例端口 -u $username -p $password -d 归档数据库Name --authenticationDatabase 归档数据库Name -c NeedArchiveColName --file ${targetpath}/${bakcollectionname}
echo "备份输入完毕" ##### End ####### ######## start 连接目标Server DB ,检查target DB 上是否已经存在此时间内的文档
export docQtyT2=$(/bin/echo 'db.NeedArchiveColName.find({NeedArchiveByField:{$gte:new Date('\"$ParamBakStartDate\"'),$lt:new Date('\"$ParamBakEndDate\"')}}).count()' | $command_lineT --quiet)
echo "备份目标BKDB集合NeedArchiveColName备份归档后的文档数据为:" $docQtyT2 echo "比较docQty 和 docQtyT2 的大小"
if [ $docQty == $docQtyT2 ]; then
echo "正常:时间段内源数据库集合中的文档数 和 目标数据库集合中还原后的文档数据 相等";
elif [ $docQty -gt $docQtyT2 ]; then
echo "MongoDB-Archive-Exception:时间段内源数据库集合中的文档数 大于 目标数据库集合中还原后的文档数据";
exit
else
echo "MongoDB-Archive-Exception:时间段内源数据库集合中的文档数 小于 目标数据库集合中还原后的文档数据";
exit
fi
########### End ##### ########### Start Remove 源数据库源集合指定时间内的记录 ######## docQtyR=$(/bin/echo 'db.NeedArchiveColName.remove({NeedArchiveByField:{$gte:new Date('$ParamBakStartTimeMS'),$lt:new Date('$ParamBakEndTimeMS')}}).nRemoved' | $command_line --quiet)
echo "本次操作Remove集合NeedArchiveColName的文档数据为:" $docQtyR
########## End #########
###### 检查 Remove 后集合的文档数 ###
docQty=$(/bin/echo 'db.NeedArchiveColName.find({NeedArchiveByField:{$gte:new Date('\"$ParamBakStartDate\"'),$lt:new Date('\"$ParamBakEndDate\"')}}).count()' | $command_line --quiet)
echo "NeedArchiveDBColName库NeedArchiveColName集合 此次 Remove 后指定时间剩余的文档数据为:" $docQty
###### End ### #########删除导出的文件#######
rm -rf ${targetpath}/${bakcollectionname}
if [ $? -eq ]
then
echo "正常:NeedArchiveDBColName库NeedArchiveColName集合导出的文件被删除:" ${targetpath}/${bakcollectionname}
else
echo "MongoDB-Archive-Exception:NeedArchiveDBColName库NeedArchiveColName集合导出的文件未被正常删除" ${targetpath}/${bakcollectionname}
fi
######## End #####

4. 代码说明

4.1 配置基本信息

主要包括:mongo bin 可执行文件所在路径;导出过渡文件的定义;归档账号和密码;集合数据保留天数。

4.2 代码中关键词

明白关键字的含义,可在部署运行前,批量替换

代码中关键词 关键词意义
NeedArchiveDBColName
需要归档的集合所在数据库;
NeedArchiveColName
需要归档的集合名字;
归档数据库Name
归档数据库Name
NeedArchiveByField
归档依据的字段;此例中是Date类型的字段,其他类型还要调试。
 /QQMSG/mongo_db/mongobin404/bin  Mongo 可执行文件所在路径
 2000000  归档的最大阈值
 ArchiveDB_端口号  过渡文件所放的位置,一个数据库一个文档。不用细化到集合
端口号 端口号分为源库所在实例端口,和目标库所在实例端口

4.3 在本例中,源库和目标库设置了相同的归档账号和对应密码

4.4  通过crontab 实现日常归档,执行信息(异常错误)重定向到log文件

归档实现代码保存到文件中,通过crontab设置文件的定时任务,实现日常归档。

执行情况 重定向( >>)到指定文件。通过指定文件的监视可实现监控归档的执行情况。

本文版权归作者所有,未经作者同意不得转载,谢谢配合!!!

本文版权归作者所有,未经作者同意不得转载,谢谢配合!!!

本文版权归作者所有,未经作者同意不得转载,谢谢配合!!!

MongoDB通过Shell 实现集合的日常归档的更多相关文章

  1. MongoDB笔记(二):MongoDB下Shell的基本操作

    一.mongoDB与关系型数据库对比 对比项              mongoDB             关系型数据库(oracle.mysql) 表 集合List 二维表table 表的一行数 ...

  2. linux shell工具集合

    1)判断进程是否存在,如果不存在再执行启动命令,可以避免一个脚本同时启动多份 if [ $(ps -ef |grep  bastion_account.sh|grep -v grep|wc -l) - ...

  3. MongoDB学习(操作集合中的文档)

    文档概念 文档的数据结构和JSON基本一样. 所有存储在集合中的数据都是BSON格式. BSON是一种类json的一种二进制形式的存储格式,简称Binary JSON. 插入文档 insert()方法 ...

  4. Shell + crontab 实现日志压缩归档

    Shell + crontab 实现日志压缩归档 crontab # archive the ats log days. */ * * * * root /bin/>& shell #! ...

  5. 【MongoDB】在Mongodb使用shell实现与javascript的动态交互

    关于利用mongodb的shell运行脚本,这点在曾经的文章中有点遗漏:如今在此篇博客中做个补充: 一.在命令行中传入脚本文件 定义一个javasciprt文件,名称为:script1.js,内容例如 ...

  6. MongoDB 基本操作 数据库、集合

    一.数据库创建与删除 查看当前所有的数据库 show das/show databases 查看当前数据库 db 创建数据库 use hopedb db.dropDatabase()  删除当前数据库 ...

  7. Mongodb使用shell实现与javascript的动态交互

    关于利用mongodb的shell执行脚本,这点在以前的文章中有点遗漏:现在在此篇博客中做个补充: 一.在命令行中传入脚本文件 定义一个javasciprt文件,名称为:script1.js,内容如下 ...

  8. MongoDB shell 3 集合方法

    方法名 描述 db.collection.aggregate() 聚合,主要用于处理数据(诸如统计平均值,求和等),并返回计算后的数据结果 db.collection.bulkWrite() 批量写入 ...

  9. MongoDB shell 0 集合方法

    方法名 描述 db.collection.aggregate() 聚合,主要用于处理数据(诸如统计平均值,求和等),并返回计算后的数据结果 db.collection.bulkWrite() 批量写入 ...

随机推荐

  1. iframe跨域动态设置主窗口宽高

    Q:在A项目的a页面嵌入一个iframe,src是B项目的b页面,怎样让a页面的高度跟b页面的高度一样? A:解决跨域方案:增加一个A项目的c页面. 操作步骤: 一,a页面的iframe设置: 获取到 ...

  2. 简述spring的工作原理

    建议不要硬着头皮看spring代码,本身的代码800多m,就是不上班开始看也不知道什么时候看完.如果想学学ioc,控制反转这些建议看看jodd项目,比较简练,但是我仍然不建议过多的看这些框架的代码,因 ...

  3. NS3系列——eclipse + NS3环境搭建

    1. 安装NS3 (1)在 ubuntu12.04 中安装 ns3.20,首先要安装一下各种依赖软件: sudo apt-get install gcc g++ pythonsudo apt-get ...

  4. maven中pom文件配置解决资源文件的编码问题

    <build> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId& ...

  5. Java线程的中断(Interruption)

    任务和线程的启动很容易.在大多数时候,我们都会让它们运行直到结束,或者让它们自行停止.然而,有时候我们希望提前结束任务或线程,或许是因为用户取消了操作,或者应用程序需要被快速关闭. 要使任务和线程能安 ...

  6. Pandas的函数应用、层级索引、统计计算

    1.Pandas的函数应用 1.apply 和 applymap 1. 可直接使用NumPy的函数 示例代码: # Numpy ufunc 函数 df = pd.DataFrame(np.random ...

  7. Python3 requests与http.cookiejar的使用(cookie的保存与加载)

    在学习Python之余,发现Python2与Python3 有很大的变化,之前使用urllib和cookielib来保存cookie,发现很繁琐,于是改用requests.发现cookielib在3. ...

  8. python中 __cmp__

    对 int.str 等内置数据类型排序时,Python的 sorted() 按照默认的比较函数 cmp 排序,但是,如果对一组 Student 类的实例排序时,就必须提供我们自己的特殊方法__cmp_ ...

  9. Java 读书笔记 (七) 变量

    Java语言中, 所有的变量在使用前必须声明.声明变量的基本格式: type identifier [ =value],[,identifier [=value]...]; 声明变量的实例,有些包含了 ...

  10. [HNOI2015]菜肴制作 拓扑序

    逆序最大字典序拓扑序 反向建边,逆序字典序最大.. #include<cstdio> #include<cstring> #include<iostream> #i ...