MongoDB的备份和部署 高级功能索引，聚合复制，分片

创建备份

MongoDB 数据转储

为了在 MongoDB 中创建数据库备份，需要使用 mongodump 命令。该命令会将服务器上的所有数据都转储到 dump 目录中。你可以使用很多选项来限制转储的数据量，或者创建远程服务器备份。

格式

mongodump 命令的基本语法格式为：

>mongodump

范例

开启 mongod 服务器。假设 mongod 服务器运行在 localhost 上，端口为 27017。在命令行上输入命令，在 MongoDB 实例的 bin 目录下输入 mongodump 命令。

假设 mycol 集合包含如下数据：

>mongodump

上述命令会连接在 127.0.0.1 运行的服务器（端口为 27017），将所有数据备份到 /bin/dump 上。命令输出结果如下图所示：

mongodump 命令其实包含很多选项。

语法格式	描述	范例
mongodump --host HOST_NAME --port PORT_NUMBER	该命令将指定 mongod 实例上的所有数据库都进行了备份	mongodump --host tutorialspoint.com --port 27017
mongodump --dbpath DB_PATH --out BACKUP_DIRECTORY	-	mongodump --dbpath /data/db/ --out /data/backup/
mongodump --collection COLLECTION --db DB_NAME	该命令只备份那些指定路径上的指定数据库	mongodump --collection mycol --db test

重新恢复数据

恢复备份数据使用 mongorestore 命令，该命令将备份目录中的所有数据给予恢复。

语法格式

mongorestore 命令的基本语法格式为：

> mongorestore

该命令输入结果如下图所示：

部署

在准备一个 MongoDB 部署时，应该先了解一下应用是如何在生产环境中运行的。使用一个持久性可重复的策略来管理部署环境无疑是很有用的，它将减少你在生产环境中遇到意外麻烦的可能性。

最佳的策略应包括以下几点：规划设置原型，执行负载测试，监控关键参数，并使用该信息来扩展设置。关键在于积极监控整个系统，这能有助于了解生产系统在部署前的运作方式，确定该在何处添加功能。例如，意识到了内存使用中的潜在峰值，就有可能及时地防止写锁定情况的出现。

为了监控部署，MongoDB 提供了多种命令。

mongostat

该命令检查所有运行中的 mongod 实例的状态，返回数据库操作的统计结果。这些统计命令包括插入数、查询数、更新数、删除数以及游标的操作等。有些命令还能显示碰到页面错误的时间，以及写锁的时间百分比。这意味着你遇到一些问题：内存低，写入及性能上出现了一些问题。

先运行 mongod 实例，然后在另一个命令行提示符中输入命令，在 mongodb 安装目录的 bin 目录下输入mongostat。

D:\set up\mongodb\bin>mongostat

该命令输出结果如下：

mongotop

该命令能够记录并报告 MongoDB 实例基于每个集合的读写活动。mongotop 默认每秒返回一次结果，但我们可以修改间隔时间。你应该检查读写活动是否符合应用预期状态。理想情况下，不应该出现对数据库进行过多的写操作，过于频繁地读取磁盘，或者超出了工作集的容量等情况。

先运行 mongod 实例，然后在另一个命令行提示符中输入命令，在 mongodb 安装目录的 bin 目录下输入mongotop。

D:\set up\mongodb\bin>mongotop

该命令输出结果如下所示：

要想使 mongotop 命令返回信息的间隔时间变长，可以在 mongotop 命令的后面指定一个数字。

D:\set up\mongodb\bin>mongotop 30

上述命令表示每 30 秒返回数值。

除了 mongodb 工具之外，10gen 还提供了免费的托管监控服务：MongoDB Management Service（MMS）。通过它所提供的仪表板，你可以查看整个集群的各个参数。

索引

索引能够实现高效地查询。没有索引，MongoDB 就必须扫描集合中的所有文档，才能找到匹配查询语句的文档。这种扫描毫无效率可言，需要处理大量的数据。

索引是一种特殊的数据结构，将一小块数据集保存为容易遍历的形式。索引能够存储某种特殊字段或字段集的值，并按照索引指定的方式将字段值进行排序。

ensureIndex() 方法

要想创建索引，需要使用 MongoDB 的 ensureIndex() 方法。

语法格式

ensureIndex() 方法的基本语法格式为：

>db.COLLECTION_NAME.ensureIndex({KEY:1})

这里的 key 是想创建索引的字段名称，1 代表按升序排列字段值。-1 代表按降序排列。

范例

>db.mycol.ensureIndex({"title":1})
>

可以为 ensureIndex() 方法传入多个字段，从而为多个字段创建索引。

>db.mycol.ensureIndex({"title":1,"description":-1})
>  

ensureIndex() 方法也可以接受一些可选参数，如下所示：

参数	类型	描述
background	布尔值	在后台构建索引，从而不干扰数据库的其他活动。取值为 true 时，代表在后台构建索引。默认值为 false
unique	布尔值	创建一个唯一的索引，从而当索引键匹配了索引中一个已存在值时，集合不接受文档的插入。取值为 true 代表创建唯一性索引。默认值为false。
name	字符串	索引名称。如果未指定，MongoDB 会结合索引字段名称和排序序号，生成一个索引名称。
dropDups	布尔值	在可能有重复的字段内创建唯一性索引。MongoDB 只在某个键第一次出现时进行索引，去除该键后续出现时的所有文档。
sparse	布尔值	如果为 true，索引只引用带有指定字段的文档。这些索引占据的空间较小，但在一些情况下的表现也不同（特别是排序）。默认值为 false。
expireAfterSeconds	整型值	指定一个秒数值，作为 TTL 来控制 MongoDB 保持集合中文档的时间。
v	索引版本	索引版本号。默认的索引版本跟创建索引时运行的 MongoDB 版本号有关。
weights	文档	数值，范围从 1 到 99, 999。表示就字段相对于其他索引字段的重要性。
default_language	字符串	对文本索引而言，用于确定停止词列表，以及词干分析器（stemmer）与断词器（tokenizer）的规则。默认值为 english。
language_override	字符串	对文本索引而言，指定了文档所包含的字段名，该语言将覆盖默认语言。默认值为 language。

聚合

聚合操作能够处理数据记录并返回计算结果。聚合操作能将多个文档中的值组合起来，对成组数据执行各种操作，返回单一的结果。它相当于 SQL 中的 count(*) 组合 group by。

aggregate() 方法

对于 MongoDB 中的聚合操作，应该使用 aggregate() 方法。

语法格式

aggregate() 方法中的基本格式如下所示：

>db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)

范例

假如某个集合包含下列数据：

{
   _id: ObjectId(7df78ad8902c)
   title: 'MongoDB Overview',
   description: 'MongoDB is no sql database',
   by_user: 'tutorials point',
   url: 'http://www.tutorialspoint.com',
   tags: ['mongodb', 'database', 'NoSQL'],
   likes: 100
},
{
   _id: ObjectId(7df78ad8902d)
   title: 'NoSQL Overview',
   description: 'No sql database is very fast',
   by_user: 'tutorials point',
   url: 'http://www.tutorialspoint.com',
   tags: ['mongodb', 'database', 'NoSQL'],
   likes: 10
},
{
   _id: ObjectId(7df78ad8902e)
   title: 'Neo4j Overview',
   description: 'Neo4j is no sql database',
   by_user: 'Neo4j',
   url: 'http://www.neo4j.com',
   tags: ['neo4j', 'database', 'NoSQL'],
   likes: 750
},

假如想从上述集合中，归纳出一个列表，以显示每个用户写的教程数量，需要像下面这样使用 aggregate() 方法：

> db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : 1}}}])
{
   "result" : [
      {
         "_id" : "tutorials point",
         "num_tutorial" : 2
      },
      {
         "_id" : "Neo4j",
         "num_tutorial" : 1
      }
   ],
   "ok" : 1
}
>

假如用 SQL 来处理上述查询，则需要使用这样的命令：select by_user, count(*) from mycol group by by_user。

上例使用 by_user 字段来组合文档，每遇到一次 by_user，就递增之前的合计值。下面是聚合表达式列表。

表达式	描述	范例
$sum	对集合中所有文档的定义值进行加和操作	db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : "$likes"}}}])
$avg	对集合中所有文档的定义值进行平均值	db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$avg : "$likes"}}}])
$min	计算集合中所有文档的对应值中的最小值	db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$min : "$likes"}}}])
$max	计算集合中所有文档的对应值中的最大值	db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$max : "$likes"}}}])
$push	将值插入到一个结果文档的数组中	db.mycol.aggregate([{$group : {_id : "$by_user", url : {$push: "$url"}}}])
$addToSet	将值插入到一个结果文档的数组中，但不进行复制	db.mycol.aggregate([{$group : {_id : "$by_user", url : {$addToSet : "$url"}}}])
$first	根据成组方式，从源文档中获取第一个文档。但只有对之前应用过 $sort管道操作符的结果才有意义。	db.mycol.aggregate([{$group : {_id : "$by_user", first_url : {$first : "$url"}}}])
$last	根据成组方式，从源文档中获取最后一个文档。但只有对之前进行过 $sort管道操作符的结果才有意义。	db.mycol.aggregate([{$group : {_id : "$by_user", last_url : {$last : "$url"}}}])

管道的概念

在 UNIX 命令 Shell 中，管道（pipeline）概念指的是能够在一些输入上执行一个操作，然后将输出结果用作下一个命令的输入。MongoDB 的聚合架构也支持这种概念。管道中有很多阶段（stage），在每一阶段中，管道操作符都会将一组文档作为输入，产生一个结果文档（或者管道终点所得到的最终 JSON 格式的文档），然后再将其用在下一阶段。

聚合架构中可能采取的管道操作符有：

• $project 用来选取集合中一些特定字段。
• $match 过滤操作。减少用作下一阶段输入的文档的数量。
• $group 如上所述，执行真正的聚合操作。
• $sort 对文档进行排序。
• $skip 在一组文档中，跳过指定数量的文档。
• $limit 将查看文档的数目限制为从当前位置处开始的指定数目。
• $unwind 解开使用数组的文档。当使用数组时，数据处于预连接状态，通过该操作，数据重新回归为各个单独的文档的状态。利用该阶段性操作可增加下一阶段性操作的文档数量。

 

 

 

复制

复制是一种在多个服务器上同步数据的过程。通过在不同的数据库服务器上实现多个数据副本，复制能够实现数据冗余，提高数据的可用性，从而避免了仅仅因为一台服务器故障后就会产生的数据库灾难。总之，复制可以使你免受硬件故障与服务中断的影响，及时恢复数据。由于数据有多个副本，所以可以将其中一个副本用于灾难恢复、报告或备份。

为什么需要复制

• 保持数据安全
• 保证数据的高可用性（24 小时 × 7 天，全年无休）
• 灾难恢复
• 无需停机维护（比如进行备份、索引重建，压缩等任务）
• 读取的可扩展性（可读取其他副本）
• 副本集对应用的公开性

复制在 MongoDB 中的运作方式

MongoDB 使用副本集（replica set）来实现复制操作。副本集是一组托管同一数据集的 mongod 对象。在副本集中，主节点负责接收写入操作。所有其他的实例（从节点）则通过执行主节点的操作来拥有同样的数据集。副本集中只有一个主节点。

1. 副本集具有 2 个或多个节点（但一般最少需要 3 个节点）。
2. 副本集只有一个主节点，其他全是从节点。
3. 所有数据都是从主节点复制到从节点上的。
4. 当发生自动故障转移或维护时，会重新推举一个新的主节点。
5. 当失败节点恢复后，该节点重新又连接到副本集中，重新作为从节点。

下图展示了一个典型的 MongoDB 复制图。客户端应用总是跟主节点交互，主节点将数据复制到从节点上。

副本集特点

• 具有 N 个节点的集群
• 任何节点都可能成为主节点
• 所有写入操作必须由主节点来完成
• 自动故障转移
• 自动故障恢复
• 重新推举主节点

建立副本集

在本教程中，我们将把单独的一个 mongod 实例转变为副本集，步骤如下：

1. 关闭正在运行的 MongoDB 服务器。

2. 指定 --replSet 选项来开启 MongoDB 服务器。--replSet 的基本格式如下：

   mongod --port "PORT" --dbpath "YOUR_DB_DATA_PATH" --replSet "REPLICA_SET_INSTANCE_NAME"

范例

mongod --port 27017 --dbpath "D:\set up\mongodb\data" --replSet rs0

该命令会在端口 27017 处启动一个名为 rs0 的 MongoDB 实例。在命令行提示符上输入命令连接到该 MongoDB 对象上。在 MongoDB 客户端使用 rs.initiate() 命令来初始化一个新的副本集。检查该副本集设置，则需使用rs.conf()。检查副本集状态使用 rs.status()。

为副本集添加成员

为了向副本集添加成员，在多台机器上开启多个 MongoDB 实例。开启一个 MongoDB 客户端，然后使用 rs.add() 命令。

语法格式

基本的 rs.add() 命令语法格式如下所示：

>rs.add(HOST_NAME:PORT)

范例

假设 MongoDB 实例名称为 mongodb1.net，且运行在 27017 端口处。为了将该实例添加到副本集中，请在 MongoDB 客户端中使用 rs.add()。

>rs.add("mongod1.net:27017")
>  

只有当连接到主节点上时，才能向副本集中添加 MongoDB 实例。要想查看是否连接的是主节点，请在 MongoDB 客户端上使用 db.isMaster() 命令。

分片

分片是一种在多台机器上存储数据记录的操作，它是 MongoDB 为应对数据增长需求而采取的办法。当数据量增长时，单台机器有可能无法存储数据或可接受的读取写入吞吐量。通过横向扩展，分片技术解决了这个问题。利用分片技术，我们可以添加更多的机器来应对数据量增加以及读写操作的要求。

为何要分片

• 将所有的写入操作复制到主节点
• 对延迟敏感的查询将在主节点上完成
• 单个副本集的节点数限制为 12 个
• 当活跃数据集过大时，内存有可能不够
• 本地磁盘空间不足
• 纵向扩展太过昂贵

MongoDB 中的分片

下图展示了 MongoDB 使用分片集群的情形：

在上图中，有三个组件值得说明：

• 分片 分片用来存储数据。它们提供了高可用性与数据一致性。在生产环境中，每个分片都是一个独立的副本集。
• 配置服务器 配置服务器（Config server）保存着集群的元数据。该数据含有集群数据集到分片的映射关系。查询路由使用该元数据来定位特定分片的操作。在生产环境中，分片集群具有 3 个配置服务器。
• 查询路由 查询路由（Query Router）基本上就是 mongos 实例，是客户端的接口，直接操作适当的分片。查询路由定位并处理对分片的操作，并将结果返回至客户端。分片集群可能含有多个查询路由，以便分散客户端请求负载。一个客户端请求对应着一个查询路由。通常一个分片集群可能有很多查询路由。