MongoDB硬件及开发标准规范
大数据平台部
运维研发组
MongoDB硬件及开发标准规范
说明：
无特殊情况，均以此文档为参考文件搭建，如有特殊情况，需与运维研发组和开发组商议后进行更改。
MongoDB
标 题硬件标准及研发规范
目 录
第1章
MongoDB配置标准规范.................................................................................. 1
1.1 MongoDB版本选择................................................................................... 1
1.1.1 稳定版本................................................................................................. 1
1.2 研发数据集群规划...................................................................................... 1
1.2.1 标准集群（repl set复制集）................................................................ 1
部署过程见《MongoDB高可用集群C生产部署文档V1.0》................... 1
1.2.2 标准集群（repl set复制集+sharding分片）....................................... 1
部署过程见《MongoDB高可用集群A生产部署文档V1.1》.................. 2
1.2.3 超大规模集群（repl set复制集+sharding分片）............................... 2
部署过程见《MongoDB高可用集群B生产部署文档V1.0》................... 2
1.3 大数据海量数据集群规划.......................................................................... 2
1.2.1 海量数据标准集群（repl set复制集）................................................ 2
部署过程见《MongoDB高可用集群C生产部署文档V1.0》................... 2
1.2.2 海量数据标准集群（repl set复制集+sharding分片）....................... 2
部署过程见《MongoDB高可用集群A生产部署文档V1.1》.................. 2
1.2.3 海量数据超大规模集群（repl set复制集+sharding分片）............... 3
部署过程见《MongoDB高可用集群B生产部署文档V1.0》................... 3
1.4 主机配置标准化参数.................................................................................. 3
1.5 基础卷分配原则.......................................................................................... 6
1.6 卷监控阈值要求.......................................................................................... 7
第2章 MongoDB研发规范.......................................................................................... 8
2.1 库设计................................................................................................................ 8
2.1.1 mongodb库设计..................................................................................... 8
2.2 集合设计............................................................................................................ 8
2.2.1 MongoDB集合设计............................................................................... 8
2.3 文档设计............................................................................................................ 9
2.3.1 MongoDB文档设计............................................................................... 9
2.4 索引设计............................................................................................................ 9
2.4.1 MongoDB索引设计............................................................................... 9
2.4 索引设计.......................................................................................................... 10
第1章 MongoDB配置标准规范
1.1
MongoDB版本选择
1.1.1 稳定版本
默认新装数据库使用MongoDB 3.X 社区版（具体详情请查看如下表格），已经使用且数据量大和已有无法改造升级的系统除外。
|
版本 |
建议 |
|
3.2.10 |
见标准安装包文件夹内 |
|
3.4.X |
待测试调研 |
1.2
集群规划
1.2.1 标准集群（repl set复制集）
部署过程见《MongoDB高可用集群A生产部署文档V1.0》
l
集群节点: 6节点(1 primary +4 secondry + 1 仲裁)
l
主机配置：
Core64 ， 256G 内存 （按需申请资源见第三章计算标准）
l
硬盘配置
：优先SSD/HDD 2T RAID-10
l
容量和扩容规划：单节点内存使用率控制在70%，集群LUN 总量达到2T以上时规划新的大库集群或者扩容相应硬件
1.2.2 标准集群（repl set复制集+sharding分片）
部署过程见《MongoDB高可用集群B生产部署文档V1.1》
l
集群节点: 3节点
l
主机配置：
Core64 ， 128G 内存
l
硬盘配置
：优先SSD/HDD 5T RAID-10 (使用1TB MLC SSD 组装)
l
容量和扩容规划：单节点内存使用率控制在70%，集群LUN 总量达到5T以上时规划新的大库集群或者相应硬件
1.2.3 超大规模集群（repl set复制集+sharding分片）
部署过程见《MongoDB高可用集群C生产部署文档V1.0》
l
集群节点: 7节点
l
主机配置：
Core64， 128G 内存
l
硬盘配置
：优先SSD/HDD 10T RAID-10
l
容量和扩容规划：单节点内存使用率控制在70%，集群LUN 总量达到10T以上时规划新的大库集群或者相应硬件
1.3
基础卷分配原则
|
卷类型 |
卷名 |
初始大小G |
存储类型 |
用途 |
其他说明 |
|
软件卷 |
/app/mongodb |
30 |
本地 |
MongoDB软件 |
本机所有数据库共享 |
|
数据卷 |
/data/mongodb/*/data 其中*代表每个实例的文件名 |
根据要求 |
本地 |
数据库数据 |
共享给集群内所有主机 |
|
日志卷 |
/data/mongodb/*/log 其中*代表每个实例的文件名 |
根据要求 |
本地 |
数据库日志数据 |
共享给集群内所有主机 |
|
备份卷 |
/mongodb_backup/ |
500 |
本地盘 |
接DP备份 |
本机所有数据库共享当前仅在容灾机房有要求 |
1.4
卷监控阈值要求
|
卷类型 |
卷名 |
Warning |
Critical |
|
软件卷 |
/app/mongodb |
80% |
85% |
|
数据卷 |
/data/mongodb/*/data |
80% |
85% |
|
日志卷 |
/data/mongodb/*/log |
80% |
85% |
|
备份卷 |
/mongodb_backup/ |
80% |
85% |
第2章 MongoDB研发规范
2.1 库设计
2.1.1 mongodb库设计
l
mongodb数据库命名规范：db_xxxx
禁止使用任何 " _ "（下划线）外的特殊字符
l
库名全部小写，禁止使用任何_以外的特殊字符，禁止使用数字打头的库名，如：123_abc
l
库以文件夹的形式存在，使用特殊字符或其它不规范的命名方式会导致命名混乱
数据库名最多为64字符
l
在创建新的库前应尽量评估该库的体积、QPS等，提前与DBA讨论是应该新建一个库还是专门为该库创建一个新的集群
l
不能为空字符串(” “)
l
不能以$开头
l
不能包含.(点号)和空字符串
l
数据库名区分大小写(建议数据库名全部使用小写)
l
数据库名最长为64个字节
l
不要与系统保留的数据库名相同,这写数据库包括:admin,local,config等
2.2 集合设计
2.2.1 MongoDB集合设计
l
mongodb集合命名规范：t_xxxx
l
集合名全部小写，禁止使用任何_以外的特殊字符，禁止使用数字打头的集合名，如：123_abc，禁止system打头
l
system是系统集合前缀
集合名称最多为64字符
为了避免库级锁带来的问题，应尽量对写入较大的集合使用“单库单集合”的结构，所以对于新增业务应尽量创建新库，而不是在现有库中创建新集合
l
一个库中写入较大的集合会影响其它集合的读写性能
如果评估单集合数据量较大，可以将一个大表拆分为多个小表，然后将每一个小表存放在独立的库中，由于MongoDB是库级锁，因此这样做可以大幅减少并发写入带来的锁争用问题
l
集合名不能为空字符串(” “)
l
不能包含\0或空字符,这个字符表示键的结尾
l
集合名不能以”system.”开头,此前缀是系统本身保留的
l
集合名不能包含$字符(注:可包含 . 点号)
2.3 文档设计
2.3.1 MongoDB文档设计
l
文档中的key禁止使用任何_以外的特殊字符
l
尽量将同样类型的文档存放在一个集合中，将不同类型的文档分散在不同的集合中
l
相同类型的文档能够大幅度提高索引利用率，如果文档混杂存放则可能会出现查询经常需要全表扫描的情况
l
禁止使用_id，如：向_id中写入自定义内容
l
尽量存放统一小写后的数据
l
尽可能的缩短key的长度(注意是尽可能！会涉及到性能问题)
2.4 索引设计
2.4.1 MongoDB索引设计
l
优先使用覆盖索引
l
MongoDB 的组合索引使用策略与 MySQL 一致，遵循“最左原则”
l
索引名称长度不要超过128字符
l
应尽量综合评估查询场景,通过评估尽可能的将单列索引并入组合索引以降低所以数量，结合1，2点
l
在创建组合索引的时候，应评估索引中包含的字段，尽量将数据基数大的字段放在组合索引的前面
l
在数据量较大的时候，MongoDB 索引的创建是一个缓慢的过程，所以应当在上前线或数据量变得很大前尽量评估，按需创建会用到的索引
l
MongoDB 的索引创建是库级锁，在索引创建时该集合所在库不可读写，所以如需添加索引，请联系 DBA
l
特别注意基于地理位置的索引建立时会带来的问题。
2.4 索引设计
第3章 参考Mongodb硬件资源计算标准
3.1 Cpu资源计算标准
3.1.1 副本集
标准：64core---------2TB snappy压缩算法 CPU一个线程会跑满一个核心。假设写入一个线程，读取一个线程，那这两个线程在接近满负荷跑时两个CPU核心会用完。
----------------------------------------------------------------------------------
primary节点：例
cpu core = 2(系统预留)+12000（读写）/1000 core，按实际情况配置cpu资源
-----------------------------------------------------------------------------------
3.1.2 分片副本集
------------------------------------------------------------------------------------
待计算评估。
-------------------------------------------------------------------------------------
3.2 内存资源计算标准
数据量：内存≈3:1 (最低标准5:1)
Eg:700G数据量：
在副本集模式下最低应该使用128G内存。遵循最低标准或接近原则。
--------------------------------------
700/5=140≈128
---------------------------------------
在分片副本集（3分片下）每个实例机器应该使用64GB内存
------------------------------------------------------------
700/5=140G=<64G*3
------------------------------------------------------------
3.3 硬盘资源计算标准
3.3.1 硬盘类型
在资源允许情况下，mongodb优先以SSD为主。资源不允许情况下，如有以下情况，则必须用SSD。
---------------------------------------------------------------------------------------------
读每秒读取超过数据量100M
，读队列阻塞上升，则必须用SSD。
写每秒读取超过数据量100M
，写队列阻塞上升，则必须用SSD。
---------------------------------------------------------------------------------------------
磁盘规格：
以700G数据量为例：使用磁盘大小≈基数+每日增长数据量*90天
3.3.2 硬盘大小
根据实际数据量增长率，默认至少应该保留数据量3个月增长空间。
3.4 网络网卡资源计算标准
如果硬盘是SSD，那么可以在超高情况200M/s写入或者读取上在主节点和第二备节点提供万兆网卡。
其他情况用千兆网卡即可。
MongoDB硬件及开发标准规范的更多相关文章
- Web前端开发标准规范
web前端开发规范的意义 提高团队的协作能力 提高代码的复用利用率 可以写出质量更高,效率更好的代码 为后期维护提供更好的支持 一.命名规则 命名使用英文语义化,禁止使用特殊字符,禁止使用拼音,禁止使 ...
- Mysql系列二:Mysql 开发标准规范
原文链接:http://www.cnblogs.com/liulei-LL/p/7729983.html 一.表设计 1. 库名.表名.字段名使用小写字母,“_”分割. 2. 库名.表名.字段名不超过 ...
- mysql 开发标准规范
一.表设计 1. 库名.表名.字段名使用小写字母,“_”分割. 2. 库名.表名.字段名不超过12个字符. 3. 库名.表名.字段名见名知意,尽量使用名词而不是动词. 4. 优先使用InnoDB存储引 ...
- Android开发代码规范（转）
Android开发代码规范 1.命名基本原则 在面向对象编程中,对于类,对象,方法,变量等方面的命名是非常有技巧的.比如,大小写的区分,使用不同字母开头等等.但究其本,追其源,在为一个资源其名称 ...
- Android开发编码规范（自用）
转载请注明本文出自Cym的博客(http://blog.csdn.net/cym492224103),谢谢支持! Android开发编码规范 目的及指导原则 目的 统一规范 Eclipse编辑环境 ...
- ym——Android开发编码规范（自用）
转载请注明本文出自Cym的博客(http://blog.csdn.net/cym492224103),谢谢支持! Android开发编码规范 目的及指导原则 目的 统一规范 Eclipse编辑环境下J ...
- iOS扩展——Objective-C开发编程规范
最近准备开始系统学习一个完整项目的开发流程和思路,在此之前,我们需要对iOS的开发变成规范进行更系统和详尽的学习,随意对编程规范进行了整理和学习.本文内容主要转载自:Objective-C-Codin ...
- 我自己总结的C#开发命名规范整理了一份
我自己总结的C#开发命名规范整理了一份 标签: 开发规范文档标准语言 2014-06-27 22:58 3165人阅读 评论(1) 收藏 举报 分类: C#(39) 版权声明:本文为博主原创文章, ...
- PHP-FIG - PHP 标准规范
转自:https://psr.phphub.org/ PHP 标准规范 PSR 是 PHP Standard Recommendations 的简写,由 PHP FIG 组织制定的 PHP 规范,是 ...
随机推荐
- java读取excel获取数据写入到另外一个excel
pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="htt ...
- poj 2226 Muddy Fields（水二分图）
Rain has pummeled the cows' field, a rectangular grid of R rows and C columns (1 <= R <= 50, 1 ...
- hdu 2955 Robberies (01背包）
链接:http://acm.hdu.edu.cn/showproblem.php?pid=2955 思路:一开始看急了,以为概率是直接相加的,wa了无数发,这道题目给的是被抓的概率,我们应该先求出总的 ...
- Mysql 函数大全- 5.6 中文解释函数参考
mysql 函数大全 5.6 函数参考 5.6函数参考 (只翻译部分,细节查看相关英文版) 12.1功能和操作员参考 12.2表达式评估中的类型转换 12.3运营商 12.4控制流功能 12.5 ...
- MT【244】调和分割
已知椭圆方程:$\dfrac{x^2}{4}+\dfrac{y^2}{3}=1$,过点$P(1,1)$的两条直线分别与椭圆交于点$A,C$和$B,D$,且满足$\overrightarrow{AP}= ...
- 【BZOJ1023】仙人掌图（仙人掌，动态规划）
[BZOJ1023]仙人掌图(仙人掌,动态规划) 题面 BZOJ 求仙人掌的直径(两点之间最短路径最大值) 题解 一开始看错题了,以为是求仙人掌中的最长路径... 后来发现看错题了一下就改过来了.. ...
- Qt Creator 编译测试 MQTT-C
@2018-12-21 [小记] 创建工程步骤: a. File ---> New File or Project ---> Non-Qt Project ---> Plain C ...
- HDU--5519 Sequence II （主席树）
题目链接 2016年长春ccpc I 题 题目大意 : 给你n(n≤2∗105n≤2∗105)个数,每个数的大小 0<Ai≤2∗10^5 0<Ai≤2∗10^5. 再给你m(m≤2∗1 ...
- 模拟@Test的功能实现
注解和注释区别 * 注释:给程序员看的.* 注解:给虚拟机看的.(让虚拟机看到程序中的注解,注解代表程序的一些特殊的功能.) JDK中提供的注解 @Override :描述子类重写父类的方法: * J ...
- C# 下载文件 只利用文件的存放路径来下载
第一种方式: 最简单的就是返回一个file类型的数据即FilePathResult类型的对象 string serverPath = ConfigurationManager.AppSettings[ ...