mongo 读分析
分布式读
读冲突
分布式中数据库有多份数据,各份数据可能存在不一致性。
mongo 只会写到primary节点上,理论上来说不会有文档冲突,也就是说数据库中的数据都以primary节点为标准。
但是有种情况,一个主节点的数据还没有全部replicate 到secondary 节点,它down 了,这部分数据就有不一致性了,当它重新上线后变成了一个secondary 节点,就会有冲突了。需要将之前的这部分更新应用到cluster中。mongo 提供了rollback的功能来实现https://docs.mongodb.com/manual/core/replica-set-rollbacks/#rollbacks-during-replica-set-failover
并发控制
多版本并发控制(MVCC),不同的用户可以基于相同的document操作,支持并发读写,而不用锁,极大的提高了性能,MySQL,Oracle 等关系型数据库也有对此的支持。一般的做法就是在document级别多维护个version的字段。NoSQL cloudant 也支持MVCC(https://docs.cloudant.com/mvcc.html),但是mongo目前并不支持,有个基于java实现的mongo 并发控制mongo MVCC
Read Concern
mongo3.2 才引入read concern,需要在启动mongod时启动,–enableMajorityReadConcern,或者在配置文件中配置。
- local,默认值。直接读取当前的MongoDB实例,但是可能会读到副本集中不一致的数据,甚至可能回滚。
- majority策略读取那些已经被副本集大多数成员所认可的数据,因此数据不可能被回滚。
目前majority只被WiredTiger存储引擎所支持。
读发生回滚,这个地方可能有不理解,为什么读操作会有回滚呢。其实在上面已经提到过了,如果设置成local,不能保证读到的数据都已经被写入到replicate set的各个节点,有可能还只是在primary node上。primary node down重新上线后,就会发生roll back.
Read Preference
默认情况下,mongo从primary node读取数据,但是mongo secondary node不仅可以做数据的备份。同样也可以拿来读取,这样可以极大的提高读性能。可以在每个connection 层面配置读路由的节点:
Mongo.setReadPref(mode, tagSet)
mode string类型 有五种选择primary(默认值), primaryPreferred, secondary, secondaryPreferred, or nearest.
primary:只从primary node读取
primaryPreferred:先从primary node读取,但是如果secondary节点不可达,则查询primaryPreferred
secondary:只从secondary读取
secondaryPreferred: 先从secondary node上读取,如果不可达,则从primary node读取。
nearest: 从最近的节点读取,在多个datacenter 可能会比较有用tagSet array类型 .指定打了某tag的节点 不能用于primary 模式(不是指primary 节点)
db.getMongo().setReadPref('secondaryPreferred',
[ { "dc": "east", "use": "production" }]
如果选用了不是primary节点,必须要接受数据的不一致性,primary 节点的数据是异步复制到secondary 节点上,所以secondary 节点上的数据有可能不是最新的。
总结
mongo 读配置和写配置其实有点类似,都是需要在低延迟和高一致性做权衡,只是mongo中分primary和secondary两种节点,所以配置起来没有cassandra那么的灵活
- 低延迟, 应用能够忍受可能的过时数据。使用secondaryPreferred,local concern
- 一致性要求高 使用primary,majority
多数时候可能需要读写一起考虑,关于写可以考虑这篇文章mongo 写分析
mongo 读分析的更多相关文章
- [MySQL] 一致性读分析
MySQL MVCC MySQL InnoDB存储引起实现的是基于多版本的并发控制协议---MVCC(Multi-Version Concurrency Control),基于锁的并发控制,Lock- ...
- mongo explain分析详解
1 为什么要执行explain,什么时候执行 explain的目的是将mongo的黑盒操作白盒化. 比如查询很慢的时候想知道原因. 2 explain的三种模式 2.1 queryPlanner 不会 ...
- mongo 写分析
写操作 复制集 mongo所有的节点都是写入到primary节点,同时写入oplog,secondary 节点会持续的从primary节点上复制oplog的信息,然后根据oplog写数据.second ...
- 天啦,从Mongo到ClickHouse我到底经历了什么?
前言: 在实现前端监控系统的最初,使用了 Mongo 作为日志数据存储库.文档型存储,在日志字段扩展和收缩上都能非常方便.天生的 JSON 格式和 NodeJs 配合也非常贴合.就这样度过了几个月的蜜 ...
- zepto源码分析·ajax模块
准备知识 在看ajax实现的时候,如果对ajax技术知识不是很懂的话,可以参看下ajax基础,以便读分析时不会那么迷糊 全局ajax事件 默认$.ajaxSettings设置中的global为true ...
- 一文彻底读懂MySQL事务的四大隔离级别
前言 之前分析一个死锁问题,发现自己对数据库隔离级别理解还不够清楚,所以趁着这几天假期,整理一下MySQL事务的四大隔离级别相关知识,希望对大家有帮助~ 事务 什么是事务? 事务,由一个有限的数据库操 ...
- SSD在SQLServer中的应用
一. 首先,回顾一下 SSD 的读写特性 (1)有限次数写: (2)随机读性能最好: (3)顺序读性能好: (4)顺序写性能差: (5) ...
- ANTLR4权威參考手冊(一)
写在前面的话: 此文档是对伟大的Terence Parr的著作<the definitive antlr4 reference>的翻译本.致敬!欢迎转载,请注明原地址,请尊重劳动成果.翻译 ...
- Mysql抓包工具 - MySQL Sniffer 使用小结 (含带general_log日志)
在mysql运维工作中,一般会使用tcpdump做一些分析(直接读分析日志比较难以看明白,在数据库连接值高时使用):对于mysql实时的连接监控分析,通常会使用"mysqladmin/sho ...
随机推荐
- C# GetValue 正则获取开始结束代码
/// <summary> /// 获得字符串中开始和结束字符串中间得值 /// </summary> /// <param name="str"&g ...
- JS 语言核心(JavaScript权威指南第六版)(阅读笔记)
前言: 对于程序员,学习是无止境的,知识淘换非常快,能够快速稳固掌握一门新技术,是一个程序员应该具备的素质.这里将分享本人一点点不成熟的心得. 了解一门语言,了解它的概念非常重要,但是一些优秀的设计思 ...
- [C#]设计模式-抽象工厂-创建型模式
介绍了简单工厂与工厂方法之后,现在我们来看一下工厂三兄弟的最后一个 -- 抽象工厂. 那什么是抽象工厂呢? 抽象工厂模式(Abstract Factory Pattern):提供一个创建一系列相关或相 ...
- [POJ 3243]Clever Y
Description Little Y finds there is a very interesting formula in mathematics: XY mod Z = K Given X, ...
- [SDOI2011]计算器
Description 你被要求设计一个计算器完成以下三项任务: 1.给定y,z,p,计算Y^Z Mod P 的值: 2.给定y,z,p,计算满足xy≡ Z ( mod P )的最小非负整数: 3.给 ...
- [ZJOI2016]小星星
题目描述 小Y是一个心灵手巧的女孩子,她喜欢手工制作一些小饰品.她有n颗小星星,用m条彩色的细线串了起来,每条细线连着两颗小星星. 有一天她发现,她的饰品被破坏了,很多细线都被拆掉了.这个饰品只剩下了 ...
- ●BZOJ 3622 已经没有什么好害怕的了
题链: http://www.lydsy.com/JudgeOnline/problem.php?id=3622 题解: 容斥,dp1).可以求出需要多少对"糖果>药片"(K ...
- hdu 5439(找规律)
The sequence is generated by the following scheme. 1. First, write down 1, 2 on a paper. 2. The 2nd ...
- [bzoj4850][Jsoi2016]灯塔
来自FallDream的博客,未经允许,请勿转载,谢谢. JSOI的国境线上有N一座连续的山峰,其中第ii座的高度是hi??.为了简单起见,我们认为这N座山峰排成了连续一条 直线.如果在第ii座山峰上 ...
- vim的基本介绍
vim四种模式: 1.正常模式(Normal-mode) 当我们打开vim时就会进入到正常模式,这个时候是不能编辑的,一般用于浏览文件,包括复制,删除一些文本操作.我们可以通过键盘的上下左右来进行光标 ...