千万别用MongoDB?真的吗?!
某人发了一篇Don’t use MongoDB的血泪控诉,我把原文翻译如下,你可以看看。不过,我想我们还要去看看10gen CTO的对此事的回复,我们还要去在Reddit上看看大家的说法,10gen CTO的对此事的回复后面也有一堆人在讨论这个事,还有一些程序员开始去读MongoDB的源码了,呵呵。看样子,说MongoDB的这些事并不是真的。
10gen CTO 对此事的并不完全知道,其在回复,对些文中的每一条都做了回复。我把其回复的大体意思也放在原文中。不过,很有意思的是那些程序员的讨论。建议大家看看。
正文
因为各种政治原因,我这段时间没有说什么,但是现在我觉得因为要对社会负责,所以我要阻止大家不要把你们的业务放在MongoDB上。
我的团队在一个有巨大用户量(一个有千万用户级的大型的公司)系统上使用的MongoDB,这个系统上让MongoDB有非常大的负载。早期,我们以为使用MongoDB会像10gen公司(MongoDB背后的公司)宣扬其在长期性能扩展有很多好处。但是,我们错了,而这个rant(长篇抱怨)就是为了让你不要相信那些所谓的成功经验而和我们一样犯了大错。如果有人能避免你上当,那么就得我写这么多。希望能警醒更多的人。
注意,对于和10gen打交道的经历来说,他们给予了我们充分了热情和帮助,而且非常地好。但是这并不能成为我不告诉大家他们的产品失败的理由。
为什么这么说?
数据库应该是正确的,或是仅可能的正确,因为数据库的错误会比其它使用更大。不仅仅是因为其对运行,性能,开销,和其价值影响巨大,还因为其连带的东西。匆忙去去移植TB级的数据相比起去修改代码中的一个逻辑错误来说是一个很巨大的工作。而在系统出问题后需要恢复TB级的数据,而你即被限制住了,你会有一种绝望的感觉。
数据库是一个很复杂的系统,对于开发者来说就像一个黑盒一样。你需要对你所采用的数据库持绝对信任的态度,信任它会做正确的事,并尽会保持 一致笥和可用性。
为什么MongoDB会流行?
说句公道话,我们必需承认MongoDB是流行的,因为下面这些原因让其流行变得很合理:
- 它非常容易地运行
- 非常自由的Schema模型,而且可以很容易地和JSON类的数据结果映射起来,这对于程序员来于有很大的感染力(它完全符合程序员的逻辑思维),而且,程序员总是在项目可以做技术选型的人。
- 成熟和分健壮,有记录,被真实的Use Case测试过,等等。对于那些喜欢选择成熟的技术的系统管理员和运营专业来说,这是一个很典型的选择。
- 它单系统,低读并发的性能测试非常令人惊讶,而对于那些没有经验的评估者来说,这基本上来说是最重要的。
现在,你可能正在开发一个随便玩一玩的网站,或是一个原型,或是那种只考虑开发速度不考虑别的的项目。老实说,对于这种项止,无所谓你用什么样的技术,只要搞定工作就行了。
但是,如果你想要在MongoDB上搞一个大规模的系统,在上面运行真实的业务,那么,请不要用MongoDB。
为什么不?
1)MongoDB为了赢得Benchmark测试而默认使用了不安全的写方式
如果你不调用getLastError(),MongoDB就不会在确认数据库写操作完成就返回了,这会引入至少两种问题:
- 在并发的环境下(连接池,等),在一个读操作“完成”后的连续地读操作会出错,MongoDB没有“栅栏条件锁”来知道什么时候完成写。
- 未知个数的保存操作会被丢弃,因为保存操作的队列会在不同的地方。比如TCP缓存等。当你和数据库连接因为一些意味情况断开的时候,这些东西就被丢弃了。
10gen CTO 回复: 这和Benchmark没有任何关系,并说这个就是API的设计,其交给用户自己去选择,因为写的方式也有很多种。
2)MongoDB会以令人震惊的方式丢失数据
下面是一个我们所经历过的它丢数据的列表:
- 数据就是丢了,原因未知
- 从损坏的数据库中恢复数据不成功,如事务日志。
- 主从结点间的数据复制有缺口,导致从结点丢失主结点有的数据。是的,没有CheckSum,并且是的,你还会看到数据复制过去了。
- 数据复制有时会停了,没有错误。你可以监控你的复制状态。
10gen CTO 逐一回复:1)从来没有一个数据丢失的BUG我们没有马上fix的事情。你能告诉我你报给我们的问题号吗?我们至少要明的是怎么一回事。如果是我们的问题,我们会马上fix的。2)从损坏了的数据库中不能完全恢复数据 ,这不挺正常的吗?但是如果有主从服务器互为备份应该会好一些。3)请告诉我你的问题号,我们从来没有接到过这样的错误报告。如果有,的确很严重。4)如果是说错误条件发生的时候没有通知,这有可能。另外,你可以监控数据复制的写操作,你可以使用w=2 为getLastError的参数。
3)MongoDB 需要全局写锁来请求写操作
在写操作频繁的时候,这等同于杀了你。如果你运行一个blog,你也许不会关心这个事,因为你的读写操作不高。
10gen CTO 回复:读写锁永远都是问题,但是2.0会好很多,2.2会解决得更好一些。
4)MongoDB 的Sharding(分区) 在高负载下会停止工作
在高负载下加一个shard是一场恶梦。Mongo要么会移动其数据块太快而导致DOS攻击产生很多流量占用带宽,要么就完全地拒绝更多的数据块。这会使一个高流量的网站承受着沉重地写操作。
10gen CTO 回复:如果系统已经超过了其负载,那么移动数据当然会变得很难。我每一次的演讲都说得很清楚,不要在系统性能不行的时候才去加shard,这不行的。
5)Mongo 不可靠
Mongod/配置服务器/mongos的架构确定合理且聪明。不幸的是,mongos完全就是垃圾。在有负载的情况下,它时不时就都会崩溃,有时几个小时,有时几天。进程重启监控有时也不管用,因为他会抛出一些断言会伪造出一个关键线程,其导致进程还在运行。Double Fail。
最坏的是,唯一可行的方式是在一堆mongos实例前放一个HaProxy(一种负载均衡器),运行一个作业其缓慢地轮着访问这些mongos实例,并定期kill掉他们,以变可以重新启动新的实例。我没有在开玩笑。
10gen CTO 回复:不可能有这种事,你能不能告诉我更多的细节?
6)MongoDB有一次甚至删除了整个数据库
MongoDB 1.6,在数据同步配置中,有时会配置了一个错误的结点(经常是一个空结点)是一个最新的数据结点。于是其它同步数据的结果上的数据就这样被干掉了(我说的是700GB的好数据),因为其把这个空结点的数据同步回有数据的结点上。数据库永远永远都不应该干这个。如果出现这种问题,数据库应该抛出一个错误而让DBA来选择合理的操作,或是强制使用正确的配置。而不应该删除所有的数据(那天太糟糕了)。
他们在1.8中修复了这个问题,偶滴神啊。
10gen CTO 回复:找不到这样的事,也找不到相应提交的代码,你能多给点信息吗?
7)发布了一些不应该发布东西
众所周知,在稳定版里能找到一些尴尬的bug其会导致数据问题——而我们总是在出了问题后他们才告诉我们这些问题,这是因为我们购买了10gen他们那超级诈骗的白金技术支持。他们回应是,发给我们一个hot patch,他们内部叫RC的玩意,然后让这个hot patch运行在我们的数据上。
10gen CTO 回复:关于白金的技术支持,我们所接手的所有问题都会公开,fix也会公开。没有特定的情景,这种事很难讨论。我们会根据不同的情况作出不同的反应。我们希望我们的用户的问题能尽快得到解决。
8)复制器在繁忙的服务器上黯然失色
复制器经常性的向Master发起DOS攻击,或是复制非常慢,花了巨长无比的时间,而oplog几乎被耗尽(就算是50GB的oplog)。
我们有一个繁忙的,大的数据集我们不会复制他因为它是动态的。那是令人痛苦的一个月,或是我们需要在选择不同的数据库系统前交叉双指(注:好运的手势)
10gen CTO 回复:这看起来像上服务器负载过重了。我前面提到过了。
但是最糟糕的问题是:
你可能会说,我这些问题都是过去式了;他们修复了所有这些问题或是他们会在下一版本中修复这些问题;X问题可以用Y实践来减轻。等等,等等。
不幸的是,你说这些东西一点用也没有。
真正的问题是,这么多的问题都是首要的问题。 数据库开发者要能hold住比一般程序员更高的标准。也就是说,你的优先级应该像下面这个样子:
- 别搞丢数据,对数据要有完全的把握
- 通过实践保证可用性
- 多结点的性能扩展性
- 最小延迟应该保持在99%和95%之间
- 每个资源的每秒请求数
10gen的顺序好像是 #5 为每一,其它项随便,#1 并不在前3位。
10gen CTO 回复:这明显不是真的。看一看我们提交的代码,看一看我们的fix。 我们从来不会在release版中隐藏一个bug。如果我们非常在乎性能的benchmark的话,我们会花精力解决那些锁的问题,这样一来,多线程并发会更快一些。
MongoDB是一个新生的东西,还有很多东西需要打磨。如果你想来认识一下我们,我们欢迎你来认识一下我们。
这些失败,还有那所暗示的公司的优先级,指出了一个最基本的企业文化的问题,其会让问题出现在任一发布版中:因为他们缺乏尊守必要的数据库系统的设计律条。
请慎重考虑这些警告。
千万别用MongoDB?真的吗?!的更多相关文章
- 【原创测试】MongoDB千万级插入数据测试(MMO在线游戏应用场合)
一.筹备 我们要做一次千万级的MONGODB测试,操作系统选用CentOS 5.5 64位版,基本模拟实际的使用环境,采用单机集群模型(测试单机多CPU情况下的实际效果). 测试基准数据: 服务器配置 ...
- MongoDB 初见指南
技术若只如初见,那么还会踩坑么? 在系统引入 MongoDB 也有几年了,一开始是因为 MySQL 中有单表记录增长太快(每天几千万条吧)容易拖慢 MySQL 的主从复制.而这类数据增长迅速的流水表, ...
- 「2014-2-6」TokuMX and MongoDB related materials collection
简介参考 TokuMX 和 MongoDB 各自的官方站点. ## Tokutek 最重要的特点和 marketing word 是所谓 fractal tree indexing te ...
- 磊哥评测之数据库:腾讯云MongoDB vs自建
本文由云+社区发表 作者:磊哥 上期文章我们聊到了redis.这期我们来说说另一个网红nosql数据库:MongoDB.有这么一个介绍MongoDB的说法是:MongoDB是非关系数据库当中功能最丰富 ...
- MongoDB丢数据问题的分析
坊间有很多传说MongoDB会丢数据.特别是最近有一个InfoQ翻译的Sven的一篇水文(为什么叫做水文?因为里面并没有他自己的原创,只是搜罗了一些网上的博客,炒了些冷饭吃),其中又提到了丢数据的事情 ...
- mongoDB & Nodejs 访问mongoDB (一)
最近的毕设需要用到mongoDB数据库,又把它拿出来再学一学,下盘并不是很稳,所以做一些笔记,不然又忘啦. 安装 mongoDB & mongoVUE mongoDB: https://www ...
- MongoDB 基础教程CURD帮助类
最近两天在学习MongoDB,强大的文档数据库.给我最大的感觉就是相比于SQL或者MSQ等传统的关系型数据库,在使用和配置上真的是简化了很多.无论是在集群的配置还是故障转移方面,都省去了许多繁琐的步骤 ...
- 树结构系列(四):MongoDb 使用的到底是 B 树,还是 B+ 树?
文章首发于「陈树义」公众号及个人博客 shuyi.tech 文章首发于「陈树义」公众号及个人博客 shuyi.tech,欢迎访问更多有趣有价值的文章. 关于 B 树与 B+ 树,网上有一个比较经典的问 ...
- trigger()的event事件对象之坑
问题引入,先贴一段有问题的代码,如果你对 trigger() 这个函数了解不透彻,还真看不出这段代码错在哪.完成的功能是样式转换器,想让页面在加载后自行触发点击事件隐藏三个按钮,但是效果如图并没有隐 ...
随机推荐
- anaconda3.5 3.6 2.7
https://repo.continuum.io/archive/ Filename Size Last Modified MD5 Anaconda2-5.0.1-Linux-x86.sh 413. ...
- scapy windows install
最近有点扫描网络的需求,都说scapy好,但是安装是个事(当然指的是windows安装)有个scapy3k,支持python3,可惜需要powershell,也就是说windows xp是没有戏了. ...
- 【WPF学习笔记】之如何设置下拉框读取SqlServer数据库的值:动画系列之(一)
先前条件:设置好数据库,需要三个文件CommandInfo.cs.DbHelperSQL.cs.myHelper.cs,需要修改命名空间,参照之前随笔http://www.cnblogs.com/Ow ...
- 中面试中你不可回避的C、C++的问题(一)
基础中的基础 局部变量与全局变量问题 (使用’ ::’) 2. 如何在另个文件中引用一个全局变量 (extern) 3. 全局变量可以定义被多个C文件包含,并且是static 4. ...
- 【转】windows下 ADT NDK开发环境配置
前提: 下载好Ecplise ADT并配置好开发环境,不会配置环境可以参考这里: http://blog.csdn.net/danfengw/article/details/47111107 步骤: ...
- 【React Native开发】React Native控件之RefreshControl组件具体解释(21)
),React Native技术交流4群(458982758)种 enabled bool android平台适用 用来设置下拉刷新功能是否可用 progressBackgroundColo ...
- mfc 小程序---在系统菜单中添加菜单项
1建立一个对话框工程:在dlg类里定义一个菜单指针m_pMenu,在对话框OnInitDialog函数里添加代码: m_pMenu=GetSystemMenu(FALSE);//获取系统菜单的指针 m ...
- JBoss AS 7之域名直接訪问配置(The Return Of The King)
1.6域名直接訪问配置 部署JBoss的时候,默认情况下訪问是须要加项目名字才可以訪问的. 可是怎样才可以"IP+port"訪问呢?以下将解说怎样配置. 配置域名訪问须要在项目以下 ...
- 【BZOJ3997】[TJOI2015]组合数学 最长反链
[BZOJ3997][TJOI2015]组合数学 Description 给出一个网格图,其中某些格子有财宝,每次从左上角出发,只能向下或右走.问至少走多少次才能将财宝捡完.此对此问题变形,假设每个格 ...
- opencv常用类总结
1 Rect_ (const Point_< _Tp > &pt1, const Point_< _Tp > &pt2),Rect的这种两个点的构造函数的两个点 ...