很久没来更新博客,自感是一个只会搬砖的劳工,总搞些MySQL相关的数据库实在无聊,且时不时遇到些不讲道理的Dev吧,真的是心累至极,有种想回头我也去干开发的冲动,当个需求者有话语权要风得风,要雨得雨多帅。以上纯属个人小目标,万一哪天实现了呢,岂不美滋滋,从此走上人生巅峰,顿觉做技术不再那么枯燥了。

最近接触了另一种当下比较流行的MongoDB数据库,不觉又get了一项新技能,可以与人“侃侃而谈”了。谈点儿个人感受吧,MongoDB是一个非常不错的文档型数据库,一些觉得MySQL数据库存储json文档维护成本高可以放到MongoDB;不借助其他第三方工具实现高可用和分片功能,这类似与MySQL的MHA、MMM,实现了高可用的故障切换,保障了服务可用;另一大特性分片可以实现数据的分部均衡,大数据量的时候通过路由实现了服务器的负载均衡,这个功能实现了网易前段时间开源的Cetus的功能,但自带的工具兼容性会好一些,维护起来也方便。

我刚接触MongoDB也觉得这种数据库开发者很仁义,不仅提供了一个新型的场景数据库,还想到了服务高可用,甚至延伸到了另一个阶段数据量上来了,服务器单集群或者机器性能不足的问题。可是真当遇到了,你真的会以为高可用就能高可用了吗?如果你告诉我MongoDB自带的投票机制可以,那待我分享下最近的两次惨痛经历,你还会相信绝对吗?

MongoDB的OOM问题:MongoDB是最近才交付给DB运维的数据库,之前一直由op进行维护,可以讲公司以及集团内部熟悉MongoDB的人几乎没有,so配置文件很粗糙,对于内存没有做限制。终于有一天一个复用的MongoDB集群不堪忍受爆发了,大致是datavisor的任务多个进程,单进程占用了12G内存,MongoDB也没有做内存限制,半夜3点、6点分别出现OOM宕机事故。可气的是半夜宕机呀,谁能忍受。宕了一台也就算了,集群另一台也因为同样的问题GG了,然后服务不可用。告警出现disaster级别,领导各种指导,一顿忙活(限制MongoDB内存,让出资源给datavisor使用)终于解决了这个连续两天集群宕机的故障。(MongoDB是一种较吃内存的数据,按照官方文档的意思大概是物理内存的一半减少一个G就是MongoDB占用的内存,但是呢经过我的test发现事实并不是这样)。

不要问我为什么MongoDB的集群OOM问题能查两天,出现三次集群宕机的低级事故,下面谈下当今最火的数据仓库给各位DBA带来的暴击伤害。

MongoDB的网络限速处理:如果你的公司恰好有数据仓库部门,业务数据量大或者抽取策略不合理,那么我觉得你有必要考虑下MongoDB的网络限速,否则容易将核心业务交换机流量打满,单个抽取的服务器网卡流量打满,被抽取的MongoDB机器出现故障切换后二次没得切换出现集群崩塌的局面。

以上两点浅尝辄止,简短分析下,不详细赘述了,说多了又该讲讲那些我anscript批量动网卡承担的风险,加班加点排查问题,差点儿一觉醒来锅从天降。总归这些还是值得,让我觉得高可用有时候并不能真的高可用,出现崩塌的时候又该何去何从,这是个问题。

你以为的MongoDB副本集的高可用是真的高可用了吗?的更多相关文章

  1. NoSQL数据库Mongodb副本集架构(Replica Set)高可用部署

    NoSQL数据库Mongodb副本集架构(Replica Set)高可用部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. MongoDB 是一个基于分布式文件存储的数据库.由 C ...

  2. mongodb副本集高可用架构

    一.简介 Mongodb复制集由一组Mongod实例(进程)组成,包含一个Primary节点和多个Secondary节点. Mongodb Driver(客户端)的所有数据都写入Primary,Sec ...

  3. MongoDB 副本集的原理、搭建、应用

    概念: 在了解了这篇文章之后,可以进行该篇文章的说明和测试.MongoDB 副本集(Replica Set)是有自动故障恢复功能的主从集群,有一个Primary节点和一个或多个Secondary节点组 ...

  4. MongoDB副本集学习(一):概述和环境搭建

    MongoDB副本集概述 以下图片摘自MongoDB官方文档:http://docs.mongodb.org/manual/core/replication-introduction/ Primary ...

  5. MongoDB副本集搭建及备份恢复

    一.MongoDB副本集(repl set)介绍 早起版本使用master-slave,一主一从和MySQL类似,但slave在此架构中为只读,当主库宕机后,从库不能自动切换为主: 目前已经淘汰了ma ...

  6. java程序连接MongoDB副本集测试

    三个节点有一个节点挂掉也不会影响应用程序客户端对整个副本集的读写! public class TestMongoDBReplSet { public static void main(String[] ...

  7. MongoDB副本集的搭建

    副本集是mongodb提供的一种高可用解决方案.相对于原来的主从复制,副本集能自动感知primary节点的下线,并提升其中一个Secondary作为Primary. 整个过程对业务透明,同时也大大降低 ...

  8. mongodb副本集搭建过程中的问题和解决技巧

    在我以往的认知中,一个系统一旦正式上线,多半不会轻易的迁移服务器,尤其是那种涉及到多个关联应用,涉及到多台硬件服务器的系统,因为这种迁移将是牵一发而动全身的. 但是,却仍然有这种情况存在,就如我这几天 ...

  9. 十分钟搞定mongodb副本集

    mongodb副本集配置 最近项目中用到了mongodb,由于是用mongodb来记录一些程序的日志信息和日常的统计,为了增加应用的可靠性,一直在找mongodb集群的一些资料,下面是对最近做的一个小 ...

  10. mongodb副本集原理及部署记录

    工作原理 1.副本集之间的复制是通过oplog日志现实的.备份节点通过查询这个集合就可以知道需要进行复制的操作 2.oplog是节点中local库中的一个固定的集合,在默认情况下oplog初始化大小为 ...

随机推荐

  1. Logstash 6.4.3 导入 csv 数据到 ElasticSearch 6.4.3

    本文实践最新版的Logstash从csv文件导入数据到ElasticSearch. 本文目录: 1.初始化ES.Kibana.Logstash 2.安装logstash文件导入.过滤器等插件 3.配置 ...

  2. position属性sticky和fixed的区别比较

    position属性之fixed fixed总是以body为定位时的对象,总是根据浏览器窗口来进行元素的定位,通过left,right,top,bottom属性进行定位. <!DOCTYPE h ...

  3. 初识Jmeter

    初识Jmeter 测试计划是根节点,其下可以有多个Thread Group,起始可配setUp Thread Group和tearDown Group.在每个Group下可创建其它节点,模拟各类实际行 ...

  4. [LeetCode] Inorder Successor in BST II 二叉搜索树中的中序后继节点之二

    Given a binary search tree and a node in it, find the in-order successor of that node in the BST. Th ...

  5. What is volatile?

    What is volatile? 一次偶然的机会(java多线程电梯作业寻求多个进程分享变量的方法),接触到了volatile,因此我查阅了相关的材料,对这部分做了一些了解,在这里和大家分享一下. ...

  6. day11函数(形参实参)

    形参与实参 def fn(形参们): pass # 形参:定义函数,在括号内声明的变量名,用来结束外界传来的值# 实参:调用函数,在括号内传入的实际值,值可以为常量.变量.表达式或三者的组合 # 注: ...

  7. C语言复习5_调试

    使用CodeBlocks调试程序 首先要注意,只有打开projects(.cbp文件)的情况下才能debug,单独打开.c文件是不能debug的 1.在行号旁边左键,出现红点,表示为断点breakpo ...

  8. 一个开源的,跨平台的.NET机器学习框架ML.NET

    微软在Build 2018大会上推出的一款面向.NET开发人员的开源,跨平台机器学习框架ML.NET. ML.NET将允许.NET开发人员开发他们自己的模型,并将自定义ML集成到他们的应用程序中,而无 ...

  9. 【阿里聚安全·安全周刊】女主换脸人工合成小电影|伊朗间谍APP苹果安卓皆中招

    本周的七个关键词: 人工智能 丨 HTTP链接=不安全链接 丨  滑动验证码 丨 伊朗间谍APP 丨 加密挖矿 丨  Android应用测试速查表 丨 黑客销售签名证书 -1-   [人工智能]女主换 ...

  10. C#单元测试,带你快速入门

    注:本文示例环境 VS2017 XUnit 2.2.0 单元测试框架 xunit.runner.visualstudio 2.2.0 测试运行工具 Moq 4.7.10 模拟框架 为什么要编写单元测试 ...