最近云上用户用户遇到一个 sharding 集群性能问题的疑惑,比较有代表性,简单分享一下 测试配置 mongos x 2.shard x 3 测试1:集合不开启分片,批量 insert 导入数据,每个 batch 100 个文档 测试2:集合开启分片,随机生成 shardKey,chunk 已提前 split 好,能确保写入均分到3个shard 测试结果 测试1:单个 shard cpu 跑满,insert qps 在 6w 左右 测试2:3个 shard cpu 跑满,insert qps…

在上一篇文章中,我们基本了解了分片的概念,本文将着手实践,进行分片集群的搭建 首先我们再来了解一下分片集群的架构,分片集群由三部分构成: mongos:查询路由,在客户端程序和分片之间提供接口.本次实验部署2个mongos实例 config:配置服务器存储集群的元数据,元数据反映分片集群的内所有数据和组件的状态和组织方式,元数据包含每个分片上的块列表以及定义块的范围.从3.4版本开始,已弃用镜像服务器用作配置服务器(SCCC),config Server必须部署为副本集架构(CSRS).本次实验…

graphicview和widgets没本质区别.它只是更轻量级,更灵活,性能更高的widgets.核心就是把widgets变成了更轻量级的graphicitem,把QWidget的各种事件转换成了graphics自己的一套event,写起来和写widgets差别不大,只不过整个view里就只有QGraphicView一个widget了,底下的都是item. 目的么,就是让界面更加灵活,更加轻巧,并且对拖放.动画的支持更好.比如我试过写扫雷,扫雷的格子尝试过用QWidget做和用QGraphic…

SqlHelper发布——比Mybatis-PageHelper性能更高 起源 前段时间开启了一个新的项目,在选择分页插件时,发现github上很流行的一个是pagehelper,在百度上搜索了一下,使用量.由于项目紧急,所先拿来用了.但是我知道它并不适合我们.原因是它有如下几个缺点: 1) 对国产数据库支持不足 2) 扩展不方便 3) 配置复杂 4) 性能底下 (不要喷我, 因为它不是用的占位符?,发挥不了PrepareSatement的优势) 5) 只支持MyBatis 鉴于它的这些不足,我…

先上测试结果: //测试1000次针对同一个表同一个字段更新,比Ormlite平均快2.34倍 //生成SQL+ExecuteNonQuery Ormlite 倍数 //6513ms 15158ms 2.327 //6461ms 15303ms 2.369 //6624ms 15424ms 2.329 //6591ms 15468ms 2.347 //测试1000次针对同一个表同一个字段更新,比EF平均快1.68倍 //生成SQL+ExecuteNonQuery EF 倍数 //6622ms 1…

MongoDB会把分片过的集合保存在config.collection集合中,若需要查看分片键,则需要根据该集合进行查找.官方的其他很多分片快捷命令也都处于config库 三种方式 1.去config库中查询 这种办法可以查看分片键信息 db.collections.find({$and:                             [                             {'dropped':{$ne:true}},  // 没有被删除的            …

(一)分片的由来随着系统的业务量越来越大,业务系统往往会出现这样一些特点: 高吞吐量 高并发 超大规模的数据量 高并发的业务可能会耗尽服务器的CPU,高吞吐量.超大规模的数据量也会带来内存.磁盘的压力. 对于这类问题,解决系统增长的方法有2种:垂直扩展和水平扩展. 垂直扩展主要是增加单个服务器的资源.例如:使用增强大的CPU.增加更多的内存.使用固态硬盘等. 水平扩展主要是增加服务器.虽然单台服务器的整体速度或者容量都比较低,但如果每台服务器只处理工作量的一部分,则与单台服务器相比,可以提供更多…

前面的文章介绍了Mongodb的安装使用,在 MongoDB 中,有两种数据冗余方式,一种 是 Master-Slave 模式(主从复制),一种是 Replica Sets 模式(副本集). Mongodb一共有三种集群搭建的方式: Replica Set(副本集). Sharding(切片) Master-Slaver(主从)[目前已不推荐使用了!!!] 其中,Sharding集群也是三种集群中最复杂的. 副本集比起主从可以实现故障转移!!非常使用! mongoDB目前已不推荐使用主从模式,取…

引言 以前刚开始做项目的时候,开发经验尚浅,遇到问题需求只要把结果查询出来就行,至于查询的效率可能就没有太多考虑,数据少的时候还好,数据一多,效率问题就显现出来了.每次遇到查询比较慢时,项目经理就会问:是不是又用select * 了?查询条件有没有加索引?一语惊醒梦中人,赶紧检查..果然如此! 有时我们写sql语句时,没有考虑它的性能或者完全没有优化意识,虽然能暂时满足基本功能,等到数据量大时,后果可想而知. 下面我们就聊一聊sql优化的一些常见方法: 1.sql语句模型结构优化指导 A. OR…

idea 2019.2 准备 idea 2019.2正式版是在2019年7月24号发布的,本篇文章,我将根据官方博客以及自己的理解来进行说明,总体就是:性能更好,体验更优,细节处理更完美! 支持jdk13 提示更加智能了. 比如之前录制的 万能键 alt enter 现在在idea 2019.2里面提示更加智能了: 新版本的光标定位到该行,就有提示并且提示你原因和快捷键操作. 重复代码检测 重复代码检测并不会因为变量名称不同而检测不出来. 结构化搜索 结构化搜索,并且下次搜索不需要继续重新搜索.…