mongodb插入性能

转自 https://blog.csdn.net/asdfsadfasdfsa/article/details/60872180

MongoDB与MySQL的插入、查询性能测试

 

 

7.1  平均每条数据的插入时间

先上张图，来点直观感受：

图上数据横坐标是平均每插入1000条数据所需要的时间，单位是秒。记住，是每1000条数据，不是每条数据哦。

总结：

1.       数据库的平均插入速率：MongoDB不指定_id插入 > MySQL不指定主键插入 > MySQL指定主键插入 > MongoDB指定_id插入。

2.       MongoDB在指定_id与不指定_id插入时速度相差很大，而MySQL的差别却小很多。

分析：

1.         在指定_id或主键时，两种数据库在插入时要对索引值进行处理，并查找数据库中是否存在相同的键值，这会减慢插入的速率。

2.         在MongoDB中，指定索引插入比不指定慢很多，这是因为，MongoDB里每一条数据的_id值都是唯一的。当在不指定_id插入数据的时候，其_id是系统自动计算生成的。MongoDB通过计算机特征值、时间、进程ID与随机数来确保生成的_id是唯一的。而在指定_id插入时，MongoDB每插一条数据，都需要检查此_id可不可用，当数据库中数据条数太多的时候，这一步的查询开销会拖慢整个数据库的插入速度。

3.         MongoDB会充分使用系统内存作为缓存，这是一种非常优秀的特性。我们的测试机的内存有64G，在插入时，MongoDB会尽可能地在内存快写不进去数据之后，再将数据持久化保存到硬盘上。这也是在不指定_id插入的时候，MongoDB的效率遥遥领先的原因。但在指定_id插入时，当数据量一大内存装不下时，MongoDB就需要将磁盘中的信息读取到内存中来查重，这样一来其插入效率反而慢了。

4.         MySQL不愧是一种非常稳定的数据库，无论在指定主键还是在不指定主键插入的情况下，其效率都差不了太多。

7.2  插入稳定性分析

插入稳定性是指，随着数据量的增大，每插入一定量数据时的插入速率情况。

在本次测试中，我们把这个指标的规模定在10w，即显示的数据是在每插入10w条数据时，在这段时间内每秒钟能插入多少条数据。

先呈现四张图上来：

1.       MongoDB指定_id插入：

2.       MongoDB不指定_id插入：

3.       MySQL指定PRIMARY KEY插入：

4.       MySQL不指定PRIMARY KEY插入：

总结：

1.       整体上的插入速度还是和上一回的统计数据类似：MongoDB不指定_id插入 > MySQL不指定主键插入 > MySQL指定主键插入 > MongoDB指定_id插入。

2.       从图中可以看出，在指定主键插入数据的时候，MySQL与MongoDB在不同数据数量级时，每秒插入的数据每隔一段时间就会有一个波动，在图表中显示成为规律的毛刺现象。而在不指定插入数据时，在大多数情况下插入速率都比较平均，但随着数据库中数据的增多，插入的效率在某一时段有瞬间下降，随即又会变稳定。

3.       整体上来看，MongoDB的速率波动比MySQL的严重，方差变化较大。

4.       MongoDB在指定_id插入时，当插入的数据变多之后，插入效率有明显地下降。在其他三种的插入测试中，从开始到结束，其插入的速率在大多数的时候都固定在一个标准上。

分析：

1.       毛刺现象是因为，当插入的数据太多的时候，MongoDB需要将内存中的数据写进硬盘，MySQL需要重新分表。这些操作每当数据库中的数据达到一定量级后就会自动进行，因此每隔一段时间就会有一个明显的毛刺。

2.       MongoDB毕竟还是新生事物，其稳定性没有已应用多年的MySQL优秀。

3.       MongoDB在指定_id插入的时候，其性能的下降还是很厉害的。

7.3  MySQL与MongoDB读取性能的简单测试

这是一个附加的测试，也并没有测试得非常完整，但还是很能说明一些问题的。

测试方法：

先在1 – 100, 000, 000这一亿个数中，分别随机取1w, 5w, 10w, 20w, 50w个互不相同的数字，再计算其md5值，并保存。

至于为什么最高只选到50w这个规模，这是因为我在随机生成100w个互不相同的数字的时候，写的脚本跑了一晚上都没有跑出来，估计是我生成的算法写得太烂了。我不想重新再弄了，暂就以50w为上限吧。

在上述带主键插入的两个数据库里，分别以上一步生成的md5源为输入进行查询操作。同样，每查询1000条数据在日志文件中将当前系统时间写入。

测试结果：

以下三张图的横坐标是每查询1000条数据所需要的时间，单位为s；纵坐标是查询的规模，分为1w, 5w,10w, 20w, 50w五个等级。

这张图是详细对比，可以看出MySQL与MongoDB之间的差异了吗……

总结：

1.       在读取的数据规模不大时，MongoDB的查询速度真是一骑绝尘，甩开MySQL好远好远。

2.       在查询的数据量逐渐增多的时候，MySQL的查询速度是稳步下降的，而MongoDB的查询速度却有些起伏。

分析：

1.       如果MySQL没有经过查询优化的话，其查询速度就不要跟MongoDB比了。MongoDB可以充分利用系统的内存资源，我们的测试机器内存是64GB的，内存越大MongoDB的查询速度就越快，毕竟磁盘与内存的I/O效率不是一个量级的。

2.       本次实验的查询的数据也是随机生成的，因此所有待查询的数据都存在MongoDB的内存缓存中的概率是很小的。在查询时，MongoDB需要多次将内存中的数据与磁盘进行交互以便查找，因此其查询速率取决于其交互的次数。这样就存在这样一种可能性，尽管待查询的数据数目较多，但这段随机生成的数据被MongoDB以较少的次数从磁盘中取出。因此，其查询的平均速度反而更快一些。这样看来，MongoDB的查询速度波动也处在一个合理的范围内。

3.       MySQL的稳定性还是毋庸置疑的。

8. 测试总结

8.1  测试结论

1. 相比较MySQL，MongoDB数据库更适合那些读作业较重的任务模型。MongoDB能充分利用机器的内存资源。如果机器的内存资源丰富的话，MongoDB的查询效率会快很多。

2. 在带”_id”插入数据的时候，MongoDB的插入效率其实并不高。如果想充分利用MongoDB性能的话，推荐采取不带”_id”的插入方式，然后对相关字段作索引来查询。

8.2  测试需要进一步注意的问题

对MongoDB的读取测试考虑不周，虽然这只是一个额外的测试。在这个测试中，随机生成大量待测试的数据很有必要，但生成大量互不相同的数据就没有必要了。正是这一点，把我的读取测试规模限定在了50w条，没能进一步进行分析。

8.3  MongoDB的优势

1. MongoDB适合那些对数据库具体数据格式不明确或者数据库数据格式经常变化的需求模型，而且对开发者十分友好。

2. MongoDB官方就自带一个分布式文件系统，可以很方便地部署到服务器机群上。MongoDB里有一个Shard的概念，就是方便为了服务器分片使用的。每增加一台Shard，MongoDB的插入性能也会以接近倍数的方式增长，磁盘容量也很可以很方便地扩充。

3. MongoDB还自带了对map-reduce运算框架的支持，这也很方便进行数据的统计。

其他方面的优势还在发掘中，本人也是刚刚接触这个不久。

8.4  MongoDB的缺陷

1. 事务关系支持薄弱。这也是所有NoSQL数据库共同的缺陷，不过NoSQL并不是为了事务关系而设计的，具体应用还是很需求。

2. 稳定性有些欠缺，这点从上面的测试便可以看出。

3. MongoDB一方面在方便开发者的同时，另一方面对运维人员却提出了相当多的要求。业界并没有成熟的MongoDB运维经验，MongoDB中数据的存放格式也很随意，等等问题都对运维人员的考验。