项目原因,最近在对MongoDB进行数据存储优化   原有问题: 日志数据量比较大,存到一张表,需要手工定时删除数据,且删除数据时间按天算 数据会定时打包到HDFS,查询时间很慢,需要优化 机器内存占用过大,副本集主节点内存占用超过90%,其他节点超过80%   解决方法: 对日志进行按天写表,定时删除历史表 对日志表增加TTL索引,定时删除过期数据 一次创建自动增加索引,索引查询     本次问题来自增加索引,数据量大表的,增加索引方式,应该为后台增加[background: true],TT…

1.登陆MongoDB, 命令行在MongoDB主目录下执行:mongo -port 27017 2.切换至需要添加索引的db 并授权 use MeetingBooking db.auth({"username", "password"}) 3.添加索引 db.InvokeLog.createIndex({InvokeTime:-1}) -1代表降序,1代表升序 *查看索引 db.InvokeLog.getIndexes()…

mongodb在存储大数据时,对查询的字段需要添加索引,我测试的是阿里云30多万的数据量,不加索引查询已经到8秒,而添加索引之后是毫秒级! 为集合加索引 mongodb支持内嵌属性添加索引 db.agencyTotal.createIndex({"occurDate ":1}); 添加唯一索引 db.agencyTotal.createIndex({"code ":1},{"unique":1}); createIndex建立索引时的参数 bac…

前面的话 本文将详细介绍MongoDB数据库索引构建情况分析 概述 创建索引可以加快索引相关的查询,但是会增加磁盘空间的消耗,降低写入性能.这时,就需要评判当前索引的构建情况是否合理.有4种方法可以使用 1.mongostat工具 2.profile集合介绍 3.日志 4.explain分析 mongostat mongostat是mongodb自带的状态检测工具,在命令行下使用.它会间隔固定时间获取mongodb的当前运行状态,并输出.如果发现数据库突然变慢或者有其他问题的话,首先就要考虑采用…

这个系列文章会分为两篇来写: 第一篇:入门篇,学习使用MongoDB数据库索引 第二篇:进阶篇,研究数据库索引原理--B/B+树的基本原理 1. 准备工作 在学习使用MongoDB数据库索引之前,有一些准备工作要做,之后的探索都是基于这些准备工作. 首先需要建立一个数据库和一些集合,这里我就选用一个国内手机号归属地的库,大约32W条记录,数据量不大,不过做一些基本的分析是够了. 首先我们建立一个数据库,叫做db_phone,然后导入测试数据.测试数据就是一些手机号归属地的信息.单个文档长这个样子…

一.MongoDB的下载.安装与部署 二.MongoDB的基础知识简介 三.MongoDB的创建.更新和删除 四.MongoDB的查询 五.MongoDB的索引 1.简介 它就像是一本书的目录,如果没有它,我们就需要对整个书籍进行查找来获取需要的结果,即所说的全盘扫描: 而有了目录(索引)之后就可以通过它帮我们定位到目标所在的位置,快速的获取我们想要的结果. 2.演示 第一步,向用户集合users中插入100W条数据 var insertUsers = function() { var star…

索引是用来加快查询的,这里不解说索引的原理和数据结构.事实上大部分数据库的索引就是B+Tree,想要了解的同学能够看索引原理,要掌握怎样为查询配置最佳索引会有些难度. MongoDB索引差点儿和关系型数据库的索引一样.绝大数优化关系型数据库索引的技巧相同适用于MongoDB. 我们举一个样例,如今集合中插入多个文档: db.lf.insert({"name":"lf","age":23,"isactive":true}) db…

查看语句执行计划: explain() 在mongodb3+版本后输出格式发生改变: 详情参见:https://docs.mongodb.com/v3.0/reference/method/cursor.explain/ 查看执行耗时:db.collection名称.find().explain('executionStats') 一,索引介绍 mongodb具有两类索引,分别为单键索引和复合索引. 1.单键索引是最简单的一种索引,创建单键索引的开销要比复合索引小很多.单键索引主要用于针对单值查…

            索引加快了查询速度,但是降低了写入速度.所以不要在没必要的属性上加索引.             在 mongodb 中索引可以按倒序/正序创建,便于排序.             默认使用 b-tree 索引,2.4 版本后也允许创建 hash 索引,哈希索引在范围内查找和顺序查找上有明显的缺陷(因为插入的时候根据算法插入不同的位置,在读取的时候就会在硬盘上四处去查询,所以效率相对 Btree(二叉树) 就较低了). 创建索引:          db.表名.ensur…

前言:事先说明:在实际应用中这种做法设计需要各位读者自己设计,本文只提供一种思想.准备工作:安装后本地数redis服务器,使用mysql数据库,事先插入1000万条数据,可以参考我之前的文章插入数据,这里不再细说.我大概的做法是这样的,编码使用多线程访问我的数据库,在访问数据库前先访问redis缓存没有的话在去查询数据库,需要注意的是redis最大连接数最好设置为300,不然会出现很多报错. 贴一下代码吧 package select; import redis.clients.jedis.Je…