简介 在使用 Java 对数据库进行连接时,都会获取到一个 cursor ,cursor 实际指到的是我们查询数据库的query,而并不是 query 查询到的数据集. 此次在使用 mongo 的 cursor 的过程中,对线上数据库产生了很大压力,在这里对此次的优化过程进行记录. 场景 数据源:Mongo 数据库 4台服务器 4000+表 总共3亿+数据量 背景介绍:即将建立大数据平台,需要将数据源的数据导入到 hbase 中,分为历史数据导入和实时 opLog 数据导入两部分 方案: 多线程…