那些年我们爬过的山 - mybatis批量导入
【原创作品,转载请注明出处】
写这篇文章之前想着给这篇博客起一个文艺一点的标题,思来想去,想到了那些年我们爬过的山,或者我们一起趟过的河?代码不规范,同事两行泪,这是多么痛的领悟啊!
背景
本组一名实习生,由于学校有事情需要回去处理,我便将他的代码接管过来,正好赶上本次迭代上线,需要将同事的代码提交测试,如果被测试出来有bug,我就来负责bug修复,代码优化等。由于不同的开发人员都有自己的编程习惯,所以不同人员所写的代码多少都会有些差异,比如:变量的命名、代码的格式等,即使组内有一套开发规范也还是会出现一些差异,这就是所谓的个性?特点? 当然 特点只是特点,并不能称得上个性。既然风格不同,那么看别人代码的时候会有值得学习的地方,也有自己感觉不舒服的地方。也罢,毕竟人都有“个性”。
问题现象
这次我接手同事的代码主要是一个Excel导入数据库这样一个功能,在测试人员测试导入数据的时候,使用的导入数据有2w条作为测试数据导入数据库,现象是 导入后发现页面先是显示上传中,之后页面没有任何反馈,经排查后发现是因为后台还在处理导入数据逻辑,时间过长页面没有得到反馈,导致页面超时。
排查过程
- 接着查看了导入逻辑,发现导入的时候,使用的是将2w条数据循环导入数据库,每一次导入都会进行数据库交互,导致数据库连接池的连接被耗尽,会再次进行创建、分配、释放等操作,从而导致之后的处理变得缓慢。
- 基于这些考虑使用了批量导入,批量导入的目的就是一次导入多条数据,减少和数据库交互次数,减轻数据库压力。
- 修改程序后测试导入所用的时间并不理想,继续排查发现 在导入前还有判断卡密是否存在数据库 这样一个操作,和循环插入没有什么区别,也是会循环2w次数据库查询。因此首先想到的是减少和数据库的交互次数,先把数据查询出来,放到内存中,再将两个集合进行比较,发现数据量小的时候还可以,数据量大了就会很缓慢,尝试了几个网上搜到的“高效”list去重,发现效果并不明显。
- 遂继续找其他的方法,最后找到使用MySQL的ignore关键字【作用:若有导致unique key 冲突的记录,则该条记录不会被插入到数据库中,去重字段一定要是唯一索引】就可以解决判断卡密重复的问题,** 经过测试 导入2w条数据由原来的16分钟,减少到目前的10秒 左右** 。
总结
对于本次问题的排查,可以总结为问题发现,和问题排查。发现问题时首先要快速了解该功能的主要逻辑是什么,这次的导入主要有两点,一是 导入前判断是否有和数据库重复,二是导入操作。弄明白主要逻辑之后,就要分析,导入慢肯定是这两个逻辑的某一个逻辑慢,或者是两个逻辑都慢。经过分析发现,这两个逻辑都出现了循环建立数据库连接的问题,发现了问题的根本原因后,就要减少建立数据库连接次数,问题便得到解决。
主要代码
对于导入前和数据库判断是否有重复的,使用了mysql的一个关键字ignore,关键字的作用是:若有导致unique key 冲突的记录,则该条记录不会被插入到数据库中,去重字段一定要是唯一索引。其他就是拼接SQL使用批量导入。下面将主要的代码贴出来供大家参考。
- 批量导入时每次批量插入100条数据,这样数据库连接建立的次数就从原来的 20000次减少到200次。
// 批量入库,每次批量插入100条
List<Detail> detailList = new ArrayList<>();
List<List<Detail>> tempList = new ArrayList<>();
int insertCount = 100;
for (int i = 0; i < detailList.size(); i += insertCount) {
if ((i + insertCount) < detailList.size()) {
List<Detail> newList = new ArrayList<>();
newList.addAll(detailList.subList(i, i + insertCount));
tempList.add(newList);
} else {
List<Detail> newList = new ArrayList<>();
newList.addAll(detailList.subList(i, detailList.size()));
tempList.add(newList);
}
}
Map<String, Object> map = detailManager.batchInsertDetail(tempList);
- mybatis的写法
<insert id="batchInsertDetail" parameterType="java.util.List">
insert ignore into my_table
(id,code,status)
values
<foreach collection ="list" item="detail" index= "index" separator =",">
(#{detail.id,jdbcType=BIGINT},#{detail.code,jdbcType=VARCHAR},#{detail.status,jdbcType=TINYINT})
</foreach >
</insert>
那些年我们爬过的山 - mybatis批量导入的更多相关文章
- Springboot+Mybatis批量导入多条数据
在Mapper.xml最下面填写 <!-- 批量插入生成的兑换码 --> <insert id ="insertCodeBatch" parameterType= ...
- mybatis 批量导入数据到mysql返回批量Id
1.首先mybatis版本必需是3.3.1或以上 2.mapper配置文件中 <insert id="insertOrderBatch" parameterType=&quo ...
- Mybatis框架进行批量导入和删除有三种方式
首先创建一个数据库 CREATE TABLE user ( id varchar(32) CHARACTER SET utf8 NOT NULL, name varchar(50) CHARA ...
- 订餐系统之Excel批量导入
批量导入现在基本已经成为各类系统的标配了,当前,我们订餐系统也不例外,什么商家呀.商品呀.优惠码之类的,都少不了.毕竟嘛,对非开发人员来说,看到Excel肯定比看到很多管理系统还是要亲切很多的.这里, ...
- java实现文件批量导入导出实例(兼容xls,xlsx)
1.介绍 java实现文件的导入导出数据库,目前在大部分系统中是比较常见的功能了,今天写个小demo来理解其原理,没接触过的同学也可以看看参考下. 目前我所接触过的导入导出技术主要有POI和iRepo ...
- mybatis批量增加与删除——(十五)
1.首先应该明白,mybatis增删改返回值是int型的影响行数的值 mapper接口 package cn.xm.mapper; import java.util.List; import cn.x ...
- 对大数据的批量导入MySQL数据库
自己的库里有索引在用insert导入数据时会变慢很多 使用事务+批量导入 可以配置使用spring+mybatis整合的方式关闭自动提交事务(地址),选择批量导入每一百条导入使用list存储值传入到m ...
- es批量导入进一对多的数据
es批量导入进一对多的数据 我有一个产品表 一个产品对应多个属性名 一个属性名对应多个属性值 一个产品还对应一个分类名称 控制层 @ApiOperation(value = "导入所有 ...
- AWVS批量导入网站(刷漏洞入门)
今天整了一天这个AWVS批量扫描脚本,主要是下了好几个版本的AWVS,都不稳定,一次次删除又一次次安装. 做这件事儿目的就是为了批量刷漏洞,不过弄好之后又不打算刷漏洞了,不太喜欢无脑刷漏洞,没什么意义 ...
随机推荐
- angularJS $watch $apply $digest
看O'Reilly的书看到$watch这部分,不过没看懂,网上很多资料也含糊不清,不过还是找到了几个好的,简单记录一下. 一句话说明,$watch是用来监视变量的,好了直接上代码 <html&g ...
- [整理]C语言中的a,&a和&a[0]
#include<stdio.h> int main(void) { int a[]={1,2,3}; printf("%0X\n",a); // a的类型原本是int ...
- LintCode 407: Plus One
LintCode 407: Plus One 题目描述 给定一个非负数,表示一个数字数组,在该数的基础上+1,返回一个新的数组. 该数字按照位权大小进行排列,位权最大的数在列表的最前面. 样例 给定 ...
- EF记录统一添加创建,修改时间
public class BaseEntity { public DateTime? DateCreated { get; set; } public string UserCreated { get ...
- 谈谈VMware虚拟机中的网络问题
前言:用了好几年的虚拟机,多多少少都会遇到那么一些网络问题,在这里总结一下这么几年在虚拟机中遇到的一些网络问题(主要针对linux)...... 一.VMware相关基础知识 1.bridged(桥接 ...
- js数据类型隐式转换问题
js数据类型隐式转换 ![] == false //true 空数组和基本类型转换,会先[].toString() 再继续比较 ![] == [] //true ![] //false [] == [ ...
- 4 - django-orm基本使用
目录 1 数据库与ORM 2 orm的配置 2.1 引擎和配置 2.2 mysql驱动程序 3 orm 表模型 3.1 创建表对象 3.2 Django字段类型 3.3 常用字段参数说明 3.4 特殊 ...
- 关于oracle数据库死锁的检查方法
一.数据库死锁的现象程序在执行的过程中,点击确定或保存按钮,程序没有响应,也没有出现报错. 二.死锁的原理当对于数据库某个表的某一列做更新或删除等操作,执行完毕后该条语句不提交,另一条对于这一列数据做 ...
- samba和SELINUX 冲突
在使用Samba进行建立Window与Linux共享时,要是不能访问,出现“您可能没有权限使用网络资源”. setsebool -P samba_enable_home_dirs on setsebo ...
- Python访问MySQL(1):初步使用PyMySQL包
Windows 10家庭中文版,MySQL 5.7.20 for Win 64,Python 3.6.4,PyMySQL 0.8.1,2018-05-08 ---- 使用Python访问MySQL数据 ...