【MyBatis】几种批量插入效率的比较
批处理数据主要有三种方式:
- 反复执行单条插入语句
foreach
拼接sql
- 批处理
一、前期准备
基于Spring Boot
+ Mysql
,同时为了省略get
/set
,使用了lombok
,详见pom.xml
。
1.1 表结构
id
使用数据库自增。
DROP TABLE IF EXISTS `user_info_batch`;
CREATE TABLE `user_info_batch` (
`id` bigint(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键id',
`user_name` varchar(100) NOT NULL COMMENT '账户名称',
`pass_word` varchar(100) NOT NULL COMMENT '登录密码',
`nick_name` varchar(30) NOT NULL COMMENT '昵称',
`mobile` varchar(30) NOT NULL COMMENT '手机号',
`email` varchar(100) DEFAULT NULL COMMENT '邮箱地址',
`gmt_create` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`gmt_update` timestamp NULL DEFAULT NULL COMMENT '更新时间',
PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 ROW_FORMAT=DYNAMIC COMMENT 'Mybatis Batch';
1.2 项目配置文件
细心的你可能已经发现,数据库url
后面跟了一段 rewriteBatchedStatements=true
,有什么用呢?先不急,后面会介绍。
# 数据库配置
spring:
datasource:
url: jdbc:mysql://47.111.118.152:3306/mybatis?rewriteBatchedStatements=true
username: mybatis
password: password
driver-class-name: com.mysql.cj.jdbc.Driver
# mybatis
mybatis:
mapper-locations: classpath:mapper/*.xml
type-aliases-package: cn.van.mybatis.batch.entity
1.3 实体类
@Data
@Accessors(chain = true)
public class UserInfoBatchDO implements Serializable {
private Long id;
private String userName;
private String passWord;
private String nickName;
private String mobile;
private String email;
private LocalDateTime gmtCreate;
private LocalDateTime gmtUpdate;
}
1.4 UserInfoBatchMapper
public interface UserInfoBatchMapper {
/** 单条插入
* @param info
* @return
*/
int insert(UserInfoBatchDO info);
/**
* foreach 插入
* @param list
* @return
*/
int batchInsert(List<UserInfoBatchDO> list);
}
1.5 UserInfoBatchMapper.xml
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="cn.van.mybatis.batch.mapper.UserInfoBatchMapper">
<insert id="insert" parameterType="cn.van.mybatis.batch.entity.UserInfoBatchDO">
insert into user_info_batch (user_name, pass_word, nick_name, mobile, email, gmt_create, gmt_update)
values (#{userName,jdbcType=VARCHAR}, #{passWord,jdbcType=VARCHAR},#{nickName,jdbcType=VARCHAR}, #{mobile,jdbcType=VARCHAR}, #{email,jdbcType=VARCHAR}, #{gmtCreate,jdbcType=TIMESTAMP}, #{gmtUpdate,jdbcType=TIMESTAMP})
</insert>
<insert id="batchInsert">
insert into user_info_batch (user_name, pass_word, nick_name, mobile, email, gmt_create, gmt_update)
values
<foreach collection="list" item="item" separator=",">
(#{item.userName,jdbcType=VARCHAR}, #{item.passWord,jdbcType=VARCHAR}, #{item.nickName,jdbcType=VARCHAR}, #{item.mobile,jdbcType=VARCHAR}, #{item.email,jdbcType=VARCHAR}, #{item.gmtCreate,jdbcType=TIMESTAMP}, #{item.gmtUpdate,jdbcType=TIMESTAMP})
</foreach>
</insert>
</mapper>
1.6 预备数据
为了方便测试,抽离了几个变量,并进行提前加载。
private List<UserInfoBatchDO> list = new ArrayList<>();
private List<UserInfoBatchDO> lessList = new ArrayList<>();
private List<UserInfoBatchDO> lageList = new ArrayList<>();
private List<UserInfoBatchDO> warmList = new ArrayList<>();
// 计数工具
private StopWatch sw = new StopWatch();
- 为了方便组装数据,抽出了一个公共方法。
private List<UserInfoBatchDO> assemblyData(int count){
List<UserInfoBatchDO> list = new ArrayList<>();
UserInfoBatchDO userInfoDO;
for (int i = 0;i < count;i++){
userInfoDO = new UserInfoBatchDO()
.setUserName("Van")
.setNickName("风尘博客")
.setMobile("17098705205")
.setPassWord("password")
.setGmtUpdate(LocalDateTime.now());
list.add(userInfoDO);
}
return list;
}
- 预热数据
@Before
public void assemblyData() {
list = assemblyData(200000);
lessList = assemblyData(2000);
lageList = assemblyData(1000000);
warmList = assemblyData(5);
}
二、反复执行单条插入语句
可能‘懒’的程序员会这么做,很简单,直接在原先单条
insert
语句上嵌套一个for
循环。
2.1 对应 mapper 接口
int insert(UserInfoBatchDO info);
2.2 测试方法
因为这种方法太慢,所以数据降低到
2000
条
@Test
public void insert() {
log.info("【程序热身】");
for (UserInfoBatchDO userInfoBatchDO : warmList) {
userInfoBatchMapper.insert(userInfoBatchDO);
}
log.info("【热身结束】");
sw.start("反复执行单条插入语句");
// 这里插入 20w 条太慢了,所以我只插入了 2000 条
for (UserInfoBatchDO userInfoBatchDO : lessList) {
userInfoBatchMapper.insert(userInfoBatchDO);
}
sw.stop();
log.info("all cost info:{}",sw.prettyPrint());
}
2.3 执行时间
- 第一次
-----------------------------------------
ms % Task name
-----------------------------------------
59887 100% 反复执行单条插入语句
- 第二次
-----------------------------------------
ms % Task name
-----------------------------------------
64853 100% 反复执行单条插入语句
- 第三次
-----------------------------------------
ms % Task name
-----------------------------------------
58235 100% 反复执行单条插入语句
该方式插入2000
条数据,执行三次的平均时间:60991 ms
。
三、foreach
拼接SQL
3.1 对应mapper 接口
int batchInsert(List<UserInfoBatchDO> list);
3.2 测试方法
该方式和下一种方式都采用
20w
条数据测试。
@Test
public void batchInsert() {
log.info("【程序热身】");
for (UserInfoBatchDO userInfoBatchDO : warmList) {
userInfoBatchMapper.insert(userInfoBatchDO);
}
log.info("【热身结束】");
sw.start("foreach 拼接 sql");
userInfoBatchMapper.batchInsert(list);
sw.stop();
log.info("all cost info:{}",sw.prettyPrint());
}
3.3 执行时间
- 第一次
-----------------------------------------
ms % Task name
-----------------------------------------
18835 100% foreach 拼接 sql
- 第二次
-----------------------------------------
ms % Task name
-----------------------------------------
17895 100% foreach 拼接 sql
- 第三次
-----------------------------------------
ms % Task name
-----------------------------------------
19827 100% foreach 拼接 sql
该方式插入20w
条数据,执行三次的平均时间:18852 ms
。
四、批处理
该方式
mapper
和xml
复用了2.1
。
4.1 rewriteBatchedStatements
参数
我在测试一开始,发现改成
Mybatis Batch
提交的方法都不起作用,实际上在插入的时候仍然是一条条记录的插,而且速度远不如原来foreach
拼接SQL
的方法,这是非常不科学的。
后来才发现要批量执行的话,连接URL
字符串中需要新增一个参数:rewriteBatchedStatements=true
rewriteBatchedStatements
参数介绍
MySql
的JDBC
连接的url
中要加rewriteBatchedStatements
参数,并保证5.1.13
以上版本的驱动,才能实现高性能的批量插入。MySql JDBC
驱动在默认情况下会无视executeBatch()
语句,把我们期望批量执行的一组sql
语句拆散,一条一条地发给MySql
数据库,批量插入实际上是单条插入,直接造成较低的性能。只有把rewriteBatchedStatements
参数置为true
, 驱动才会帮你批量执行SQL
。这个选项对INSERT
/UPDATE
/DELETE
都有效。
4.2 批处理准备
- 手动注入
SqlSessionFactory
@Resource
private SqlSessionFactory sqlSessionFactory;
- 测试代码
@Test
public void processInsert() {
log.info("【程序热身】");
for (UserInfoBatchDO userInfoBatchDO : warmList) {
userInfoBatchMapper.insert(userInfoBatchDO);
}
log.info("【热身结束】");
sw.start("批处理执行 插入");
// 打开批处理
SqlSession session = sqlSessionFactory.openSession(ExecutorType.BATCH);
UserInfoBatchMapper mapper = session.getMapper(UserInfoBatchMapper.class);
for (int i = 0,length = list.size(); i < length; i++) {
mapper.insert(list.get(i));
//每20000条提交一次防止内存溢出
if(i%20000==19999){
session.commit();
session.clearCache();
}
}
session.commit();
session.clearCache();
sw.stop();
log.info("all cost info:{}",sw.prettyPrint());
}
4.3 执行时间
- 第一次
-----------------------------------------
ms % Task name
-----------------------------------------
09346 100% 批处理执行 插入
- 第二次
-----------------------------------------
ms % Task name
-----------------------------------------
08890 100% 批处理执行 插入
- 第三次
-----------------------------------------
ms % Task name
-----------------------------------------
09042 100% 批处理执行 插入
该方式插入20w
条数据,执行三次的平均时间:9092 ms
。
4.4 如果数据更大
当我把数据扩大到 100w
时,foreach
拼接 sql
的方式已经无法完成插入了,所以我只能测试批处理的插入时间。
测试时,仅需将 【4.2】测试代码中的
list
切成lageList
测试即可。
- 第一次
-----------------------------------------
ms % Task name
-----------------------------------------
32419 100% 批处理执行 插入
- 第二次
-----------------------------------------
ms % Task name
-----------------------------------------
31935 100% 批处理执行 插入
- 第三次
-----------------------------------------
ms % Task name
-----------------------------------------
33048 100% 批处理执行 插入
该方式插入100w
条数据,执行三次的平均时间:32467 ms
。
五、总结
批量插入方式 | 数据量 | 执行三次的平均时间 |
---|---|---|
循环插入单条数据 | 2000 | 60991 ms |
foreach 拼接sql |
20w | 18852 ms |
批处理 | 20w | 9092 ms |
批处理 | 100w | 32467 ms |
- 循环插入单条数据虽然效率极低,但是代码量极少,数据量较小时可以使用,但是数据量较大禁止使用,效率太低了;
foreach
拼接sql
的方式,使用时有大段的xml和sql语句要写,很容易出错,虽然效率尚可,但是真正应对大量数据的时候,依旧无法使用,所以不推荐使用;- 批处理执行是有大数据量插入时推荐的做法,使用起来也比较方便。
【本文示例代码】
【MyBatis】几种批量插入效率的比较的更多相关文章
- mybatis三种批量插入方式对比
<insert id="addInquiryQA" parameterType="java.util.List"> insert into inqu ...
- Mybatis与JDBC批量插入MySQL数据库性能测试及解决方案
转自http://www.cnblogs.com/fnz0/p/5713102.html 不知道自己什么时候才有这种钻研精神- -. 1 背景 系统中需要批量生成单据数据到数据库表,所以采用 ...
- MyBatis 使用 foreach 批量插入
MyBatis 使用 foreach 批量插入 参考博文 老司机学习MyBatis之动态SQL使用foreach在MySQL中批量插入 使用MyBatis一次性插入多条数据时候可以使用 <for ...
- mybatis oracle mysql 批量插入时的坑爹问题--需谨记
mybatis oracle mysql 批量插入一.oracle的批量插入方式insert into db(id, zgbh, shbzh) select '1', '2', '3' from du ...
- sqlserver 下三种批量插入数据的方法
本文将介绍三种批量插入数据的方法,需要的朋友可以参考下 本文将介绍三种批量插入数据的方法.第一种方法是使用循环语句逐个将数据项插入到数据库中:第二种方法使用的是SqlBulkCopy,使您可以用其他源 ...
- 关于 MyBatis MyBatis-Spring Jdbc 批量插入的各种比较分析
因为目前SME项目中编写了一套蜘蛛爬虫程序,所以导致插入数据库的数据量剧增.就项目中使用到的3种DB插入方式进行了一个Demo分析: 具体代码如下: 1: MyBatis 开启Batch方式,最普通的 ...
- mybatis使用序列批量插入数据
mybatis只提供了单条数据的插入,要批量插入数据我们可以使用循环一条条的插入,但是这样做的效率太低下,每插入一条数据就需要提交一次,如果数据量几百上千甚至更多,插入性能往往不是我们能接受的,如下例 ...
- MyBatis操作Oracle批量插入 ORA-00933: SQL 命令未正确结束
最近在使用MyBatis操作Oracle数据库的时候,进行批量插入数据,思路是封装一个List集合通过Myabtis 的foreach标签进行循环插入,可是搬照Mysql的批量插入会产生 异常 ### ...
- mybatis父子表批量插入
<!--父子表批量插入 --> <insert id="insertBatch" parameterType="com.niwopay.dto.beni ...
随机推荐
- 超详细!Vue-Router手把手教程
目录 1,router-view 2,router-link 3,重定向redirect 4,路由别名 5,路由传参props 5.1,布尔模式 5.2,对象模式 5.3,函数模式 6,路由守卫 6. ...
- 20初识前端HTML(1)
1 .HTML 1.1 网页的组成 文字 图片 链接 等元素构成.除了这些元素之外 网页中还可以包含音频 视频 等 1.2 WEB前端开发的流程 现在主流的开发流程: 前后端分离的开发模式. 美工:p ...
- sql注入漏洞笔记随笔
sql注入是从1998年出现的,是一个十分常见的漏洞,它是OWASP top10的第一名(注入) 在了解sql注入之前,我们需要先了解web框架 webapp:web网站,这种方式它采用的是B/S架构 ...
- 普通类中获取spring容器中的javabean对象
spring提供了一系列的*Aware 接口,用于获取相应的对象,进行一系列的对象设置操作,此处实现ApplicationContextAware来获取ApplicationContext. 其他Aw ...
- MySQL学习07(规范化数据库设计)
规范化数据库设计 当数据库比较复杂时我们需要设计数据库 糟糕的数据库设计 : 数据冗余,存储空间浪费 数据更新和插入的异常 程序性能差 良好的数据库设计 : 节省数据的存储空间 能够保证数据的完整性 ...
- 【笔记】随机森林和Extra-Trees
随机森林和Extra-Trees 随机森林 先前说了bagging的方法,其中使用的算法都是决策树算法,对于这样的模型,因为具有很多棵树,而且具备了随机性,那么就可以称为随机森林 在sklearn中封 ...
- docker搭建clickhouse集群
//需要先搭建zookeeper集群.机器1: sudo docker run -d \ --name clickhouse --ulimit nofile=262144:262144 \ -p 81 ...
- 十六:使用JDBC对数据库进行CRUD
一.statement对象介绍 Jdbc中的statement对象用于向数据库发送SQL语句,想完成对数据库的增删改查,只需要通过这个对象向数据库发送增删改查语句即可. Statement对象的exe ...
- QT 编译的过程
- C# 文件的读取与另存为(WPF)
刚学习时,随便记录的一个小程序.因为有不少人看(应该都是学生),稍作修改,方便阅读. xaml:样式 <!--绑定事件--> <Window.CommandBindings> ...