多线程之批量插入小demo
多线程之批量插入
背景
昨天在测试mysql的两种批量更新时,由于需要入库大量测试数据,反复执行插入脚本,过程繁琐,档次很低,测试完后我就想着写个批量插入的小demo,然后又想写个多线程的批量插入的demo,然后就有了下面的东西了……
环境
spring-boot 1.5.6 集成 mysql druid mybits 还有一些无关紧要的东西
代码
线程类:
/**
* @ClassName InsertDataThread
* @Description <插入数据类>
* @Author zhaiyt
* @Date 2018/8/29 17:04
* @Version 1.0
*/
public class InsertDataThread extends Thread { //日志
private final Logger logger = LoggerFactory.getLogger(InsertDataThread.class); //数据访问层
private UserEntityMapper userEntityMapper; //具体插入批次
private int batch; //插入的数据
private List<UserEntity> list; public InsertDataThread(UserEntityMapper userMpper, List<UserEntity> li, int batch) {
this.userEntityMapper = userMpper;
this.list = li;
this.batch = batch;
} @Override
public void run() {
try {
this.userEntityMapper.insertBatch(this.list);
logger.info("第" + this.batch + "批次插入成功");
} catch (Exception e) {
logger.error("第" + this.batch + "批次插入失败");
} }
}
===============================================================================
service层的多线程批量插入方法:
/**
* @param list
* @return int
* @Description <批量插入>
* @Author zhaiyt
* @Date 9:51 2018/8/29
* @Param [list]
*/
@Override
public int insertBatch(List<UserEntity> list) throws Exception {
PageHelper.offsetPage(0, 500000);
long start = System.currentTimeMillis();
List<UserEntity> listUser = userEntityMapper.selectAllUser();
int betch = 0;
if (CollectionUtils.isEmpty(listUser)) {
logger.error("表中无数据,需要改造测试");
return 0;
}
//根据数据量判断是否使用多线程 选择开启线程数
if (listUser.size() > 1000000) {
betch = 10;
} else if (listUser.size() > 100000) {
betch = 5;
} else if (listUser.size() > 10000) {
betch = 3;
} else {
//不走多线程
long end = System.currentTimeMillis();
logger.error("查询耗时:" + (end - start));
start = System.currentTimeMillis();
int count = userEntityMapper.insertBatch(listUser);
end = System.currentTimeMillis();
logger.error("插入耗时:" + (end - start));
return count;
} //计数器
int size = 0;
//创建线程池
ExecutorService fixedThreadPool = Executors.newFixedThreadPool(betch); for (int i = 0; i < (Math.ceil(listUser.size() / 5000)); i++) {
int startLen = i * 5000;
int endLen = ((i + 1) * 5000 > listUser.size() ? listUser.size() - 1 : (i + 1) * 5000);
// 该线程处理
List<UserEntity> threadList = listUser.subList(startLen, endLen);
size = size + threadList.size();
fixedThreadPool.execute(new InsertDataThread(userEntityMapper, threadList, i));
}
System.err.println("插入数据总条数:" + size);
long end = System.currentTimeMillis();
logger.error("查询耗时:" + (end - start));
return size;
}
项目路径:https://git.lug.ustc.edu.cn/zhaiyt/threadInsertDemo
多线程之批量插入小demo的更多相关文章
- Java多线程同步问题:一个小Demo完全搞懂
版权声明:本文出自汪磊的博客,转载请务必注明出处. Java线程系列文章只是自己知识的总结梳理,都是最基础的玩意,已经掌握熟练的可以绕过. 一.一个简单的Demo引发的血案 关于线程同步问题我们从一个 ...
- c#批量插入数据库Demo
using System; using System.Collections.Generic; using System.Configuration; using System.Data; using ...
- java线程间通信:一个小Demo完全搞懂
版权声明:本文出自汪磊的博客,转载请务必注明出处. Java线程系列文章只是自己知识的总结梳理,都是最基础的玩意,已经掌握熟练的可以绕过. 一.从一个小Demo说起 上篇我们聊到了Java多线程的同步 ...
- C#中使用SqlBulkCopy的批量插入和OracleBulkCopy的批量插入
1.首先我们做一下准备工作,在sql server和oracle分别建立一个Student表 oracle中 --创建Student表 -- create table Student( stuId n ...
- Visual Studio 2017 - Windows应用程序打包成exe文件(2)- Advanced Installer 关于Newtonsoft.Json,LINQ to JSON的一个小demo mysql循环插入数据、生成随机数及CONCAT函数 .NET记录-获取外网IP以及判断该IP是属于网通还是电信 Guid的生成和数据修整(去除空格和小写字符)
Visual Studio 2017 - Windows应用程序打包成exe文件(2)- Advanced Installer Advanced Installer :Free for 30 da ...
- 多线程查询数据,将结果存入到redis中,最后批量从redis中取数据批量插入数据库中【我】
多线程查询数据,将结果存入到redis中,最后批量从redis中取数据批量插入数据库中 package com.xxx.xx.reve.service; import java.util.ArrayL ...
- Mybatis 批量插入和更新小例
SpringBoot配置Mybatis前文有博文,数据库mysql: package com.example.demo.biz.dto; public class User { private int ...
- Python多线程Threading爬取图片,保存本地,openpyxl批量插入图片到Excel表中
之前用过openpyxl库保存数据到Excel文件写入不了,换用xlsxwriter 批量插入图片到Excel表中 1 import os 2 import requests 3 import re ...
- [小干货]SqlBulkCopy简单封装,让批量插入更方便
关于 SqlServer 批量插入的方式,前段时间也有大神给出了好几种批量插入的方式及对比测试(http://www.cnblogs.com/jiekzou/p/6145550.html),估计大家也 ...
随机推荐
- 大数据学习环境搭建(CentOS6.9+Hadoop2.7.3+Hive1.2.1+Hbase1.3.1+Spark2.1.1)
node1 192.168.1.11 node2 192.168.1.12 node3 192.168.1.13 备注 NameNode Hadoop Y Y 高可用 DateNode Y Y Y R ...
- Mac 删除/卸载 自己安装的python
官网pkg安装的python版本 第一步:删除框架 sudo rm -rf /Library/Frameworks/Python.framework/Versions/2.7 1 第二步:删除应用目录 ...
- 工厂模式 Factory MD
Markdown版本笔记 我的GitHub首页 我的博客 我的微信 我的邮箱 MyAndroidBlogs baiqiantao baiqiantao bqt20094 baiqiantao@sina ...
- Avizo/Amira应用 - 如何计算面孔率
对于在Avizo或Amira中如何计算孔隙率,这个太简单,完成孔隙和整体材料的识别,再利用Volume Fraction计算即可获得,这里说的是每一层的面孔率如何计算? 数据导入,选取一个简单的过滤处 ...
- Python随机字符串验证码
def code_get(self): source = ['] #数字验证码 # source = [ 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H','I','J', ...
- dagger2 重点笔记
官方架构例子,里面有个dagger2的结合的例子 https://github.com/googlesamples/android-architecture https://google.github ...
- R语言学习-set.seed()
今天查了一下R语言中set.seed(),该命令的作用是设定生成随机数的种子,种子是为了让结果具有重复性.如果不设定种子,生成的随机数无法重现. > x<-rnorm(10) #随机生成1 ...
- systemctl -- 系统服务管理器 【转】
systemctl -- 系统服务管理器 systemctl 是系统服务管理器命令,它实际上将 service 和 chkconfig 这两个命令组合到一起. 直接运行命令可以列出所有正在运行的服务 ...
- linux 命令之top
top命令是显示当前系统正在执行的进程相关信息.包含进程ID.内存占用率等:top命令格式例如以下: top [OPTIONS] OPTIONS: -b 批处理 -c 显示进程的完整名 -I 忽略失效 ...
- aiohttp文档翻译-server(一)
web server 快速入门 运行一个简单的web server 为了实现web server, 首先需要实现request handler 一个 request handler 必须是一个coro ...