Java实现Excel批量导入数据库
场景说明
在实际开发中,经常需要解析Excel数据来插入数据库,而且通常会有一些要求,比如:全部校验成功才入库、校验成功入库,校验失败返回提示(总数、成功数、失败数、失败每行明细、导出失败文件明细…)
代码实现
数据库表
CREATE TABLE `forlan_student` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`name` varchar(255) DEFAULT NULL,
`age` tinyint(4) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8mb4;
1、pom.xml
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>easyexcel</artifactId>
<version>2.2.3</version>
</dependency>
2、文件模板
导入模板
public class ForlanStudentExcelModule {
@ExcelProperty(value = "姓名", index = 0)
private String name;
@ExcelProperty(value = "年龄", index = 1)
private Integer age;
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public Integer getAge() {
return age;
}
public void setAge(Integer age) {
this.age = age;
}
}
错误失败模板
@HeadStyle(horizontalAlignment = HorizontalAlignment.LEFT)
@ContentStyle(horizontalAlignment = HorizontalAlignment.LEFT)
public class ForlanStudentErrorExcelModule {
@ColumnWidth(20)
@ExcelProperty(value = "失败原因", index = 0)
private String excelOneLineErrorMsg;
@ColumnWidth(10)
@ExcelProperty(value = "姓名", index = 1)
private String name;
@ColumnWidth(10)
@ExcelProperty(value = "年龄", index = 2)
private Integer age;
public String getExcelOneLineErrorMsg() {
return excelOneLineErrorMsg;
}
public void setExcelOneLineErrorMsg(String excelOneLineErrorMsg) {
this.excelOneLineErrorMsg = excelOneLineErrorMsg;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public Integer getAge() {
return age;
}
public void setAge(Integer age) {
this.age = age;
}
@Override
public String toString() {
return "ForlanStudentErrorExcelModule{" +
"excelOneLineErrorMsg='" + excelOneLineErrorMsg + '\'' +
", name='" + name + '\'' +
", age=" + age +
'}';
}
}
3、Controller方法
@RestController
public class ExcelController {
@Autowired
private ForlanStudentService forlanStudentService;
@RequestMapping("/excel/import")
public String importFromExcel(@RequestParam(value = "file") MultipartFile param) {
// 校验文件类型
String fileName = param.getOriginalFilename();
if (StringUtils.isEmpty(fileName) || !(fileName.endsWith(".xlsx") || fileName.endsWith(".xls"))) {
return "文件后缀需为.xlsx或.xls";
}
return forlanStudentService.doImport(param);
}
}
4、Service方法
public interface ForlanStudentService {
String doImport(MultipartFile param);
}
5、主要实现逻辑
a、主方法
@Override
public String doImport(MultipartFile param) {
String result = "导入成功";
try (InputStream inputStream = param.getInputStream()) {
// 解析Excel对象流转成需要的对象
List<ForlanStudent> forlanStudentList = processExcel(inputStream);
// 最终入库数据
List<ForlanStudent> insertData = new ArrayList<>();
// 校验数据,并填充符合的数据
List<ForlanStudentErrorExcelModule> forlanStudentErrorExcelModule = checkDataAndFill(forlanStudentList, insertData);
if (!CollectionUtils.isEmpty(forlanStudentErrorExcelModule)) {
// 要求全部校验通过的话,这里可以直接return
// 需要的话,转成JSON返回,好看些
result = forlanStudentErrorExcelModule.toString();
// 可以生成错误文件,返回错误文件路径
// result = generateExceptionFile(forlanStudentErrorExcelModule);
}
if(!CollectionUtils.isEmpty(insertData)){
// 数据入库,根据自己需要写
forlanStudentDao.insertBatch(insertData);
}
} catch (Exception e) {
e.printStackTrace();
return "导入失败";
}
return result;
}
b、解析Excel数据转为List对象
private List<ForlanStudent> processExcel(InputStream inputStream) throws Exception {
List<ForlanStudent> forlanStudentList = new ArrayList<>();
Integer maxRows = 100;
// 导入模板表头
List<String> chineseHeader = Arrays.asList("姓名", "年龄");
// 0是表头
final int headerRows = 0;
try (Workbook workbook = WorkbookFactory.create(inputStream)) {
Sheet sheet = workbook.getSheetAt(0);
int totalRow = sheet.getLastRowNum();
if (totalRow == 0) {
throw new Exception("文件模板错误");
} else if (totalRow - headerRows > maxRows) {
throw new Exception(String.format("单次导入数据不能超过%s条", maxRows));
}
// 遍历每行
for (int rowIndex = 0; rowIndex <= totalRow; rowIndex++) {
Row currentRow = sheet.getRow(rowIndex);
if (currentRow == null) {
continue;
}
// 读取数据行
List<String> cellList = new ArrayList<>();
for (int columnIndex = 0; columnIndex <= 1; columnIndex++) {
Cell currentCell = currentRow.getCell(columnIndex);
cellList.add(formatCellValue(currentCell));
}
// 校验模板是否正确
if (rowIndex <= headerRows) {
if (rowIndex == 0 && !cellList.equals(chineseHeader)) {
throw new Exception("文件模板错误");
}
continue;
}
if (null != cellList && !cellList.isEmpty()) {
ForlanStudent forlanStudent = new ForlanStudent();
forlanStudent.setName(cellList.get(0));
forlanStudent.setAge(Integer.valueOf(cellList.get(1)));
forlanStudentList.add(forlanStudent);
}
}
} catch (Exception e) {
e.printStackTrace();
throw new Exception(e.getMessage());
}
return forlanStudentList;
}
public static String formatCellValue(Cell cell) {
if (cell == null) {
return "";
}
if (cell.getCellType() == Cell.CELL_TYPE_BOOLEAN) {
return String.valueOf(cell.getBooleanCellValue());
} else if (cell.getCellType() == Cell.CELL_TYPE_NUMERIC) {
if (HSSFDateUtil.isCellDateFormatted(cell)) {
double d = cell.getNumericCellValue();
Date date = HSSFDateUtil.getJavaDate(d);
return new SimpleDateFormat("yyyy/MM/dd HH:mm:ss\"").format(date);
} else {
// 强制将数字转字符串
DecimalFormat format = new DecimalFormat("0.00");
Number value = cell.getNumericCellValue();
String phone = format.format(value).replace(".00", "");
return String.valueOf(phone);
}
} else if (cell.getCellType() == Cell.CELL_TYPE_NUMERIC) {
return String.valueOf(cell.getNumericCellValue());
} else {
try {
return cell.getStringCellValue() == null ? "" : cell.getStringCellValue().trim();
} catch (Exception e) {
return cell.toString() == null ? "" : cell.toString().trim();
}
}
}
c、校验数据,并填充入库数据、错误数据行
private List<ForlanStudentErrorExcelModule> checkDataAndFill(List<ForlanStudent> forlanStudentList, List<ForlanStudent> insertData) {
List<ForlanStudentErrorExcelModule> errorExcelModules = new ArrayList<>();
// 校验数据,支持拓展功能,比如,统计总量、成功数、失败数...
forlanStudentList.forEach(p -> {
if (StringUtils.isBlank(p.getName()) || null == p.getAge()) {
ForlanStudentErrorExcelModule forlanStudentErrorExcelModule = new ForlanStudentErrorExcelModule();
BeanUtils.copyProperties(p, forlanStudentErrorExcelModule);
forlanStudentErrorExcelModule.setExcelOneLineErrorMsg("请填写必填项");
errorExcelModules.add(forlanStudentErrorExcelModule);
return;
}
if (p.getAge() < 0) {
ForlanStudentErrorExcelModule forlanStudentErrorExcelModule = new ForlanStudentErrorExcelModule();
BeanUtils.copyProperties(p, forlanStudentErrorExcelModule);
forlanStudentErrorExcelModule.setExcelOneLineErrorMsg("年龄不能小于0");
errorExcelModules.add(forlanStudentErrorExcelModule);
return;
}
// 如果没有跳过,说明符合入库
ForlanStudent forlanStudent = new ForlanStudent();
BeanUtils.copyProperties(p, forlanStudent);
insertData.add(forlanStudent);
});
return errorExcelModules;
}
d、错误数据行原因生成文件
private String generateExceptionFile(List<ForlanStudentErrorExcelModule> forlanStudentErrorExcelModuleList) {
File file = new File("导入文件校验失败原因.xlsx");
ExcelWriter excelWriter = EasyExcel.write(file).build();
WriteSheet errorDataSheet = EasyExcel.writerSheet("导入失败原因").head(ForlanStudentErrorExcelModule.class).build();
excelWriter.write(forlanStudentErrorExcelModuleList, errorDataSheet);
excelWriter.finish();
// 可以上传到OOS或者七牛云...然后然后路径
return file.getPath();
}
e、复制对象内容
public class BeanUtils {
public static Map<String, BeanCopier> beanCopierMap = new HashMap<String, BeanCopier>();
public static void copyListProperties(List source, List desc, Class descClazz) {
for (Object o : source) {
try {
Object d = descClazz.newInstance();
copyProperties(o, d);
desc.add(d);
} catch (InstantiationException e) {
throw new RuntimeException(e);
} catch (IllegalAccessException e) {
throw new RuntimeException(e);
}
}
}
public static void copyProperties(Object source, Object target) {
if (source != null) {
String beanKey = generateKey(source.getClass(), target.getClass());
if (!beanCopierMap.containsKey(beanKey)) {
BeanCopier copier = BeanCopier.create(source.getClass(), target.getClass(), false);
beanCopierMap.put(beanKey, copier);
}
beanCopierMap.get(beanKey).copy(source, target, null);
}
}
private static String generateKey(Class<?> cls1, Class<?> cls2) {
return cls1.toString() + cls2.toString();
}
}
总结
以上代码,校验文件格式、文件模板、导入数据限制、文本内容校验,支持全部校验成功才入库、部分校验成功入库,校验失败返回失败原因,导出失败原因
Java实现Excel批量导入数据库的更多相关文章
- JAVA实现Excel批量导入
一.模板下载: 先将模板放在项目WebRoot下的download文件夹下: /** * @Title: downloadFile * @Description: 模板下载 (网络地址) * @par ...
- C# 从Excel 批量导入数据库
最近遇到了关于 C# MVC 批量添加数据的问题,解决后就自己写了一个未完成的小Demo 不管什么编程语言都会提供操作Excel文件的方式,C#操作Excel主要有以下几种方式: 1.Excel 说 ...
- java实现excel表格导入数据库表
导入excel就是一个上传excel文件,然后获取excel文件数据,然后处理数据并插入到数据库的过程 一.上传excel 前端jsp页面,我的是index.jsp 在页面中我自己加入了一个下载上传文 ...
- excel批量导入数据库SQL server
思路: 第一是文件上传,可以参照Jakarta的FileUpload组件,用普通的Post也就行了.第二是Excel解析,用JSL或者POI都行第三是数据保存,这个应该简单吧,一个循环,一行对应一条数 ...
- Java实现数据批量导入mysql数据库
本文完全照搬别人的. 原文标题:Java实现数据批量导入数据库(优化速度-2种方法) 原文地址:https://blog.csdn.net/qy20115549/article/details/526 ...
- Java实现Excel数据批量导入数据库
Java实现Excel数据批量导入数据库 概述: 这个小工具类是工作中的一个小插曲哦,因为提数的时候需要跨数据库导数... 有的是需要从oracle导入mysql ,有的是从mysql导入oracle ...
- java实现文件批量导入导出实例(兼容xls,xlsx)
1.介绍 java实现文件的导入导出数据库,目前在大部分系统中是比较常见的功能了,今天写个小demo来理解其原理,没接触过的同学也可以看看参考下. 目前我所接触过的导入导出技术主要有POI和iRepo ...
- 订餐系统之Excel批量导入
批量导入现在基本已经成为各类系统的标配了,当前,我们订餐系统也不例外,什么商家呀.商品呀.优惠码之类的,都少不了.毕竟嘛,对非开发人员来说,看到Excel肯定比看到很多管理系统还是要亲切很多的.这里, ...
- 将Excle中的数据批量导入数据库
namespace 将Excle中的数据批量导入数据库{ class Program { static void Main(string[] args) { S ...
- 使用python将excel数据导入数据库
使用python将excel数据导入数据库 因为需要对数据处理,将excel数据导入到数据库,记录一下过程. 使用到的库:xlrd 和 pymysql (如果需要写到excel可以使用xlwt) 直接 ...
随机推荐
- Java SE 4、继承
继承 基本语法 class 子类 extends 父类{ } 子类就会自动拥有父类定义的属性和方法 父类又叫 超类,基类,子类又叫 派生类 细节 子类继承了所有的属性和方法,非私有的属性和方法可以在子 ...
- Java中关键的知识点
JVM,运行是内存模型 Java 反射 Java 注解 函数式接口 lambda表达式/流式计算 动态代理
- 学会Linux,看完这篇就行了!
转载请注明出处️ 作者:测试蔡坨坨 原文链接:caituotuo.top/797ab07d.html 你好,我是测试蔡坨坨. 对于测试同学来说,Linux基本属于必学必会内容,招聘要求中基本都会出现L ...
- crictl 命令 - Kubernetes 管理命令详解
描述:crictl 是 CRI 兼容的容器运行时命令行对接客户端, 你可以使用它来检查和调试 Kubernetes 节点上的容器运行时和应用程序.由于该命令是为k8s通过CRI使用containerd ...
- CSS-part1
一. CSS选择器 1.css引入方式 <!DOCTYPE html> <html lang="en"> <head> <meta cha ...
- Java之POI导出Excel(一):单sheet
相信在大部分的web项目中都会有导出导入Excel的需求,今天我们就来看看如何用Java代码去实现 用POI导出Excel表格. 一.pom引用 pom文件中,添加以下依赖 查看代码 <!-- ...
- STM32的SPI口的DMA读写[原创www.cnblogs.com/helesheng]
SPI是我最常用的接口之一,连接管脚仅为4根:在常见的芯片间通信方式中,速度远优于UART.I2C等其他接口.STM32的SPI口的同步时钟最快可到PCLK的二分之一,单个字节或字的通信时间都在us以 ...
- Docker容器虚拟化
Docker容器虚拟化 目录 Docker容器虚拟化 虚拟化网络 单节点容器间通信 不同节点容器间通信 虚拟化网络 Network Namespace 是 Linux 内核提供的功能,是实现网络虚拟化 ...
- 获取cpu的核数
//获取cpu的核数 System.out.println(Runtime.getRuntime().availableProcessors());
- goroutine调度
0.1.索引 https://blog.waterflow.link/articles/1662974432717 1.进程 一个进程包含可以由任何进程分配的公共资源.这些资源包括但不限于内存地址空间 ...