随笔缘由:

系统完成到一定程度,少不了要往数据库中添加大量数据进行性能测试。 我用程序做数据10W条,使用jdbc批更新的API,发现每次只能插入2W多条记录。 一番小小研究,觉得总结一下可能有些意义。

总结内容如下:

1:这是我出现问题的代码,插入10W条数据,10W次数据进行一次批处理,发现只能插入24464多条数据,程序也没有报错。

Connection con = (Connection) DriverManager.getConnection(url,user,password); 
 con.setAutoCommit(false); 
 Long startTime = System.currentTimeMillis(); 
 PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); 
 for (int i = 0; i < list.size(); i++) { 
     KIVResponseBean kivResponseBean=list.get(i);  
     pst.setString(1, kivResponseBean.getK()); 
     pst.setString(2, kivResponseBean.getI()); 
     pst.setInt(3, kivResponseBean.getV()); 
     pst.setInt(4, kivResponseBean.getD()); 
     pst.setString(5, kivResponseBean.getM()); 
     pst.setString(6, kivResponseBean.getR()); 
     pst.addBatch();    
}               
 pst.executeBatch();
 con.commit(); 
 Long endTime = System.currentTimeMillis(); 
 System.out.println("用时:" + (endTime - startTime)); 

2:在不使用批更新时,具体做法就是 不添加这句代码 con.setAutoCommit(false); 并且每次为SQL指定参数后就执行 pst.executeUpdate(); 提交数据;结果10W条记录插入成功,但是使用了 35833ms的时间消耗。

Class.forName("oracle.jdbc.driver.OracleDriver"); 
 Connection con = (Connection) DriverManager.getConnection(url,user,password); 
 Long startTime = System.currentTimeMillis(); 
 PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); 
 for (int i = 0; i < list.size(); i++) { 
     KIVResponseBean kivResponseBean=list.get(i);  
     pst.setString(1, kivResponseBean.getK()); 
     pst.setString(2, kivResponseBean.getI()); 
     pst.setInt(3, kivResponseBean.getV()); 
     pst.setInt(4, kivResponseBean.getD()); 
     pst.setString(5, kivResponseBean.getM()); 
     pst.setString(6, kivResponseBean.getR()); 
     pst.executeUpdate();
}               
 Long endTime = System.currentTimeMillis(); 
 System.out.println("用时:" + (endTime - startTime));

3:使用批更新,并且制定没10000次提交一次更新,此时 使用时间 2980 ms ,10w条数据也批量添加成功,oracle对每次执行的批更新有限制,我在11g的环境下测试 在2W4K多,网上有朋友说在10g下 每次提交1W多数据就会报错。

Class.forName("oracle.jdbc.driver.OracleDriver"); 
Connection con = (Connection) DriverManager.getConnection(url,user,password); 
con.setAutoCommit(false); 
Long startTime = System.currentTimeMillis(); 
PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); 
int batchCount=list.size()/batchSize+1;
for(int batch=0;batch<batchCount;batch++) {
    for (int i = batch*batchSize; (i <(batch+1)*batchSize)&&(i<list.size()); i++) { 
        KIVResponseBean kivResponseBean=list.get(i);  
        pst.setString(1, kivResponseBean.getK()); 
        pst.setString(2, kivResponseBean.getI()); 
        pst.setInt(3, kivResponseBean.getV()); 
        pst.setInt(4, kivResponseBean.getD()); 
        pst.setString(5, kivResponseBean.getM()); 
        pst.setString(6, kivResponseBean.getR()); 
        pst.addBatch();    
   }               
    pst.executeBatch();
    con.commit(); 
    pst.clearBatch();
}
Long endTime = System.currentTimeMillis(); 
System.out.println("用时:" + (endTime - startTime)); 

随笔缘由:

系统完成到一定程度,少不了要往数据库中添加大量数据进行性能测试。 我用程序做数据10W条,使用jdbc批更新的API,发现每次只能插入2W多条记录。 一番小小研究,觉得总结一下可能有些意义。

总结内容如下:

1:这是我出现问题的代码,插入10W条数据,10W次数据进行一次批处理,发现只能插入24464多条数据,程序也没有报错。

Connection con = (Connection) DriverManager.getConnection(url,user,password); 
 con.setAutoCommit(false); 
 Long startTime = System.currentTimeMillis(); 
 PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); 
 for (int i = 0; i < list.size(); i++) { 
     KIVResponseBean kivResponseBean=list.get(i);  
     pst.setString(1, kivResponseBean.getK()); 
     pst.setString(2, kivResponseBean.getI()); 
     pst.setInt(3, kivResponseBean.getV()); 
     pst.setInt(4, kivResponseBean.getD()); 
     pst.setString(5, kivResponseBean.getM()); 
     pst.setString(6, kivResponseBean.getR()); 
     pst.addBatch();    
}               
 pst.executeBatch();
 con.commit(); 
 Long endTime = System.currentTimeMillis(); 
 System.out.println("用时:" + (endTime - startTime)); 

2:在不使用批更新时,具体做法就是 不添加这句代码 con.setAutoCommit(false); 并且每次为SQL指定参数后就执行 pst.executeUpdate(); 提交数据;结果10W条记录插入成功,但是使用了 35833ms的时间消耗。

Class.forName("oracle.jdbc.driver.OracleDriver"); 
 Connection con = (Connection) DriverManager.getConnection(url,user,password); 
 Long startTime = System.currentTimeMillis(); 
 PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); 
 for (int i = 0; i < list.size(); i++) { 
     KIVResponseBean kivResponseBean=list.get(i);  
     pst.setString(1, kivResponseBean.getK()); 
     pst.setString(2, kivResponseBean.getI()); 
     pst.setInt(3, kivResponseBean.getV()); 
     pst.setInt(4, kivResponseBean.getD()); 
     pst.setString(5, kivResponseBean.getM()); 
     pst.setString(6, kivResponseBean.getR()); 
     pst.executeUpdate();
}               
 Long endTime = System.currentTimeMillis(); 
 System.out.println("用时:" + (endTime - startTime));

3:使用批更新,并且制定没10000次提交一次更新,此时 使用时间 2980 ms ,10w条数据也批量添加成功,oracle对每次执行的批更新有限制,我在11g的环境下测试 在2W4K多,网上有朋友说在10g下 每次提交1W多数据就会报错。

Class.forName("oracle.jdbc.driver.OracleDriver"); 
Connection con = (Connection) DriverManager.getConnection(url,user,password); 
con.setAutoCommit(false); 
Long startTime = System.currentTimeMillis(); 
PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); 
int batchCount=list.size()/batchSize+1;
for(int batch=0;batch<batchCount;batch++) {
    for (int i = batch*batchSize; (i <(batch+1)*batchSize)&&(i<list.size()); i++) { 
        KIVResponseBean kivResponseBean=list.get(i);  
        pst.setString(1, kivResponseBean.getK()); 
        pst.setString(2, kivResponseBean.getI()); 
        pst.setInt(3, kivResponseBean.getV()); 
        pst.setInt(4, kivResponseBean.getD()); 
        pst.setString(5, kivResponseBean.getM()); 
        pst.setString(6, kivResponseBean.getR()); 
        pst.addBatch();    
   }               
    pst.executeBatch();
    con.commit(); 
    pst.clearBatch();
}
Long endTime = System.currentTimeMillis(); 
System.out.println("用时:" + (endTime - startTime)); 

JDBC更新10W级以上数据性能优化的更多相关文章

  1. MySQL数据性能优化-修改方法与步骤

    原文:http://bbs.landingbj.com/t-0-240421-1.html 数据库优化应该是每个设计到数据库操作应用必须涉及到的操作. 经常调试修改数据库性能主要有三个方面 1.MyS ...

  2. sqlite批量处理数据性能优化

    最近设计到sqlite数据库批量操作的,性能很是问题.于是一番研究(站在巨人肩膀)从网上整理出来相关性能优化方向.大体分三个级别,一般第一个阶段已足够. 1.sqlite每次插入数据(每调用一次sql ...

  3. mysql批量更新数据(性能优化) 第一种方式

    首先想到的是,一条一条更新的速度太慢了,然后就想批量更新,一次更新N条数据.实践是检验真理的唯一标准,不一会儿,代码就敲完了,重新试了一下,效果依旧不理想.啊哦,真是要崩溃!后面又想到了利用异步,我一 ...

  4. mysql批量更新数据(性能优化)--第二种方式

    Spring+Mybatis 手动控制事务 参考: https://blog.csdn.net/qq_41750175/article/details/87621170 public boolean ...

  5. iOS应用千万级架构:性能优化与卡顿监控

    CPU和GPU 在屏幕成像的过程中,CPU和GPU起着至关重要的作用 CPU(Central Processing Unit,中央处理器) 对象的创建和销毁.对象属性的调整.布局计算.文本的计算和排版 ...

  6. Sqlite3插入大量数据性能优化

    近期做的一个项目数据量很大.文本数据有30多M.这样就遇到一个问题.插入数据库时很慢. 这里记录下,优化方法很easy. 原文地址:http://blog.csdn.net/qqmcy/article ...

  7. 记录一次bug解决过程:可维护性和性能优化

    一.总结 使用某些变量的地方在2次以上的,强烈建议使用枚举值来维护变量,日后方便扩展. 查数据库的方法调用,能合并就净量去合并. 二.Bug描述 枚举变量的维护以及方法使用: public class ...

  8. IOS tableView的性能优化(缓存池)

    使用缓存池(标识类型) 1.通过 一个 标识 去 缓存池 中寻找可循环得用的cell 2.如果缓存池找不到可循环得用的cell:创建一个新的cell(给cell贴个标识) 3.给cell设置新的数据 ...

  9. 一次EF批量插入多表数据的性能优化经历

    距离上次的博客已经有15个多月了,感慨有些事情还是需要坚持,一旦停下来很有可能就会停很久或者从此再也不会坚持.但我个人一直还坚持认为属于技术狂热份子,且喜欢精益求精的那种.最近遇到两个和数据迁移相关的 ...

随机推荐

  1. Windows Update 的工具

    Windows Update MiniTool 是一款管理 Windows Update 的工具,可以取得微軟 Windows 修補程式更新包,Windows Update 是我們用來升級系統的元件, ...

  2. [TypeScript] Use TypeScript’s never Type for Exhaustiveness Checking

    TypeScript 2.0 introduced a new primitive type called never, the type of values that never occur. It ...

  3. ubuntu下vi的使用

    ubuntu下vi的使用 ssh之后对于server的文件,我习惯用gedit,可是不好改动,于是就用vi. 1.vi的基本概念 基本上vi能够分为三种状态,各自是命令模式(command mode) ...

  4. python 【目录】

    python[目录] python[第一篇]初识python python[第二篇]python基本数据类型 python[第三篇]python函数基础

  5. MySQL-查询数据(SELECT)

    MySQL SELECT语句 SELECT语句用于从表或视图中获取数据 Select语句组成 Select 之后是逗号分隔列或星号(*)的列表,表示要返回所有列. From 指定要查询数据的表或视图. ...

  6. 实现一个简易的express中间件

    代码: // 通过闭包实现单例 const Middlewave = (function(){ let instance; class Middlewave{ constructor() { this ...

  7. Use of implicitly declared global variable

    https://stackoverflow.com/questions/7604419/resharper-javascript-use-of-implicitly-declared-global-v ...

  8. 就是这个foxmail有时出现记事同步不了

    昨天和妈妈商量还是要打算再次买一块正版电池,虽然她现在有点不情愿,但是过一个月再说,然后就是他的号码超出流量6M,由于是2G的流量,按照每M是一元,所以就是扣了6元,然后他的套餐里面显示还有94M也不 ...

  9. ORACLE分区表发挥性能

    1.1 分区表PARTITION table 在ORACLE里如果遇到特别大的表,可以使用分区的表来改变其应用程序的性能. 1.1.1 分区表的建立: 某公司的每年产生巨大的销售记录,DBA向公司建议 ...

  10. 错误: 实例 "ruiy" 执行所请求操作失败,实例处于错误状态。: 请稍后再试 [错误: 'ascii' codec can't decode byte 0xe6 in position 0: ordinal not in range(128)].

    错误: 实例 "ruiy" 执行所请求操作失败,实例处于错误状态.: 请稍后再试 [错误: 'ascii' codec can't decode byte 0xe6 in posi ...