随笔缘由:

系统完成到一定程度,少不了要往数据库中添加大量数据进行性能测试。 我用程序做数据10W条,使用jdbc批更新的API,发现每次只能插入2W多条记录。 一番小小研究,觉得总结一下可能有些意义。

总结内容如下:

1:这是我出现问题的代码,插入10W条数据,10W次数据进行一次批处理,发现只能插入24464多条数据,程序也没有报错。

Connection con = (Connection) DriverManager.getConnection(url,user,password); 
 con.setAutoCommit(false); 
 Long startTime = System.currentTimeMillis(); 
 PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); 
 for (int i = 0; i < list.size(); i++) { 
     KIVResponseBean kivResponseBean=list.get(i);  
     pst.setString(1, kivResponseBean.getK()); 
     pst.setString(2, kivResponseBean.getI()); 
     pst.setInt(3, kivResponseBean.getV()); 
     pst.setInt(4, kivResponseBean.getD()); 
     pst.setString(5, kivResponseBean.getM()); 
     pst.setString(6, kivResponseBean.getR()); 
     pst.addBatch();    
}               
 pst.executeBatch();
 con.commit(); 
 Long endTime = System.currentTimeMillis(); 
 System.out.println("用时:" + (endTime - startTime)); 

2:在不使用批更新时,具体做法就是 不添加这句代码 con.setAutoCommit(false); 并且每次为SQL指定参数后就执行 pst.executeUpdate(); 提交数据;结果10W条记录插入成功,但是使用了 35833ms的时间消耗。

Class.forName("oracle.jdbc.driver.OracleDriver"); 
 Connection con = (Connection) DriverManager.getConnection(url,user,password); 
 Long startTime = System.currentTimeMillis(); 
 PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); 
 for (int i = 0; i < list.size(); i++) { 
     KIVResponseBean kivResponseBean=list.get(i);  
     pst.setString(1, kivResponseBean.getK()); 
     pst.setString(2, kivResponseBean.getI()); 
     pst.setInt(3, kivResponseBean.getV()); 
     pst.setInt(4, kivResponseBean.getD()); 
     pst.setString(5, kivResponseBean.getM()); 
     pst.setString(6, kivResponseBean.getR()); 
     pst.executeUpdate();
}               
 Long endTime = System.currentTimeMillis(); 
 System.out.println("用时:" + (endTime - startTime));

3:使用批更新,并且制定没10000次提交一次更新,此时 使用时间 2980 ms ,10w条数据也批量添加成功,oracle对每次执行的批更新有限制,我在11g的环境下测试 在2W4K多,网上有朋友说在10g下 每次提交1W多数据就会报错。

Class.forName("oracle.jdbc.driver.OracleDriver"); 
Connection con = (Connection) DriverManager.getConnection(url,user,password); 
con.setAutoCommit(false); 
Long startTime = System.currentTimeMillis(); 
PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); 
int batchCount=list.size()/batchSize+1;
for(int batch=0;batch<batchCount;batch++) {
    for (int i = batch*batchSize; (i <(batch+1)*batchSize)&&(i<list.size()); i++) { 
        KIVResponseBean kivResponseBean=list.get(i);  
        pst.setString(1, kivResponseBean.getK()); 
        pst.setString(2, kivResponseBean.getI()); 
        pst.setInt(3, kivResponseBean.getV()); 
        pst.setInt(4, kivResponseBean.getD()); 
        pst.setString(5, kivResponseBean.getM()); 
        pst.setString(6, kivResponseBean.getR()); 
        pst.addBatch();    
   }               
    pst.executeBatch();
    con.commit(); 
    pst.clearBatch();
}
Long endTime = System.currentTimeMillis(); 
System.out.println("用时:" + (endTime - startTime)); 

随笔缘由:

系统完成到一定程度,少不了要往数据库中添加大量数据进行性能测试。 我用程序做数据10W条,使用jdbc批更新的API,发现每次只能插入2W多条记录。 一番小小研究,觉得总结一下可能有些意义。

总结内容如下:

1:这是我出现问题的代码,插入10W条数据,10W次数据进行一次批处理,发现只能插入24464多条数据,程序也没有报错。

Connection con = (Connection) DriverManager.getConnection(url,user,password); 
 con.setAutoCommit(false); 
 Long startTime = System.currentTimeMillis(); 
 PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); 
 for (int i = 0; i < list.size(); i++) { 
     KIVResponseBean kivResponseBean=list.get(i);  
     pst.setString(1, kivResponseBean.getK()); 
     pst.setString(2, kivResponseBean.getI()); 
     pst.setInt(3, kivResponseBean.getV()); 
     pst.setInt(4, kivResponseBean.getD()); 
     pst.setString(5, kivResponseBean.getM()); 
     pst.setString(6, kivResponseBean.getR()); 
     pst.addBatch();    
}               
 pst.executeBatch();
 con.commit(); 
 Long endTime = System.currentTimeMillis(); 
 System.out.println("用时:" + (endTime - startTime)); 

2:在不使用批更新时,具体做法就是 不添加这句代码 con.setAutoCommit(false); 并且每次为SQL指定参数后就执行 pst.executeUpdate(); 提交数据;结果10W条记录插入成功,但是使用了 35833ms的时间消耗。

Class.forName("oracle.jdbc.driver.OracleDriver"); 
 Connection con = (Connection) DriverManager.getConnection(url,user,password); 
 Long startTime = System.currentTimeMillis(); 
 PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); 
 for (int i = 0; i < list.size(); i++) { 
     KIVResponseBean kivResponseBean=list.get(i);  
     pst.setString(1, kivResponseBean.getK()); 
     pst.setString(2, kivResponseBean.getI()); 
     pst.setInt(3, kivResponseBean.getV()); 
     pst.setInt(4, kivResponseBean.getD()); 
     pst.setString(5, kivResponseBean.getM()); 
     pst.setString(6, kivResponseBean.getR()); 
     pst.executeUpdate();
}               
 Long endTime = System.currentTimeMillis(); 
 System.out.println("用时:" + (endTime - startTime));

3:使用批更新,并且制定没10000次提交一次更新,此时 使用时间 2980 ms ,10w条数据也批量添加成功,oracle对每次执行的批更新有限制,我在11g的环境下测试 在2W4K多,网上有朋友说在10g下 每次提交1W多数据就会报错。

Class.forName("oracle.jdbc.driver.OracleDriver"); 
Connection con = (Connection) DriverManager.getConnection(url,user,password); 
con.setAutoCommit(false); 
Long startTime = System.currentTimeMillis(); 
PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); 
int batchCount=list.size()/batchSize+1;
for(int batch=0;batch<batchCount;batch++) {
    for (int i = batch*batchSize; (i <(batch+1)*batchSize)&&(i<list.size()); i++) { 
        KIVResponseBean kivResponseBean=list.get(i);  
        pst.setString(1, kivResponseBean.getK()); 
        pst.setString(2, kivResponseBean.getI()); 
        pst.setInt(3, kivResponseBean.getV()); 
        pst.setInt(4, kivResponseBean.getD()); 
        pst.setString(5, kivResponseBean.getM()); 
        pst.setString(6, kivResponseBean.getR()); 
        pst.addBatch();    
   }               
    pst.executeBatch();
    con.commit(); 
    pst.clearBatch();
}
Long endTime = System.currentTimeMillis(); 
System.out.println("用时:" + (endTime - startTime)); 

JDBC更新10W级以上数据性能优化的更多相关文章

  1. MySQL数据性能优化-修改方法与步骤

    原文:http://bbs.landingbj.com/t-0-240421-1.html 数据库优化应该是每个设计到数据库操作应用必须涉及到的操作. 经常调试修改数据库性能主要有三个方面 1.MyS ...

  2. sqlite批量处理数据性能优化

    最近设计到sqlite数据库批量操作的,性能很是问题.于是一番研究(站在巨人肩膀)从网上整理出来相关性能优化方向.大体分三个级别,一般第一个阶段已足够. 1.sqlite每次插入数据(每调用一次sql ...

  3. mysql批量更新数据(性能优化) 第一种方式

    首先想到的是,一条一条更新的速度太慢了,然后就想批量更新,一次更新N条数据.实践是检验真理的唯一标准,不一会儿,代码就敲完了,重新试了一下,效果依旧不理想.啊哦,真是要崩溃!后面又想到了利用异步,我一 ...

  4. mysql批量更新数据(性能优化)--第二种方式

    Spring+Mybatis 手动控制事务 参考: https://blog.csdn.net/qq_41750175/article/details/87621170 public boolean ...

  5. iOS应用千万级架构:性能优化与卡顿监控

    CPU和GPU 在屏幕成像的过程中,CPU和GPU起着至关重要的作用 CPU(Central Processing Unit,中央处理器) 对象的创建和销毁.对象属性的调整.布局计算.文本的计算和排版 ...

  6. Sqlite3插入大量数据性能优化

    近期做的一个项目数据量很大.文本数据有30多M.这样就遇到一个问题.插入数据库时很慢. 这里记录下,优化方法很easy. 原文地址:http://blog.csdn.net/qqmcy/article ...

  7. 记录一次bug解决过程:可维护性和性能优化

    一.总结 使用某些变量的地方在2次以上的,强烈建议使用枚举值来维护变量,日后方便扩展. 查数据库的方法调用,能合并就净量去合并. 二.Bug描述 枚举变量的维护以及方法使用: public class ...

  8. IOS tableView的性能优化(缓存池)

    使用缓存池(标识类型) 1.通过 一个 标识 去 缓存池 中寻找可循环得用的cell 2.如果缓存池找不到可循环得用的cell:创建一个新的cell(给cell贴个标识) 3.给cell设置新的数据 ...

  9. 一次EF批量插入多表数据的性能优化经历

    距离上次的博客已经有15个多月了,感慨有些事情还是需要坚持,一旦停下来很有可能就会停很久或者从此再也不会坚持.但我个人一直还坚持认为属于技术狂热份子,且喜欢精益求精的那种.最近遇到两个和数据迁移相关的 ...

随机推荐

  1. STL算法设计理念 - 函数对象和函数对象当參数和返回值

    函数对象: 重载函数调用操作符的类.其对象常称为函数对象(function object),即它们是行为类似函数的对象. 一个类对象,表现出一个函数的特征,就是通过"对象名+(參数列表)&q ...

  2. C# 如何修改Form不能修改窗体大小

    把窗体的FormBorderSytle改一下就可以了,改成FixedSingle或者Fixed3D都可以        

  3. 合并小图片利器TexturePacker GUI

    合并小图片,能够非常大的节省网络开销.尤其如今的站点非常喜欢使用大量的小图标来做一些友好提示.当然使用图片文字也是一种选择. 只是这里推荐的是TexturePacker GUI ,这个确实是一款利器. ...

  4. 工作总结 for 另类写法 循环加时间 集合合并 也是用的 static class Enumerable (IEnumerable<T>的扩展方法) (IEnumerable<T> 的 工具类) (所有集合 数组都实现IEnumerable<T>)

    using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.T ...

  5. java并发编程之Semaphore

    信号量(Semaphore).有时被称为信号灯.是在多线程环境下使用的一种设施, 它负责协调各个线程, 以保证它们可以正确.合理的使用公共资源. 一个计数信号量.从概念上讲,信号量维护了一个许可集.如 ...

  6. MySQL通过函数获取字符串汉字拼音首字母大写字符串

    DELIMITER $$ DROP FUNCTION IF EXISTS `Fun_GetPY`$$ CREATE FUNCTION `HIS`.`Fun_GetPY` (in_string VARC ...

  7. Go 语言的下一个大版本:Go 2.0 被安排上了(全面兼容1.X,改进错误处理和泛型这两大主题)

    今年 8 月 Go 开发团队公布了 Go 2.0 的设计草案,包括错误处理和泛型这两大主题.现在备受瞩目的 Go 2.0 又有了新动向 —— 昨日 Go 开发团队在其官方博客表示,Go 2 已经被安排 ...

  8. 在linux上处理base64加密和解密

    http://snailwarrior.blog.51cto.com/680306/142472/ 2.从标准输入读取文件内容,base64编码并打印到标准输出 [root@localhost tes ...

  9. android 使用AlarmManager定时启动service

    private static AlarmManager am; private static PendingIntent pendingIntent; /** * 使用 AlarmManager 来 ...

  10. 牛客网9.9比赛 C 保护

    题目大意: n个城市构成一个树 m支军队 每只军队守卫 在xi到yi的最短路径上的城市 q个重要人物从vi出发 找到离根最近的点使从vi到这个点上所有路径都可以被至少ki个军队完全覆盖 输出每个答案的 ...