JDBC更新10W级以上数据性能优化
随笔缘由:
系统完成到一定程度,少不了要往数据库中添加大量数据进行性能测试。 我用程序做数据10W条,使用jdbc批更新的API,发现每次只能插入2W多条记录。 一番小小研究,觉得总结一下可能有些意义。
总结内容如下:
1:这是我出现问题的代码,插入10W条数据,10W次数据进行一次批处理,发现只能插入24464多条数据,程序也没有报错。
Connection con = (Connection) DriverManager.getConnection(url,user,password); con.setAutoCommit( false ); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); for ( int i = 0 ; i < list.size(); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.addBatch(); } pst.executeBatch(); con.commit(); Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
2:在不使用批更新时,具体做法就是 不添加这句代码 con.setAutoCommit(false); 并且每次为SQL指定参数后就执行 pst.executeUpdate(); 提交数据;结果10W条记录插入成功,但是使用了 35833ms的时间消耗。
Class.forName( "oracle.jdbc.driver.OracleDriver" ); Connection con = (Connection) DriverManager.getConnection(url,user,password); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); for ( int i = 0 ; i < list.size(); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.executeUpdate(); } Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
3:使用批更新,并且制定没10000次提交一次更新,此时 使用时间 2980 ms ,10w条数据也批量添加成功,oracle对每次执行的批更新有限制,我在11g的环境下测试 在2W4K多,网上有朋友说在10g下 每次提交1W多数据就会报错。
Class.forName( "oracle.jdbc.driver.OracleDriver" ); Connection con = (Connection) DriverManager.getConnection(url,user,password); con.setAutoCommit( false ); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); int batchCount=list.size()/batchSize+ 1 ; for ( int batch= 0 ;batch<batchCount;batch++) { for ( int i = batch*batchSize; (i <(batch+ 1 )*batchSize)&&(i<list.size()); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.addBatch(); } pst.executeBatch(); con.commit(); pst.clearBatch(); } Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
随笔缘由:
系统完成到一定程度,少不了要往数据库中添加大量数据进行性能测试。 我用程序做数据10W条,使用jdbc批更新的API,发现每次只能插入2W多条记录。 一番小小研究,觉得总结一下可能有些意义。
总结内容如下:
1:这是我出现问题的代码,插入10W条数据,10W次数据进行一次批处理,发现只能插入24464多条数据,程序也没有报错。
Connection con = (Connection) DriverManager.getConnection(url,user,password); con.setAutoCommit( false ); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); for ( int i = 0 ; i < list.size(); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.addBatch(); } pst.executeBatch(); con.commit(); Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
2:在不使用批更新时,具体做法就是 不添加这句代码 con.setAutoCommit(false); 并且每次为SQL指定参数后就执行 pst.executeUpdate(); 提交数据;结果10W条记录插入成功,但是使用了 35833ms的时间消耗。
Class.forName( "oracle.jdbc.driver.OracleDriver" ); Connection con = (Connection) DriverManager.getConnection(url,user,password); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); for ( int i = 0 ; i < list.size(); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.executeUpdate(); } Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
3:使用批更新,并且制定没10000次提交一次更新,此时 使用时间 2980 ms ,10w条数据也批量添加成功,oracle对每次执行的批更新有限制,我在11g的环境下测试 在2W4K多,网上有朋友说在10g下 每次提交1W多数据就会报错。
Class.forName( "oracle.jdbc.driver.OracleDriver" ); Connection con = (Connection) DriverManager.getConnection(url,user,password); con.setAutoCommit( false ); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); int batchCount=list.size()/batchSize+ 1 ; for ( int batch= 0 ;batch<batchCount;batch++) { for ( int i = batch*batchSize; (i <(batch+ 1 )*batchSize)&&(i<list.size()); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.addBatch(); } pst.executeBatch(); con.commit(); pst.clearBatch(); } Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
JDBC更新10W级以上数据性能优化的更多相关文章
- MySQL数据性能优化-修改方法与步骤
原文:http://bbs.landingbj.com/t-0-240421-1.html 数据库优化应该是每个设计到数据库操作应用必须涉及到的操作. 经常调试修改数据库性能主要有三个方面 1.MyS ...
- sqlite批量处理数据性能优化
最近设计到sqlite数据库批量操作的,性能很是问题.于是一番研究(站在巨人肩膀)从网上整理出来相关性能优化方向.大体分三个级别,一般第一个阶段已足够. 1.sqlite每次插入数据(每调用一次sql ...
- mysql批量更新数据(性能优化) 第一种方式
首先想到的是,一条一条更新的速度太慢了,然后就想批量更新,一次更新N条数据.实践是检验真理的唯一标准,不一会儿,代码就敲完了,重新试了一下,效果依旧不理想.啊哦,真是要崩溃!后面又想到了利用异步,我一 ...
- mysql批量更新数据(性能优化)--第二种方式
Spring+Mybatis 手动控制事务 参考: https://blog.csdn.net/qq_41750175/article/details/87621170 public boolean ...
- iOS应用千万级架构:性能优化与卡顿监控
CPU和GPU 在屏幕成像的过程中,CPU和GPU起着至关重要的作用 CPU(Central Processing Unit,中央处理器) 对象的创建和销毁.对象属性的调整.布局计算.文本的计算和排版 ...
- Sqlite3插入大量数据性能优化
近期做的一个项目数据量很大.文本数据有30多M.这样就遇到一个问题.插入数据库时很慢. 这里记录下,优化方法很easy. 原文地址:http://blog.csdn.net/qqmcy/article ...
- 记录一次bug解决过程:可维护性和性能优化
一.总结 使用某些变量的地方在2次以上的,强烈建议使用枚举值来维护变量,日后方便扩展. 查数据库的方法调用,能合并就净量去合并. 二.Bug描述 枚举变量的维护以及方法使用: public class ...
- IOS tableView的性能优化(缓存池)
使用缓存池(标识类型) 1.通过 一个 标识 去 缓存池 中寻找可循环得用的cell 2.如果缓存池找不到可循环得用的cell:创建一个新的cell(给cell贴个标识) 3.给cell设置新的数据 ...
- 一次EF批量插入多表数据的性能优化经历
距离上次的博客已经有15个多月了,感慨有些事情还是需要坚持,一旦停下来很有可能就会停很久或者从此再也不会坚持.但我个人一直还坚持认为属于技术狂热份子,且喜欢精益求精的那种.最近遇到两个和数据迁移相关的 ...
随机推荐
- STL算法设计理念 - 函数对象和函数对象当參数和返回值
函数对象: 重载函数调用操作符的类.其对象常称为函数对象(function object),即它们是行为类似函数的对象. 一个类对象,表现出一个函数的特征,就是通过"对象名+(參数列表)&q ...
- C# 如何修改Form不能修改窗体大小
把窗体的FormBorderSytle改一下就可以了,改成FixedSingle或者Fixed3D都可以
- 合并小图片利器TexturePacker GUI
合并小图片,能够非常大的节省网络开销.尤其如今的站点非常喜欢使用大量的小图标来做一些友好提示.当然使用图片文字也是一种选择. 只是这里推荐的是TexturePacker GUI ,这个确实是一款利器. ...
- 工作总结 for 另类写法 循环加时间 集合合并 也是用的 static class Enumerable (IEnumerable<T>的扩展方法) (IEnumerable<T> 的 工具类) (所有集合 数组都实现IEnumerable<T>)
using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.T ...
- java并发编程之Semaphore
信号量(Semaphore).有时被称为信号灯.是在多线程环境下使用的一种设施, 它负责协调各个线程, 以保证它们可以正确.合理的使用公共资源. 一个计数信号量.从概念上讲,信号量维护了一个许可集.如 ...
- MySQL通过函数获取字符串汉字拼音首字母大写字符串
DELIMITER $$ DROP FUNCTION IF EXISTS `Fun_GetPY`$$ CREATE FUNCTION `HIS`.`Fun_GetPY` (in_string VARC ...
- Go 语言的下一个大版本:Go 2.0 被安排上了(全面兼容1.X,改进错误处理和泛型这两大主题)
今年 8 月 Go 开发团队公布了 Go 2.0 的设计草案,包括错误处理和泛型这两大主题.现在备受瞩目的 Go 2.0 又有了新动向 —— 昨日 Go 开发团队在其官方博客表示,Go 2 已经被安排 ...
- 在linux上处理base64加密和解密
http://snailwarrior.blog.51cto.com/680306/142472/ 2.从标准输入读取文件内容,base64编码并打印到标准输出 [root@localhost tes ...
- android 使用AlarmManager定时启动service
private static AlarmManager am; private static PendingIntent pendingIntent; /** * 使用 AlarmManager 来 ...
- 牛客网9.9比赛 C 保护
题目大意: n个城市构成一个树 m支军队 每只军队守卫 在xi到yi的最短路径上的城市 q个重要人物从vi出发 找到离根最近的点使从vi到这个点上所有路径都可以被至少ki个军队完全覆盖 输出每个答案的 ...