JDBC更新10W级以上数据性能优化
随笔缘由:
系统完成到一定程度,少不了要往数据库中添加大量数据进行性能测试。 我用程序做数据10W条,使用jdbc批更新的API,发现每次只能插入2W多条记录。 一番小小研究,觉得总结一下可能有些意义。
总结内容如下:
1:这是我出现问题的代码,插入10W条数据,10W次数据进行一次批处理,发现只能插入24464多条数据,程序也没有报错。
Connection con = (Connection) DriverManager.getConnection(url,user,password); con.setAutoCommit( false ); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); for ( int i = 0 ; i < list.size(); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.addBatch(); } pst.executeBatch(); con.commit(); Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
2:在不使用批更新时,具体做法就是 不添加这句代码 con.setAutoCommit(false); 并且每次为SQL指定参数后就执行 pst.executeUpdate(); 提交数据;结果10W条记录插入成功,但是使用了 35833ms的时间消耗。
Class.forName( "oracle.jdbc.driver.OracleDriver" ); Connection con = (Connection) DriverManager.getConnection(url,user,password); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); for ( int i = 0 ; i < list.size(); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.executeUpdate(); } Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
3:使用批更新,并且制定没10000次提交一次更新,此时 使用时间 2980 ms ,10w条数据也批量添加成功,oracle对每次执行的批更新有限制,我在11g的环境下测试 在2W4K多,网上有朋友说在10g下 每次提交1W多数据就会报错。
Class.forName( "oracle.jdbc.driver.OracleDriver" ); Connection con = (Connection) DriverManager.getConnection(url,user,password); con.setAutoCommit( false ); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); int batchCount=list.size()/batchSize+ 1 ; for ( int batch= 0 ;batch<batchCount;batch++) { for ( int i = batch*batchSize; (i <(batch+ 1 )*batchSize)&&(i<list.size()); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.addBatch(); } pst.executeBatch(); con.commit(); pst.clearBatch(); } Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
随笔缘由:
系统完成到一定程度,少不了要往数据库中添加大量数据进行性能测试。 我用程序做数据10W条,使用jdbc批更新的API,发现每次只能插入2W多条记录。 一番小小研究,觉得总结一下可能有些意义。
总结内容如下:
1:这是我出现问题的代码,插入10W条数据,10W次数据进行一次批处理,发现只能插入24464多条数据,程序也没有报错。
Connection con = (Connection) DriverManager.getConnection(url,user,password); con.setAutoCommit( false ); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); for ( int i = 0 ; i < list.size(); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.addBatch(); } pst.executeBatch(); con.commit(); Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
2:在不使用批更新时,具体做法就是 不添加这句代码 con.setAutoCommit(false); 并且每次为SQL指定参数后就执行 pst.executeUpdate(); 提交数据;结果10W条记录插入成功,但是使用了 35833ms的时间消耗。
Class.forName( "oracle.jdbc.driver.OracleDriver" ); Connection con = (Connection) DriverManager.getConnection(url,user,password); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); for ( int i = 0 ; i < list.size(); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.executeUpdate(); } Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
3:使用批更新,并且制定没10000次提交一次更新,此时 使用时间 2980 ms ,10w条数据也批量添加成功,oracle对每次执行的批更新有限制,我在11g的环境下测试 在2W4K多,网上有朋友说在10g下 每次提交1W多数据就会报错。
Class.forName( "oracle.jdbc.driver.OracleDriver" ); Connection con = (Connection) DriverManager.getConnection(url,user,password); con.setAutoCommit( false ); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); int batchCount=list.size()/batchSize+ 1 ; for ( int batch= 0 ;batch<batchCount;batch++) { for ( int i = batch*batchSize; (i <(batch+ 1 )*batchSize)&&(i<list.size()); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.addBatch(); } pst.executeBatch(); con.commit(); pst.clearBatch(); } Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
JDBC更新10W级以上数据性能优化的更多相关文章
- MySQL数据性能优化-修改方法与步骤
原文:http://bbs.landingbj.com/t-0-240421-1.html 数据库优化应该是每个设计到数据库操作应用必须涉及到的操作. 经常调试修改数据库性能主要有三个方面 1.MyS ...
- sqlite批量处理数据性能优化
最近设计到sqlite数据库批量操作的,性能很是问题.于是一番研究(站在巨人肩膀)从网上整理出来相关性能优化方向.大体分三个级别,一般第一个阶段已足够. 1.sqlite每次插入数据(每调用一次sql ...
- mysql批量更新数据(性能优化) 第一种方式
首先想到的是,一条一条更新的速度太慢了,然后就想批量更新,一次更新N条数据.实践是检验真理的唯一标准,不一会儿,代码就敲完了,重新试了一下,效果依旧不理想.啊哦,真是要崩溃!后面又想到了利用异步,我一 ...
- mysql批量更新数据(性能优化)--第二种方式
Spring+Mybatis 手动控制事务 参考: https://blog.csdn.net/qq_41750175/article/details/87621170 public boolean ...
- iOS应用千万级架构:性能优化与卡顿监控
CPU和GPU 在屏幕成像的过程中,CPU和GPU起着至关重要的作用 CPU(Central Processing Unit,中央处理器) 对象的创建和销毁.对象属性的调整.布局计算.文本的计算和排版 ...
- Sqlite3插入大量数据性能优化
近期做的一个项目数据量很大.文本数据有30多M.这样就遇到一个问题.插入数据库时很慢. 这里记录下,优化方法很easy. 原文地址:http://blog.csdn.net/qqmcy/article ...
- 记录一次bug解决过程:可维护性和性能优化
一.总结 使用某些变量的地方在2次以上的,强烈建议使用枚举值来维护变量,日后方便扩展. 查数据库的方法调用,能合并就净量去合并. 二.Bug描述 枚举变量的维护以及方法使用: public class ...
- IOS tableView的性能优化(缓存池)
使用缓存池(标识类型) 1.通过 一个 标识 去 缓存池 中寻找可循环得用的cell 2.如果缓存池找不到可循环得用的cell:创建一个新的cell(给cell贴个标识) 3.给cell设置新的数据 ...
- 一次EF批量插入多表数据的性能优化经历
距离上次的博客已经有15个多月了,感慨有些事情还是需要坚持,一旦停下来很有可能就会停很久或者从此再也不会坚持.但我个人一直还坚持认为属于技术狂热份子,且喜欢精益求精的那种.最近遇到两个和数据迁移相关的 ...
随机推荐
- Windows Update 的工具
Windows Update MiniTool 是一款管理 Windows Update 的工具,可以取得微軟 Windows 修補程式更新包,Windows Update 是我們用來升級系統的元件, ...
- [TypeScript] Use TypeScript’s never Type for Exhaustiveness Checking
TypeScript 2.0 introduced a new primitive type called never, the type of values that never occur. It ...
- ubuntu下vi的使用
ubuntu下vi的使用 ssh之后对于server的文件,我习惯用gedit,可是不好改动,于是就用vi. 1.vi的基本概念 基本上vi能够分为三种状态,各自是命令模式(command mode) ...
- python 【目录】
python[目录] python[第一篇]初识python python[第二篇]python基本数据类型 python[第三篇]python函数基础
- MySQL-查询数据(SELECT)
MySQL SELECT语句 SELECT语句用于从表或视图中获取数据 Select语句组成 Select 之后是逗号分隔列或星号(*)的列表,表示要返回所有列. From 指定要查询数据的表或视图. ...
- 实现一个简易的express中间件
代码: // 通过闭包实现单例 const Middlewave = (function(){ let instance; class Middlewave{ constructor() { this ...
- Use of implicitly declared global variable
https://stackoverflow.com/questions/7604419/resharper-javascript-use-of-implicitly-declared-global-v ...
- 就是这个foxmail有时出现记事同步不了
昨天和妈妈商量还是要打算再次买一块正版电池,虽然她现在有点不情愿,但是过一个月再说,然后就是他的号码超出流量6M,由于是2G的流量,按照每M是一元,所以就是扣了6元,然后他的套餐里面显示还有94M也不 ...
- ORACLE分区表发挥性能
1.1 分区表PARTITION table 在ORACLE里如果遇到特别大的表,可以使用分区的表来改变其应用程序的性能. 1.1.1 分区表的建立: 某公司的每年产生巨大的销售记录,DBA向公司建议 ...
- 错误: 实例 "ruiy" 执行所请求操作失败,实例处于错误状态。: 请稍后再试 [错误: 'ascii' codec can't decode byte 0xe6 in position 0: ordinal not in range(128)].
错误: 实例 "ruiy" 执行所请求操作失败,实例处于错误状态.: 请稍后再试 [错误: 'ascii' codec can't decode byte 0xe6 in posi ...