JDBC更新10W级以上数据性能优化
随笔缘由:
系统完成到一定程度,少不了要往数据库中添加大量数据进行性能测试。 我用程序做数据10W条,使用jdbc批更新的API,发现每次只能插入2W多条记录。 一番小小研究,觉得总结一下可能有些意义。
总结内容如下:
1:这是我出现问题的代码,插入10W条数据,10W次数据进行一次批处理,发现只能插入24464多条数据,程序也没有报错。
Connection con = (Connection) DriverManager.getConnection(url,user,password); con.setAutoCommit( false ); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); for ( int i = 0 ; i < list.size(); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.addBatch(); } pst.executeBatch(); con.commit(); Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
2:在不使用批更新时,具体做法就是 不添加这句代码 con.setAutoCommit(false); 并且每次为SQL指定参数后就执行 pst.executeUpdate(); 提交数据;结果10W条记录插入成功,但是使用了 35833ms的时间消耗。
Class.forName( "oracle.jdbc.driver.OracleDriver" ); Connection con = (Connection) DriverManager.getConnection(url,user,password); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); for ( int i = 0 ; i < list.size(); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.executeUpdate(); } Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
3:使用批更新,并且制定没10000次提交一次更新,此时 使用时间 2980 ms ,10w条数据也批量添加成功,oracle对每次执行的批更新有限制,我在11g的环境下测试 在2W4K多,网上有朋友说在10g下 每次提交1W多数据就会报错。
Class.forName( "oracle.jdbc.driver.OracleDriver" ); Connection con = (Connection) DriverManager.getConnection(url,user,password); con.setAutoCommit( false ); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); int batchCount=list.size()/batchSize+ 1 ; for ( int batch= 0 ;batch<batchCount;batch++) { for ( int i = batch*batchSize; (i <(batch+ 1 )*batchSize)&&(i<list.size()); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.addBatch(); } pst.executeBatch(); con.commit(); pst.clearBatch(); } Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
随笔缘由:
系统完成到一定程度,少不了要往数据库中添加大量数据进行性能测试。 我用程序做数据10W条,使用jdbc批更新的API,发现每次只能插入2W多条记录。 一番小小研究,觉得总结一下可能有些意义。
总结内容如下:
1:这是我出现问题的代码,插入10W条数据,10W次数据进行一次批处理,发现只能插入24464多条数据,程序也没有报错。
Connection con = (Connection) DriverManager.getConnection(url,user,password); con.setAutoCommit( false ); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); for ( int i = 0 ; i < list.size(); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.addBatch(); } pst.executeBatch(); con.commit(); Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
2:在不使用批更新时,具体做法就是 不添加这句代码 con.setAutoCommit(false); 并且每次为SQL指定参数后就执行 pst.executeUpdate(); 提交数据;结果10W条记录插入成功,但是使用了 35833ms的时间消耗。
Class.forName( "oracle.jdbc.driver.OracleDriver" ); Connection con = (Connection) DriverManager.getConnection(url,user,password); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); for ( int i = 0 ; i < list.size(); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.executeUpdate(); } Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
3:使用批更新,并且制定没10000次提交一次更新,此时 使用时间 2980 ms ,10w条数据也批量添加成功,oracle对每次执行的批更新有限制,我在11g的环境下测试 在2W4K多,网上有朋友说在10g下 每次提交1W多数据就会报错。
Class.forName( "oracle.jdbc.driver.OracleDriver" ); Connection con = (Connection) DriverManager.getConnection(url,user,password); con.setAutoCommit( false ); Long startTime = System.currentTimeMillis(); PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString()); int batchCount=list.size()/batchSize+ 1 ; for ( int batch= 0 ;batch<batchCount;batch++) { for ( int i = batch*batchSize; (i <(batch+ 1 )*batchSize)&&(i<list.size()); i++) { KIVResponseBean kivResponseBean=list.get(i); pst.setString( 1 , kivResponseBean.getK()); pst.setString( 2 , kivResponseBean.getI()); pst.setInt( 3 , kivResponseBean.getV()); pst.setInt( 4 , kivResponseBean.getD()); pst.setString( 5 , kivResponseBean.getM()); pst.setString( 6 , kivResponseBean.getR()); pst.addBatch(); } pst.executeBatch(); con.commit(); pst.clearBatch(); } Long endTime = System.currentTimeMillis(); System.out.println( "用时:" + (endTime - startTime)); |
JDBC更新10W级以上数据性能优化的更多相关文章
- MySQL数据性能优化-修改方法与步骤
原文:http://bbs.landingbj.com/t-0-240421-1.html 数据库优化应该是每个设计到数据库操作应用必须涉及到的操作. 经常调试修改数据库性能主要有三个方面 1.MyS ...
- sqlite批量处理数据性能优化
最近设计到sqlite数据库批量操作的,性能很是问题.于是一番研究(站在巨人肩膀)从网上整理出来相关性能优化方向.大体分三个级别,一般第一个阶段已足够. 1.sqlite每次插入数据(每调用一次sql ...
- mysql批量更新数据(性能优化) 第一种方式
首先想到的是,一条一条更新的速度太慢了,然后就想批量更新,一次更新N条数据.实践是检验真理的唯一标准,不一会儿,代码就敲完了,重新试了一下,效果依旧不理想.啊哦,真是要崩溃!后面又想到了利用异步,我一 ...
- mysql批量更新数据(性能优化)--第二种方式
Spring+Mybatis 手动控制事务 参考: https://blog.csdn.net/qq_41750175/article/details/87621170 public boolean ...
- iOS应用千万级架构:性能优化与卡顿监控
CPU和GPU 在屏幕成像的过程中,CPU和GPU起着至关重要的作用 CPU(Central Processing Unit,中央处理器) 对象的创建和销毁.对象属性的调整.布局计算.文本的计算和排版 ...
- Sqlite3插入大量数据性能优化
近期做的一个项目数据量很大.文本数据有30多M.这样就遇到一个问题.插入数据库时很慢. 这里记录下,优化方法很easy. 原文地址:http://blog.csdn.net/qqmcy/article ...
- 记录一次bug解决过程:可维护性和性能优化
一.总结 使用某些变量的地方在2次以上的,强烈建议使用枚举值来维护变量,日后方便扩展. 查数据库的方法调用,能合并就净量去合并. 二.Bug描述 枚举变量的维护以及方法使用: public class ...
- IOS tableView的性能优化(缓存池)
使用缓存池(标识类型) 1.通过 一个 标识 去 缓存池 中寻找可循环得用的cell 2.如果缓存池找不到可循环得用的cell:创建一个新的cell(给cell贴个标识) 3.给cell设置新的数据 ...
- 一次EF批量插入多表数据的性能优化经历
距离上次的博客已经有15个多月了,感慨有些事情还是需要坚持,一旦停下来很有可能就会停很久或者从此再也不会坚持.但我个人一直还坚持认为属于技术狂热份子,且喜欢精益求精的那种.最近遇到两个和数据迁移相关的 ...
随机推荐
- C# .NET 如何修改代码字体
工具-选项-字体和颜色
- FFmpeg的HEVC解码器源码简单分析:概述
===================================================== HEVC源码分析文章列表: [解码 -libavcodec HEVC 解码器] FFmpeg ...
- i18n国际化的例子
这个可以点击菜单进行中英文切换,每次切换就可以改变sessionStorage.languge,进行改变i18n的参数lang的值,然后重新调用下就可以了. 工程结构: i18n--| |---css ...
- JSON-JSON字符串转换成JSON对象、JSON对象数组、java实体类以及保存到List列表中
处理JSON字符串时,一直出错,写个样例后发现原来是没有弄清楚数据的格式问题. 实现的是 JSONString 转换成java对象 或是 list列表 实例类 News package lyx.ent ...
- java 开发webservice
这几天用java开发一个webservice,搞死了.java果然很难侍候! 传说java搞webservice,有好几种途径(为什么不是一种?要搞这么多种,让人一听,头都大了.当然啦,生物多样性总是 ...
- 2016/1/14 java生成指定范围的随机数
java生成指定范围的随机数 package edu.sjtu.erplab.io; import java.util.Random; public class RandomTest { public ...
- 抽象类(abstract class)和接口(interface)有什么异同?
相同点: 1.抽象类和接口都不能被实例化,但可以定义抽象类和接口类型的引用. 2.一个类如果继承了抽象类和接口,必须要对其中的抽象方法全部实现.(接口中方法默认的是public abstract修饰的 ...
- python 时区
Python中的时区处理 http://tech.glowing.com/cn/dealing-with-timezone-in-python/ Python时区设置方法与pytz查询时区教程_py ...
- 安卓图片载入之使用universalimageloader载入圆形圆角图片
前言 话说这universalimageloader载入图片对搞过2年安卓程序都是用烂了再熟悉只是了.就是安卓新手也是百度就会有一大堆东西出来,今天为什么这里还要讲使用universalimagelo ...
- LightTable的结构(一)
LightTable使用clojurescript来生成js,然后使用 node-webkit 来处理UI clojurescript非常适合做抽象程度很高的页面和编辑逻辑结构设计, 最近会对整体进行 ...