正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果
一直很纠结,Oracle的快速返回机制,虽然结果集很多,可是它能很快的显示第一个结果,虽然通过MYSQl的客户端可以做到,但是通过JDBC却不行。
今天用了1个多小时,终于搞定此问题,希望对广大Java朋友在处理数据库时有个参考。
来由:
通过命令行客户端加上-q参数,可以极快的响应一个查询。
比如结果集为几千万的select * from t1,完整结果集需要20秒,通过-q参数显示第一行只需要不到1秒。
但通过jdbc进行查询,却不可以实现如上的效果,无论怎么调整URL参数,也不行。
过程:
查看了-q参数的解释,如下:
If you have problems due to insufficient memory for large result sets,
use the --quick option. This forces mysql to retrieve results
from the server a row at a time rather than retrieving the entire result set
and buffering it in memory before displaying it. This is done by returning
the result set using the mysql_use_result() C API function in the client/server
library rather than mysql_store_result().
可见,实现快速响应。
查看 mysql_use_result() 函数,这个是C的API,如果通过C开发,可以用这个函数。
那么JAVA呢?
查找标准JDBC规范里面有关函数,没有任何收获。 setFetchSize()看上去有效,可在实际测试里,无任何性能提升。
搜索 JDBC mysql_use_result, 有了意外的收获。
在MYSQL的JDBC,com.mysql.jdbc.Statement 这个接口里发现了如下的内容:
abstract public void disableStreamingResults() throws SQLException
Resets this statements fetch size and result set type to the values they
had before enableStreamingResults() was called.
abstract public void enableStreamingResults() throws SQLException
Workaround for containers that 'check' for sane values of Statement.setFetchSize()
so that applications can use the Java variant of libmysql's mysql_use_result() behavior.
原来MySQL提供了自己的一个快速响应的实现。调整测试代码
stmt = (com.mysql.jdbc.Statement) con.createStatement();
stmt.setFetchSize(1);
//按行读取
// 打开流方式返回机制
stmt.enableStreamingResults();
我期待的效果出现了。第一行数据被快速的现实出来,时间不到1秒中。
结论:
MySQL在自己的JDBC驱动里提供了特有的功能,来实现查询的快速响应,
特别是结果集非常大或者时间较长,而用户非常想尽快看到第一条结果时特别有效。
from:http://blog.csdn.net/java2000_net/article/details/6869752
正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java heap space
昨天在项目中需要对日志的查询结果进行导出功能。
日志导出功能的实现是这样的,输入查询条件,然后对查询结果进行导出。由于日志数据量比较大。多的时候,有上亿条记录。
之前的解决方案都是多次查询,然后使用limit 限制每次查询的条数。然后导出。这样的结果是效率比较低效。
那么能不能一次查询就把所有结果倒出来了?于是我就使用一次查询,不使用limit分页。结果出现 java.lang.OutOfMemoryError: Java heap space问题。
看来是DB服务器端将一次将查询到的结果集全部发送到Java端保存在内存中。由于结果集比较大,所以出现OOM问题。
首先我想到的是游标功能。那么是不是可以使用游标,一次从服务器端慢慢的取呢?上网查询了一下,大家都说MySQL不支持游标功能等等。
后来就去看JDBC代码。找到了setFetchSize()方法,结果设置以后,却不能生效,还是出现OOM问题。
我的设置如下
- ps=conn.con.prepareStatement("select * from bigTable");
- ps.setFetchSize(1000);
后来老大在MySQL看到了这样的方法:
- ps = (PreparedStatement) con.prepareStatement("select * from bigTable",
- ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
- ps.setFetchSize(Integer.MIN_VALUE);
- ps.setFetchDirection(ResultSet.FETCH_REVERSE);
对此解释是:MySQL JDBC默认客户端数据接收方式为如下:
默认为从服务器一次取出所有数据放在客户端内存中,fetch size参数不起作用,当一条SQL返回数据量较大时可能会出现JVM OOM。
要一条SQL从服务器读取大量数据,不发生JVM OOM,可以采用以下方法之一:
1、当statement设置以下属性时,采用的是流数据接收方式,每次只从服务器接收部份数据,直到所有数据处理完毕,不会发生JVM OOM。
setResultSetType(ResultSet.TYPE_FORWARD_ONLY);
setFetchSize(Integer.MIN_VALUE);
2、调用statement的enableStreamingResults方法,实际上enableStreamingResults方法内部封装的就是第1种方式。
3、设置连接属性useCursorFetch=true (5.0版驱动开始支持),statement以TYPE_FORWARD_ONLY打开,再设置fetch size参数,表示采用服务器端游标,每次从服务器取fetch_size条数据。
设置以后,果然可以解决我的问题。
附上代码:
- package com.seven.dbTools.DBTools;
- import java.sql.Connection;
- import java.sql.DriverManager;
- import java.sql.PreparedStatement;
- import java.sql.ResultSet;
- import java.sql.SQLException;
- import java.sql.Statement;
- import java.util.ArrayList;
- public class JdbcHandleMySQLBigResultSet {
- public static long importData(String sql){
- String url = "jdbc:mysql://ipaddress:3306/test?user=username&password=password";
- try {
- Class.forName("com.mysql.jdbc.Driver");
- } catch (ClassNotFoundException e1) {
- e1.printStackTrace();
- }
- long allStart = System.currentTimeMillis();
- long count =0;
- Connection con = null;
- PreparedStatement ps = null;
- Statement st = null;
- ResultSet rs = null;
- try {
- con = DriverManager.getConnection(url);
- ps = (PreparedStatement) con.prepareStatement(sql,ResultSet.TYPE_FORWARD_ONLY,
- ResultSet.CONCUR_READ_ONLY);
- ps.setFetchSize(Integer.MIN_VALUE);
- ps.setFetchDirection(ResultSet.FETCH_REVERSE);
- rs = ps.executeQuery();
- while (rs.next()) {
- //此处处理业务逻辑
- count++;
- if(count%600000==0){
- System.out.println(" 写入到第 "+(count/600000)+" 个文件中!");
- long end = System.currentTimeMillis();
- }
- }
- System.out.println("取回数据量为 "+count+" 行!");
- } catch (SQLException e) {
- e.printStackTrace();
- } finally {
- try {
- if(rs!=null){
- rs.close();
- }
- } catch (SQLException e) {
- e.printStackTrace();
- }
- try {
- if(ps!=null){
- ps.close();
- }
- } catch (SQLException e) {
- e.printStackTrace();
- }
- try {
- if(con!=null){
- con.close();
- }
- } catch (SQLException e) {
- e.printStackTrace();
- }
- }
- return count;
- }
- public static void main(String[] args) throws InterruptedException {
- String sql = "select * from test.bigTable ";
- importData(sql);
- }
- }
最近对JDBC有了进一步的了解。关于JDBC,推荐我的另一篇文章,用于解决不写文件,从Java IO流中直接导入数据到MySQL:
Java不写文件,LOAD DATA LOCAL INFILE大批量导入数据到MySQL的实现http://blog.csdn.net/chenyechao/article/details/9237495
推荐另外两篇来自阿里巴巴叶正盛的文章我转载的:
正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果的更多相关文章
- 正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java heap space
昨天在项目中需要对日志的查询结果进行导出功能. 日志导出功能的实现是这样的,输入查询条件,然后对查询结果进行导出.由于日志数据量比较大.多的时候,有上亿条记录. 之前的解决方案都是多次查询,然后使用l ...
- 全网最简单明了的MySQL连接Eclipse方法(JDBC详细安装方式及简单操作)2020新版
Step 1 你得有Eclipse 没有出门右拐,我教不了你. Step 2 你得有Mysql MySQL的详细安装过程,我在另一篇博客中给出.戳我 Step 3 安装JDBC 可以去官网下,如果用的 ...
- 错误:“Cannot load JDBC driver class 'com.mysql.jdbc.Driver”的解决方法
“Cannot load JDBC driver class 'com.mysql.jdbc.Driver ” 表示没有JDBC连接MySql的驱动包,因此需要手动添加驱动包到WEB-INF目录下的l ...
- 1 开发一个注重性能的JDBC应用程序不是一件容易的事. 当你的代码运行很慢的时候JDBC驱动程序并不会抛出异常告诉你。 本系列的性能提示将为改善JDBC应用程序的性能介绍一些基本的指导原则,这其中的原则已经被许多现有的JDBC应用程序编译运行并验证过。 这些指导原则包括: 正确的使用数据库MetaData方法 只获取需要的数据 选用最佳性能的功能 管理连
1 开发一个注重性能的JDBC应用程序不是一件容易的事. 当你的代码运行很慢的时候JDBC驱动程序并不会抛出异常告诉你. 本系列的性能提示将为改善JDBC应用程序的性能介绍一些基本的指导原则,这其中的 ...
- 注册mySQL到JDBC驱动程序方法浅谈
一.注册方法(4种) 1)服务提供者框架: 符合JDBC 4.0规范的驱动程序包含了一个文件META-INF/services/java.sql.Driver,在这个文件中提供了JDBC驱动实现的类名 ...
- JDBC基础-setFetchSize方法
在Statement和ResultSet接口中都有setFetchSize方法 void setFetchSize(int rows) throws SQLException 查看API文档 Stat ...
- cloudera-scm-server启动出现Error creating bean with name 'entityManagerFactoryBean'与HHH010003: JDBC Driver class not found: com.mysql.jdbc.Driver错误解决办法(图文详解)
不多说,直接上干货! 问题详情 -- ::, INFO main:com.cloudera.server.cmf.Main: Starting SCM Server. JVM Args: [-Dlog ...
- MapReduce 程序mysql JDBC驱动类找不到原因及学习hadoop写入数据到Mysql数据库的方法
报错 :ClassNotFoundException: com.mysql.jdbc.Driver 需求描述: hadoop需要动态加载个三方jar包(比如mysql JDBC 驱动包),是在MR结束 ...
- hibernate:MySQL No Dialect mapping for JDBC type: -1
出处:(hibernate中使用原生的sql语句,报如下错误:) MySQL No Dialect mapping for JDBC type: -1 代码: List list = session. ...
随机推荐
- UIFont 字体样式 [UIFont fontWithName~];
设置字体样式代码:[UIFont fontWithName:@"Arial-BoldMT" size:15] 下边一一列举: 一:Font Family: American Typ ...
- iOS 编程之使用Precompile Prefix Header
一:为什么Xcode6没有自动创建Precompile Prefix Header 我们在写项目的时候,大部分宏定义,头文件导入都在Precompile Prefix Header文件里面.在Xcod ...
- Java中gcRoot和引用类型
看到一个老问题,Java是如何判定回收哪些对象的? 答:从gcRoot根搜索不可达,且标记清理一次之后仍没有被复活的对象,会被认定为垃圾对象进行清理.注意在Java中没有对象的作用域,只有对象的引用的 ...
- UVaLive 6581 && Gym 100299B What does the fox say? (模拟+STL)
题意:给定一些动物的叫声,然后再定某些动物的叫声,让你去除这些叫声后得到的叫声. 析:先存储所有的叫声,然后用map来记录其他的叫声,在输出时再判定一下就好. 代码如下: #pragma commen ...
- 664A - Complicated GCD
题意真是七零八落,乱七八糟.盲目瞎写,水过就好? #include <cstdio> #include <cstring> #include <algorithm> ...
- 骨骼蒙皮动画(SkinnedMesh)的原理解析(一)
http://blog.csdn.net/jimoshuicao/article/details/9253999 一)3D模型动画基本原理和分类 3D模型动画的基本原理是让模型中各顶点的位置随时间变化 ...
- bzoj 3277: 串 & bzoj 3473: 字符串【后缀自动机||后缀数组】
建一个广义后缀自动机(每加完一个串都返回root),在parent树上dpsum记录合法长度,打着时间戳往上跳,最后每个串在自动机上跑一变统计答案即可. 后缀数组理解起来可能方便一点,但是难写,就只说 ...
- 图论之最短路算法之SPFA算法
SPFA(Shortest Path Faster Algorithm)算法,是一种求最短路的算法. SPFA的思路及写法和BFS有相同的地方,我就举一道例题(洛谷--P3371 [模板]单源最短路径 ...
- Luogu P1463 [POI2002][HAOI2007]反素数【数论/dfs】By cellur925
题目传送门 题目描述 对于任何正整数x,其约数的个数记作g(x).例如g(1)=1.g(6)=4. 如果某个正整数x满足:g(x)>g(i) 0<i<x,则称x为反质数.例如,整数1 ...
- 关于${pageContext.request.contextPath}的理解(转载)
${pageContext.request.contextPath}是JSP取得绝对路径的方法,等价于<%=request.getContextPath()%> . 也就是取出部署的应用程 ...