最近使用jdbc方式查询数据,保存为csv文件中。当然你可以在pl/sql中直接查出来,copy to excel就好了。但我想通过程序实现

 @Test
public void test() throws IOException {
BufferedReader reader=new BufferedReader(new InputStreamReader(new FileInputStream("C:\\Users\\yhzh\\Desktop\\zh_20160913")));
String tmp=null;
List<String> nos=new ArrayList<String>();
while((tmp=reader.readLine()) !=null)
nos.add(tmp); Connection con = null;// 创建一个数据库连接
PreparedStatement pre = null;// 创建预编译语句对象,一般都是用这个而不用Statement
PreparedStatement pre2 = null;
ResultSet result = null;// 创建一个结果集对象
BufferedWriter csvWriter=null;
try
{
String tag=(new SimpleDateFormat("hhmmss")).format(new Date());
csvWriter = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(new File("C:\\Users\\yhzh\\Desktop\\贷后还款计划_"+tag+".csv")), "utf-8")); Class.forName("oracle.jdbc.driver.OracleDriver");
//:6006/hotfix
String url = "jdbc:oracle:thin:@//*.*.*.*:16030/zcgl",user = "*",password = "*";
con = DriverManager.getConnection(url, user, password);// 获取连接
String sql="select max(lr_id) from t_loan_request where LR_REQUESTSTATUS ='2' and lr_applyid=?";
/*String sql = "select req.LR_APPLYID,CURR_PERIODS,REPAY_DAY,\n" +
"(NEEDREPAY_PRINCIPAL+NEEDREPAY_INTEREST+NEEDREPAY_ADMIFEE+nvl(RISK_AMOUNT,0)+nvl(SERVICEFEE,0)+nvl(PARKINGFEE,0))NEEDREPAY_TOTAL,\n" +
"PERIOD_REPAY_AMOUNT \n" +
"from(\n" +
" select lr_id,LR_APPLYID from t_loan_request t \n" +
" where t.LR_REQUESTSTATUS ='2' and t.creater='PostLoanOuterAction'\n" +
" order by lr_id desc)req\n" +
"left join t_repay_plan rp\n" +
"on req.lr_id=rp.lr_id\n" +
"order by req.lr_id,CURR_PERIODS ";// 预编译语句,“?”代表参数*/
pre = con.prepareStatement(sql);
pre2=con.prepareStatement("select CURR_PERIODS,REPAY_DAY,\n" +
"(NEEDREPAY_PRINCIPAL+NEEDREPAY_INTEREST+NEEDREPAY_ADMIFEE+nvl(RISK_AMOUNT,0)+nvl(SERVICEFEE,0)+nvl(PARKINGFEE,0))NEEDREPAY_TOTAL,\n" +
"PERIOD_REPAY_AMOUNT \n" +
"from t_repay_plan\n" +
"where lr_id=? " +
"order by CURR_PERIODS");
for(String no:nos){
pre.setString(1,no);
result = pre.executeQuery();
if(result.next()) {
long lrId=result.getLong(1);
pre2.setLong(1,lrId);
result = pre2.executeQuery();
while (result.next()) {
csvWriter.write(no);
csvWriter.write(",");
csvWriter.write(result.getString(1));
csvWriter.write(",");
csvWriter.write(result.getString(2));
csvWriter.write(",");
csvWriter.write(result.getString(3));
csvWriter.write(",");
csvWriter.write(result.getString(4));
csvWriter.newLine();
}
}
} csvWriter.flush();
}
catch (Exception e)
{
e.printStackTrace();
}
finally
{
try
{
if(csvWriter !=null)
csvWriter.close();
if (result != null)
result.close();
if (pre != null)
pre.close();
if (con != null)
con.close();
System.out.println("数据库连接已关闭!");
}
catch (Exception e)
{
e.printStackTrace();
}
}
}

先读取所有编号形成List,后遍历这个List,先查出id再查详细数据。这样的数据csv文件中大约8万多条

一条条的来肯定慢,如果不按照编号,直接一次查出,数据是9万多条。速度都很慢!!!

后来想提高下,至少要有个明显的提升呀。写文件这块基本排除了,剩下的疑问就是ResultSet是否拿到了所有结果呢?

根据网上查到的资料和实际调试,得出答案:ResultSet默认一次取10条数据,怪不得要慢,如果一次全部读入内存再写入文件就一定很快了。

怎样一次读取所有数据呢?

sql改为读取全部

 String sql="select req.LR_APPLYID,CURR_PERIODS,REPAY_DAY,\n" +
"(NEEDREPAY_PRINCIPAL+NEEDREPAY_INTEREST+NEEDREPAY_ADMIFEE+nvl(RISK_AMOUNT,0)+nvl(SERVICEFEE,0)+nvl(PARKINGFEE,0))NEEDREPAY_TOTAL,\n" +
"PERIOD_REPAY_AMOUNT \n" +
"from(\n" +
" select lr_id,LR_APPLYID from t_loan_request t \n" +
" where t.LR_REQUESTSTATUS ='2' and t.creater='PostLoanOuterAction'\n" +
" order by lr_id desc)req\n" +
"left join t_repay_plan rp\n" +
"on req.lr_id=rp.lr_id\n" +
"order by req.lr_id,CURR_PERIODS";

设置PreparedStatement:

 pre = con.prepareStatement(sql);
pre.setFetchSize(100000);
result = pre.executeQuery();
//result.setFetchSize(100000);

主要是PreparedStatement的 setFetchSize 方法,

后来发现ResultSet也有个setFetchSize 方法,也是可行的,只是这个时候resultset中已经有了10条记录直到循环10次后,再次使用result.next()才去取100000,fetchSize才起作用

这样设置后速度飞快!!!

jdbc--取大量数据的更多相关文章

  1. Java语言实现通过Ajax抓取后台数据及图片

    1.Java语言实现通过Ajax抓取后台数据及图片信息 1.1数据库设计: create table picture( pic_id number not null, pic_name )not nu ...

  2. Hive 如何快速拉取大批量数据

    用hive来做数仓类操作,或者大数据的运算,是没有疑问的,至少在你没有更多选择之前. 当我们要hive来做类似于大批量数据的select时,也许问题就会发生了变化. 1. 通用解决方案之分页 首先,我 ...

  3. Java 爬取 51job 数据 WebMagic实现

    Java 爬取 51job 数据 一.项目Maven环境配置 相关依赖 jar 包配置 <parent> <groupId>org.springframework.boot&l ...

  4. 使用logstash拉取MySQL数据存储到es中的再次操作

    使用情况说明: 已经使用logstash拉取MySQL数据存储到es中,es中也创建了相应的索引,也存储了数据.假若把这个索引给删除了,再次进行同步操作的话要咋做,从最开始的数据进行同步,而不是新增的 ...

  5. sql 分组取最新的数据sqlserver巧用row_number和partition by分组取top数据

    SQL Server 2005后之后,引入了row_number()函数,row_number()函数的分组排序功能使这种操作变得非常简单 分组取TOP数据是T-SQL中的常用查询, 如学生信息管理系 ...

  6. Charles 如何抓取https数据包

    Charles可以正常抓取http数据包,但是如果没有经过进一步设置的话,无法正常抓取https的数据包,通常会出现乱码.举个例子,如果没有做更多设置,Charles抓取https://www.bai ...

  7. row_number和partition by分组取top数据

    分组取TOP数据是T-SQL中的常用查询, 如学生信息管理系统中取出每个学科前3名的学生.这种查询在SQL Server 2005之前,写起来很繁琐,需要用到临时表关联查询才能取到.SQL Serve ...

  8. 手把手教你用python打造网易公开课视频下载软件3-对抓取的数据进行处理

    上篇讲到抓取的数据保存到rawhtml变量中,然后通过编码最终保存到html变量当中,那么html变量还会有什么问题吗?当然会有了,例如可能html变量中的保存的抓取的页面源代码可能有些标签没有关闭标 ...

  9. iOS开发——网络实用技术OC篇&网络爬虫-使用青花瓷抓取网络数据

    网络爬虫-使用青花瓷抓取网络数据 由于最近在研究网络爬虫相关技术,刚好看到一篇的的搬了过来! 望谅解..... 写本文的契机主要是前段时间有次用青花瓷抓包有一步忘了,在网上查了半天也没找到写的完整的教 ...

  10. iOS开发——网络使用技术OC篇&网络爬虫-使用正则表达式抓取网络数据

    网络爬虫-使用正则表达式抓取网络数据 关于网络数据抓取不仅仅在iOS开发中有,其他开发中也有,也叫网络爬虫,大致分为两种方式实现 1:正则表达 2:利用其他语言的工具包:java/Python 先来看 ...

随机推荐

  1. atitit 各分公司ceo cao行政经理职责.docx

    1.1. 人员招募--分公司高层人员招募(每月招募四五人吧,每周一人平均) 1 1.2. 组织架构优化 1 1.3. 制度建设  健全并完善分公司内部管理机构设置,优化分公司业务管理流程: 1 1.4 ...

  2. [转]Emmet使用详解

    Emmet的前身是大名鼎鼎的Zen coding,如果你从事Web前端开发的话,对该插件一定不会陌生.它使用仿CSS选择器的语法来生成代码,大大提高了HTML/CSS代码编写的速度,而且作为一款插件能 ...

  3. .NET EntityFrameworkCore.DbUpdateException 错误

    Microsoft.EntityFrameworkCore.DbUpdateException: An error occurred while updating the entries. See t ...

  4. 交换上的FLAPPING事件 (zhuan)

    今天在学校的一个三层交换上看到持续的日志信息: Host 00:E0:FC:09:BC:F9is flapping between fa0/x and fa0/y. 思科对此官方的解释是: Error ...

  5. Golang查缺补漏(一)

    Go语言高级编程(Advanced Go Programming) Go语言高级编程(Advanced Go Programming) golang都是传值,与其他语言不同的是数组作为参数时,也是传值 ...

  6. Oracle 10G 安装文档

    Oracle 10G安装指导 1. 解压文件10201_database_win32.zip,并双击解压目录下的setup.exe,出现安装界面,如下: 2. 输入口令和确认口令,如:password ...

  7. javascript:变量的作用域

    window.onload = function (){ // 1) 在if或else代码块中声明的变量,在代码块的外面也可以取到 if(1==1){ var b = 12; }else{ var b ...

  8. ES6 扩展运算符 三点(...)

    含义 扩展运算符( spread )是三个点(...).它好比 rest 参数的逆运算,将一个数组转为用逗号分隔的参数序列. console.log(...[, , ]) // 1 2 3 conso ...

  9. @media 媒体查询

    @media screen and (max-width: 300px) { //当视口宽度小于等于300px时生效 } max-width  相当于  <=  @media screen an ...

  10. maven学习之pom.xml或settings.xml对nexus的配置(转)

    (1)在POM中配置Nexus仓库 <project>         ...         <repositories>            <repository ...