1. Java代码实现思路

BufferedWriter writefile = new BufferedWriter(new FileWriter(file));
  writefile.write("set feedback  off \n");
  writefile.write("set trimspool on  \n");
  writefile.write("set heading   off \n");
  writefile.write("set trimout   on  \n");
  writefile.write("set verify    off \n");
  writefile.write("set pagesize 0 \n");
  writefile.write("set linesize 20000 \n");
  writefile.write("define fil= '"+local_path+DataFileName+"' \n");
  writefile.write("prompt *** Spooling to &fil \n");
  writefile.write("spool &fil \n");
  writefile.write(sql+"; \n");
  writefile.write("spool off; \n");
  writefile.write("exit \n");
  writefile.close();
  Process process = Runtime.getRuntime().exec("sqlplus " + username + "/" + userpass + " @"+local_path+SqlFileName);

sql=select * from tableA

2. Shell脚本实现

#!/usr/bin/sh

sqlplus -s jf_isu/12345678 << EOF

set pagesize 0

set space 0

set termout off

set arraysize 5000--提高效率

set linesize 2000

set feedback off

set trimout on

settrimspool on

set tab off

--select * from nls_session_parameters where parameter='NLS_DATE_FORMAT';

--查询当前session的日期格式,有时sqlplus的日期和PL/SQL里面查询的日期格式不一样,导出来没有时分秒。

alter session set nls_date_format='yyyy/mm/dd hh24:mi:ss';

spool /home/bea/app/ftpdata/test.txt

--spool.sql格式select t.id||','||t.name||','||t.age from users t;

@spool.sql --这样不会刷屏,效率提高。

spool off

exit

EOF --需要左顶格写。

方法二

sqlplus -s jf_isu/12345678>>spool.txt << EOF

set pagesize 0

set space 0

set termout off

set arraysize 5000

set linesize 2000

set feedback off

set trimout on

settrimspool on

set tab off

select t.id||','||t.name||','||t.age from users t;

EOF

在使用sqlldr导入时,表中的日期字段会报reject不能导入,日期格式不符合。此时可以在control file里面对日期字段进行格式化。

LOAD DATA

BADFILE "BadFile.txt"

DISCARDFILE "DisFile.txt"

APPEND INTO TABLE "TEST"

FIELDS TERMINATED BY ","

TRAILING NULLCOLS

(NAME,

TIME date "yyyy/mm/dd hh24:mi:ss",

--TIME timestamp "yyyy/mm/dd hh24:mi:ss",

age

)

3. 注意事项

1)         Oralce数据库表栏位类型为INTEGER时,在导出时需要注意将此栏位类型做一下转换,否则一旦栏位值超过一定长度,则导出的数据文件中,该栏位值将以科学计数法表示。以致数据文件中的值和再导入表中的值与实际值不符。

如:

000000              |+|000001              |+|000000|+|31-AUG-11   |+| 198247693|+|-1.636E+09|+| 853889716|+|         0|+|        24096|+|         0|+|        0|+|          0|+|   2523765

2)         如上所示导出的数据文件中,各列中存在空格,故建议采用【Shell脚本实现】中的方式实现导出,而不是使用select * from tableName的方式。针对有空格栏位的导入,参见报文《Oracle sqlldr范例一:去空格及日期导入》

------------------------------------------------------------------------------------------------------------------

对于数据量比较大的项目首选的数据库一般是Oracle,正是因为数据量比较大,所以有的时候需要转移数据的时候就更加的复杂。这篇文章我根据自己的经验,从把Oracle的数据导出到txt文件,在导入到数据全面介绍怎样快速的导入导出数据。

首先说这里我们的数据库的用户名和密码都是oracle,这个用户下存在一张用户的表(user),对应的有两个字段,分别是uname和uid。
对于导出数据,使用的是spool方法,下面是脚本,名字是spool.sh

#!/bin/shif [ $# -ne 2 ]; thenecho "usage:$0  sqlfile outfile";exit 1; fisqlfile=$1;outfile=$2;sqlplus  oracle/oracle << EOF   spool  $outfile   set pages 9999   set heading off   set echo off   set feedback off   @$sqlfile   spool off   exit!

如果我们要导出user表中的数据,我们需要建立一个导出的文件,如user.sql,这里我是用的是"^"作为分隔符,这个可以根据自己的喜好进行选择,一般这样分隔符不会出现在字段的内容那个里就行。

set termout offset echo offset feedback offset linesize 5000 set colsep "^"set heading offset verify offset pagesize 0set trimout onset trimspool onselect uname||'^'||uid from user;

下一步就是执行命令,首先需要spool.sh这文件要具有当前用户的执行的权限,对于Linux来说,赋予文件的执行权限一般是使用chmod,一般我会使用

chmod 777 spool.sh

这样这个用户就具有了执行这个文件的权限,我这种方式属于简单粗暴的方式,我们也可以更详细的给这个文件赋予不同的权限。然后执行如下的命令就可以导出数据了,因为是比较简单的命令所以我就不多说

nohup ./spool.sh user.sql /home/user.txt >> user.log &

执行问以后你可以"ps -ef|grep sql"确定当前的命令确实在执行中,当导出完成后事自动的退出。

下面说一说怎样导入数据,先要准备两个文件分别是user.lst.crl和user.lst.shell,对应的内容如下

user.lst.crl:说明一下,如果我们是想要完全的覆盖表中的数据的时候,可以把"append"换成"replace",是否使用"trim"也是根据情况定的

load data infile '/home/user.txt'append into table userfields terminated by '^'(uname  "trim(:<span style="font-family: Arial, Helvetica, sans-serif;">uname</span><span style="font-family: Arial, Helvetica, sans-serif;">)",</span>
uid)

user.lst.shell:这个的“sed '1,5d'”是删除文件的1到5行,"error"是在我们碰到多少条异常的情况后会停止执行导入数据的操作

sed '1,5d' /home/user.txt sqlldr oracle/oracle control=/home/user.lst.crl errors=10000 log=/home/user.lst.log

同样的user.lst.shell需要在当前的用户下,该用户具有可执行的权限,然后执行

nohup ./user.lst.shell &

就行了,同样的道理,你可以"ps"一下确定当前的任务是否在正常的执行,或者看一下日志也行。

--------------------------------------------------------------------------------------------------------------------------------------

set pagesize 0

set space 0

set term off

set linesize 2000

set feedback off

set trimout on

set trimspool on

set tab off

set colsep ',' --分割符

关于SPOOL(SPOOL是SQLPLUS的命令,不是SQL语法里面的东西。)

对于SPOOL数据的SQL,最好要自己定义格式,以方便程序直接导入,SQL语句如: 
select taskindex||'|'||commonindex||'|'||tasktype||'|'||to_number(to_char(sysdate,'YYYYMMDD')) from ssrv_sendsms_task;

spool常用的设置 
set colsep' ';    //域输出分隔符 
set echo off;    //显示start启动的脚本中的每个sql命令,缺省为on 
set feedback off;  //回显本次sql命令处理的记录条数,缺省为on 
set heading off;   //输出域标题,缺省为on 
set pagesize 0;   //输出每页行数,缺省为24,为了避免分页,可设定为0。 
set termout off;   //显示脚本中的命令的执行结果,缺省为on 
set trimout on;   //去除标准输出每行的拖尾空格,缺省为off 
set trimspool on;  //去除重定向(spool)输出每行的拖尾空格,缺省为off

导出文本数据的建议格式: 
SQL*PLUS环境设置SET NEWPAGE NONE 
                SET HEADING OFF 
                SET SPACE 0 
                SET PAGESIZE 0 
                SET TRIMOUT ON 
                SET TRIMSPOOL ON 
                SET LINESIZE 2500

注:LINESIZE要稍微设置大些,免得数据被截断,它应和相应的TRIMSPOOL结合使用防止导出的文本有太多的尾部空格。但是如果LINESIZE设置太大,会大大降低导出的速度,另外在WINDOWS下导出最好不要用PLSQL导出,速度比较慢,直接用COMMEND下的SQLPLUS命令最小化窗口执行。

对于字段内包含很多回车换行符的应该给与过滤,形成比较规矩的文本文件。通常情况下,我们使用SPOOL方法,将数据库中的表导出为文本文件的时候会采用两种方法,如下述:

方法一:采用以下格式脚本  
        set colsep '|'               --设置|为列分隔符 
  set trimspool on 
  set linesize 120 
  set pagesize 2000          
  set newpage 1 
  set heading off            
  set term off 
        set num 18                  
        set feedback off            
  spool 路径+文件名 
  select * from tablename; 
  spool off

方法二:采用以下脚本 
        set trimspool on 
  set linesize 120 
  set pagesize 2000 
  set newpage 1 
  set heading off 
  set term off 
  spool 路径+文件名 
  select col1||','||col2||','||col3||','||col4||'..' from tablename; 
  spool off

比较以上方法,即方法一采用设定分隔符然后由sqlplus自己使用设定的分隔符对字段进行分割,方法二将分隔符拼接在SELECT语句中,即手工控制输出格式。

在实践中,发现通过方法一导出来的数据具有很大的不确定性,这种方法导出来的数据再由sqlldr导入的时候出错的可能性在95%以上,尤其对大批量的数据表,如100万条记录的表更是如此,而且导出的数据文件狂大。 

而方法二导出的数据文件格式很规整,数据文件的大小可能是方法一的1/4左右。经这种方法导出来的数据文件再由sqlldr导入时,出错的可能性很小,基本都可以导入成功。 

因此,实践中我建议大家使用方法二手工去控制spool文件的格式,这样可以减小出错的可能性,避免走很多弯路。 

自测例:将ssrv_sendsms_task表中的数据导出到文本(数据库Oracle 9i  操作系统 SUSE LINUX Enterprise Server 9)

spool_test.sh脚本如下: 
#!/bin/sh 
DB_USER=zxdbm_ismp                               #DB USER 
DB_PWD=zxin_smap                                 #DB PASSWORD 
DB_SERV=zx10_40_43_133                           #DB SERVICE NAME

sqlplus -s $DB_USER/$DB_PWD@$DB_SERV<<EOF # -s 参数屏蔽打印到屏幕上的其他信息,只显示sql执行后从DB中查询出来的信息,过滤掉spool函数执行时在文件中写入的其他信息。 
set trimspool on 
set linesize 120 
set pagesize 2000 
set newpage 1 
set heading off 
set term off 
spool promt.txt 
select taskindex||'|'||commonindex||'|'||tasktype||'|'||to_number(to_char(sysdate,'YYYYMMDD')) from ssrv_sendsms_task; 
spool off 
EOF

执行./spool_test.sh后生成sp_test.txt,内容如下: 
83|115|1|20080307 
85|115|11|20080307 
86|115|10|20080307 
84|115|2|20080307 
6|5|14|20080307 
7|5|12|20080307 
9|5|15|20080307

注:上面自测例中,spool promt.txt中的目标生成文件promt.txt,在HP-UNX环境下的shell脚本中调用Oracle的spool函数,如果将上述逻辑代码封装为一个function,然后来调用这个function的话,则在shell脚本中最终是不会生成promt.txt文件的。只能直接执行逻辑代码,封装后则spool函数失效。 
          对于promt.txt在相对路径下,下面2中方法在shell环境中执行时,两者只能择一,两者并存则spool函数会失效。假设promt.txt文件生成的路径为:/home/zxin10/zhuo/batchoperate/spoolfile 
方式[1] 
echo "start spool in shell.."

sqlplus -s zxdbm_ismp/zxin_smap<<EOF 
set pagesize 0 
set echo off feed off term off heading off trims off 
set colsep '|' 
set trimspool on 
set linesize 10000 
set trimspool on 
set linesize 120 
set newpage 1 
spool /home/zxin10/zhuo/batchoperate/spoolfile/promt.txt 
select batchindex||'|'||productid||'|'||contentid||'|'||optype||'|'||uploadfile from zxdbm_700.s700_batch_operation where status=1; 
spool off 
EOF 
echo "end.." 
方式[2] 
echo "start spool in shell.." 
cd /home/zxin10/zhuo/batchoperate/spoolfile 
sqlplus -s zxdbm_ismp/zxin_smap<<EOF 
set pagesize 0 
set echo off feed off term off heading off trims off 
set colsep '|' 
set trimspool on 
set linesize 10000 
set trimspool on 
set linesize 120 
set newpage 1 
spool promt.txt 
select batchindex||'|'||productid||'|'||contentid||'|'||optype||'|'||uploadfile from zxdbm_700.s700_batch_operation where status=1; 
spool off 
EOF 
echo "end.."

批量快速的导入导出Oracle的数据(spool缓冲池、java实现)的更多相关文章

  1. 快速导入导出Oracle数据demo(sqlldr、UTL_FILE)

    本文演示快速sqlldr导入.UTL_FILE导出Oracle表数据实例 表结构如下,演示数据约112万,可自行准备. create table MemberPointDemo ( MEMBERID ...

  2. PL/SQLDeveloper导入导出Oracle数据库方法

    前一篇博客介绍了Navicat工具备份Oracle的方法,这篇博客介绍一下使用PL/SQL Developer工具导入导出Oracle数据库的方法. PL/SQL Developer是Oracle数据 ...

  3. NodeJs之EXCEL文件导入导出MongoDB数据库数据

    NodeJs之EXCEL文件导入导出MongoDB数据库数据 一,介绍与需求 1.1,介绍 (1),node-xlsx : 基于Node.js解析excel文件数据及生成excel文件. (2),ex ...

  4. 关于64位 MS SQL 导入导出 Oracle 引发 ORA-06413 的解决方法

    如果在X64系统下我们想利用 MS SQL 的DTS导入导出 Oracle 数据,由 oracle 不支持路径中包含")",会引发 ORA-06413:连接未打开错误 解决的办法很 ...

  5. PL/SQL Developer导入导出Oracle数据库方法

    前一篇博客介绍了Navicat工具备份Oracle的方法.这篇博客介绍一下使用PL/SQL Developer工具导入导出Oracle数据库的方法. PL/SQL Developer是Oracle数据 ...

  6. 通过命令窗口导入导出oracle数据库到dmp文件

    通过命令窗口导入导出oracle数据库到dmp文件 很多时候我们需要备份Oracle的数据库,然后将数据导入其他数据库,因为有大文本字段会导致insert无法完全导出,只能导出为dmp文件,前提是wi ...

  7. mysql 导入导出数据库、数据表的方法

    mysql 导入导出数据库.数据表的方法. Linux操作系统中,均在控制台下操作.1,导入数据库:前提:数据库和数据表要存在(已经被创建)(1)将数据表 test_user.sql 导入到test ...

  8. Oracle中的Spool缓冲池技术可以实现Oracle导出txt格式文件

    利用Oracle中的Spool缓冲池技术可以实现Oracle数据导出到文本文件 1.在Oracle PL/SQL中输入缓冲开始命令,并指定输出的文件名: spool d:output.txt; 2.设 ...

  9. [转]PL/SQLDeveloper导入导出Oracle数据库方法

    原文地址:http://www.2cto.com/database/201405/305452.html 1.Oracle数据库导出步骤 1.1 Tools→Export User Objects.. ...

随机推荐

  1. 批处理学习笔记6 - 重定向符>和>>

    重定向符大概有6,7种,和%符号差不多各有各的用途.这里学习>和>> >  是左边的值把右边的值覆盖 >> 是左边的值添加在右边的值上面 rem 是批处理的注释,类 ...

  2. 使用PM2管理Node.js集群

    介绍 众所周知,Node.js运行在Chrome的JavaScript运行时平台上,我们把该平台优雅地称之为V8引擎.不论是V8引擎,还是之后的Node.js,都是以单线程的方式运行的,因此,在多核心 ...

  3. C++ HOJ 猴子分桃

    [题目描写叙述] 老猴子辛苦了一辈子,给那群小猴子们留下了一笔巨大的財富--一大堆桃子.老猴子决定把这些桃子分给小猴子. 第一个猴子来了,它把桃子分成五堆,五堆一样多,但还多出一个.它把剩下的一个留给 ...

  4. 使用base64:url 来定义背景图片url

    普通的背景图片css是这样的: background-image:url(http://www.zhangxinxu.com/wordpress/wp-content/themes/default/i ...

  5. linux学习(34):except的安装

    expect据说是交互性很强的脚本语言,但是expect依赖于tcl,但linux系统里一般不自带安装tcl,需要手动安装 expect版本 5.43 http://download.chinauni ...

  6. centos7 編譯 chmsee

    安装libchm及相关的devel包,安装 xulrunner 及 devel 包!否则后面make的时候会出错! 到解压出来的chmsee/src目录下,找到与你系统对应的Makefile文件,我选 ...

  7. 李洪强iOS之集成极光推送三iOS集成指南

    李洪强iOS之集成极光推送三iOS集成指南 SDK说明 适用版本 本文匹配的 SDK版本:r2.1.5 以后.查看最近更新了解最新的SDK更新情况.使用Xcode 6及以上版本可以使用新版Push S ...

  8. Python 进行 SSH 操作,实现本地与服务器的链接,进行文件的上传和下载

    Python 进行 SSH 操作,实现本地与服务器的链接,进行文件的上传和下载 2018年5月26日 19:03 阅读 375 评论 7 我本地和服务器的连接一直使用的是 Xshell 5,而在与服务 ...

  9. Excel最多可存多少行,多少列?

    查到的资料如下: Excel 07-2003一个工作表最多可有65536行,行用数字1—65536表示;最多可有256列,列用英文字母A—Z,AA—AZ,BA—BZ,……,IA—IV表示:一个工作簿中 ...

  10. 百度分享vue版-vshare

    vshare 基于百度分享开发的支持VUE2.X的分享插件,为您带来更多的流量!提供多种风格按钮,代码加载更快,引入社会化流量,提升网页抓取速度等优点.github地址:https://github. ...