将需要信息 导出成 csv,txt等格式 create or replace procedure sql_to_csv(p_query in varchar2, --sql query statementp_dir in varchar2, --the directory of filep_filename in varchar2, --the export filenamep_max_linesize in number default 32000 --max linesize,must le…

软件下载 Oracle Big Data Connectors:ODCH 下载地址: http://www.oracle.com/technetwork/bdc/big-data-connectors/downloads/index.html Jave SE 下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk6u38-downloads-1877406.html Oracle11g下载地址: Oracle Enter…

需求:把oracle数据库中符合条件的N多表,导出成csv文本文件,并以表名.csv为文件名存放. 实现:通过存储过程中UTL_FILE函数来实现.导出的csv文件放入提前创建好的directory中. 使用方法:使用以下命令数据预执行的SQL脚本 SELECT 'EXEC sql_to_csv(''select * from ' ||T.TABLE_NAME || ''',''OUT_PUT_CSV''' || ',''ODS_MDS.' || T.TABLE_NAME || '.csv'')…

#!/usr/bin/env python # encoding: utf-8 import pandas as pd import psycopg2 conn_dv = psycopg2.connect(database="", user="", password="") def read_csv(filename): usr_list = pd.read_csv(filename) res = [] for i in usr_list.val…

有时客户需要流水数据,当导出为excel的时候,客户编号等很长数字的栏位,被excel变成科学记数法,无法正常查看. 因此,需要将Oracle/MySQL中的decimal/int 转 varchar,这样在excel中就可以放心查看了. Oracle的转换方法: 1.新建表,并插入数据 drop table test purge;create table test(id number);insert into test values(13913613345);select * from tes…

-- 建立存储过程 CREATE OR REPLACE PROCEDURE SQL_TO_CSV ( P_QUERY IN VARCHAR2, -- PLSQL文 P_DIR IN VARCHAR2, -- 导出的文件放置目录 P_FILENAME IN VARCHAR2 -- CSV名 ) IS L_OUTPUT UTL_FILE.FILE_TYPE; L_THECURSOR INTEGER DEFAULT DBMS_SQL.OPEN_CURSOR; L_COLUMNVALUE ); L_ST…

上周遇到了将数据从oracle导入到impala的问题,这个项目耽误了我近一周的时间,虽然是种种原因导致的,但是还是做个总结. 需求首先是跑数据,跑数据这个就不叙述,用的是公司的平台. 讲讲耽误我最久的事吧 数据的导入导出. 将数据从oracle导出 PLSQL直接导出 我这边连接公司的orcle数据库是PLSQL,本身PLSQL就是可以可以导出数据的,而且很简单. PLSQL在select后就能导出表的数据,能到处成csv.sql.xml等等. 但是这方法最后还是被舍弃了,有几个原因: 1.这…

需求:把oracle数据库中符合条件的n多表,导出成csv文本文件,并以表名.csv为文件名存放. 实现:通过存储过程中utl_file函数来实现.导出的csv文件放入提前创建好的directory中.使用方法:使用以下命令数据预执行的sql脚本 select 'exec sql_to_csv(''select * from ' ||t.table_name || ''',''out_put_csv''' || ',''' || t.table_name ||'.csv'');' from us…

配置导出的表:(configure.sh) #!/bin/bash function get_config() { tables=( BLOG WF_PROCESS WF_TASK WF_TASK_ACTOR ) echo ${tables[@]} } 主程序代码:(start.sh) #!/bin/bash source ./configure.sh tables=$(get_config) tmp_script=tmp/export.sh for table in ${tables[@]}…