Oracle的外部表
一.外部表特性
数据文件位于操作系统之外,并且具有一定的格式分割的文本文件或其他类型文件.ORACLE的外部表通过SQL的形式访问数据文件中的数据,数据并不需要加载到数据库中且数据是可读的,所以不用DML操作,创建索引
二.创建外部表的步骤
A.创建目录对象,这一点限制数据必须的SERVER端
B.数据文件的准备,数据文件要求为操作系统之外且固定格式,不能有标题
C.创建外部表的字段如有特殊字段需用双引号 ”SYS_ID#”
D.删除外部表及目录,应先删除表后再删除目录
三.创建外部表实列
创建目录:
CREATE OR REPLACE DIRECTORY SQLDR AS 'D:\ORACLE\ORADATA\DATA';
创建外部表:(通过SQLLDR方式的日志产生)
-- CREATE TABLE
CREATE TABLE SYS_SQLLDR_X_EXT_MUREX_GL_TEMP
(
AREANO VARCHAR2(20),
CURRENCY VARCHAR2(20),
APCODE VARCHAR2(20),
ORGCDE VARCHAR2(20),
DAMOUNT VARCHAR2(200),
CAMOUNT VARCHAR2(200),
REMAKR VARCHAR2(200)
)
ORGANIZATION EXTERNAL
(
TYPE ORACLE_LOADER
DEFAULT DIRECTORY SQLDR
ACCESS PARAMETERS
(
RECORDS DELIMITED BY 0X'0A'
BADFILE 'SQLDR':'MUREX_GLRCN_INIT_BADFILE.DAT'
DISCARDFILE 'SQLDR':'MUREX_GLRCN_INIT_DISFILE.DAT'
LOGFILE 'MUREX_GL_TEMP.LOG_XT'
READSIZE 1048576
FIELDS TERMINATED BY "|" OPTIONALLY ENCLOSED BY ' ' LDRTRIM
REJECT ROWS WITH ALL NULL FIELDS
(
"AREANO" CHAR(255),
"CURRENCY" CHAR(255),
"APCODE" CHAR(255),
"ORGCDE" CHAR(255),
"DAMOUNT" CHAR(255),
"CAMOUNT" CHAR(255),
"REMAKR" CHAR(255),
)
)
LOCATION (SQLDR:'MUREX_GLRCN_INIT_20190831.DAT')
)
REJECT LIMIT UNLIMITED;
四.SQLLDR产生外部表的DDL语句
在命令运行SQLLDR(控制文件事先要准备好):
A.用SQLLDR生成LOG文件
SQLLDR USER_NAME/PASSWORD@ORADB CONTROL=CONTROL_FILE.CTL EXTERNAL_TABLE=GERNERATE_ONLY;
NOT_USED:默认值。
EXECUTE:这个值说明SQLLDR不会生成并执行一个SQLINSERT语句;而是会创建一个外部表,且使用一个批量SQL语句来加载。
GENERATE_ONLY:使SQLLDR并不具体加载任何数据,而只是会生成所执行的SQL DDL和DML语句,并放到它创建的日志文件中。
注:DIRECT=TRUE覆盖EXTENAL_TABLE=GENERATE_ONLY。如果指定了DIRECT=TRUE,则会加载数据,而不会生成外部表。
D:\ORACLE\ORADATA\DATA>SQLLDR BOC_RWA3/A@RWADB CONTROL=MUREX_GL_TEMP.CTL EXTERNA L_TABLE=GENERATE_ONLY
SQL*LOADER: RELEASE 11.2.0.3.0 - PRODUCTION ON 星期四 9月 12 22:27:03 2013
COPYRIGHT (C) 1982, 2011, ORACLE AND/OR ITS AFFILIATES. ALL RIGHTS RESERVED.
B.从LOG文件中提取DDL语句
CREATE TABLE "SYS_SQLLDR_X_EXT_MUREX_GL_TEMP"
(
"AREANO" VARCHAR2(20),
"CURRENCY" VARCHAR2(20),
"APCODE" VARCHAR2(20),
"ORGCDE" VARCHAR2(20),
"DAMOUNT" VARCHAR2(200),
"CAMOUNT" VARCHAR2(200),
"REMAKR" VARCHAR2(200)
)
ORGANIZATION EXTERNAL
(
TYPE ORACLE_LOADER --指定外部表的访问方式,9I不支持ORACLE_DATAPUMP
DEFAULT DIRECTORY SQLDR --目录
ACCESS PARAMETERS --配置外部表参数
(
RECORDS DELIMITED BY NEWLINE CHARACTERSET ZHS16GBK --记录以换行为结束
BADFILE 'SQLDR':'MUREX_GLRCN_INIT_20130809_BADFILE.DAT' --存放处理失败的记录文件描述
DISCARDFILE 'SQLDR':'MUREX_GLRCN_INIT_20130809_DISFILE.DAT' --存放处理丢弃的记录文件描述
LOGFILE 'MUREX_GL_TEMP.LOG_XT' --日志文件
READSIZE 1048576 --ORACLE读取输入数据文件所用的默认缓冲区,此处为MB,如专用模式则从PGA分配,如共享模式 则从SGA分配
FIELDS TERMINATED BY "|" OPTIONALLY ENCLOSED BY " " LDRTRIM --"|"描述字段的终止符, " "作用符
REJECT ROWS WITH ALL NULL FIELDS -- --所有为空值的行被跳过并且记录到BAD FILE
( ---下面是描述外部文件各个列的定义
"AREANO" CHAR(255)
TERMINATED BY "|" OPTIONALLY ENCLOSED BY " ",
"CURRENCY" CHAR(255)
TERMINATED BY "|" OPTIONALLY ENCLOSED BY " ",
"APCODE" CHAR(255)
TERMINATED BY "|" OPTIONALLY ENCLOSED BY " ",
"ORGCDE" CHAR(255)
TERMINATED BY "|" OPTIONALLY ENCLOSED BY " ",
"DAMOUNT" CHAR(255)
TERMINATED BY "|" OPTIONALLY ENCLOSED BY " ",
"CAMOUNT" CHAR(255)
TERMINATED BY "|" OPTIONALLY ENCLOSED BY " ",
"REMAKR" CHAR(255)
TERMINATED BY "|" OPTIONALLY ENCLOSED BY " "
)
)
LOCATION
(
'MUREX_GLRCN_INIT_20130809.DAT' --描述外部文件的文件名
)
)REJECT LIMIT UNLIMITED --描述允许的错误数,此处为无限制
;
WINDOWS换行是\r\n,十六进制数值是:0D0A
LINUX换行是\n,十六进制数值是:0A
所以我们确定分隔符先用UE查看分隔符,然后再改动创建外部表的语句,否则会加载不成功
由于在源文件换行符为0A,所以换行符应改为:
RECORDS DELIMITED BY 0X'0A' -- 0X表示十六进行,0A为LINUX换行符.
所以此方法适用于确定换行符.
五.外部表定义的几个重点
A.ORGANIZATIONEXTERNAL关键字,必须要有。以表明定义的表为外部表。
B.重要参数外部表的类型
ORACLE_LOADER:定义外部表的缺省方式,只能只读方式实现文本数据的装载。
ORACLE_DATAPUMP:支持对数据的装载与卸载,数据文件必须为二进制DUMP文件。可以从外部表提取数据装载到内部表,也可以从内部表卸载数据作为二进制文件填充到外部表。
C.DEFAULTDIRECTORY:缺省的目录指明了外部文件所在的路径
D.LOCATION:定义了外部表的位置
F.ACCESS PARAMETERS:描述如何对外部表进行访问
RECORDS关键字后定义如何识别数据行
DELIMITEDBY'XXX'——换行符,常用NEWLINE定义换行,并指明字符集。对于特殊的字符则需要单独定义,如特殊符号,可以使用OX'十六位值',例如TAB(/T)的十六位是9,则DELIMITEDBY0X'09';CR(/R)的十六位是D,那么就是DELIMITEDBY0X'0D'。 SKIP X ——跳过X行数据,有些文件中第一行是列名,需要跳过第一行,则使用SKIP 1。
FIELDS关键字后定义如何识别字段,常用的如下:
FIELDS:TERMINATEDBY'X'——字段分割符。
ENCLOSEDBY'X'——字段引用符,包含在此符号内的数据都当成一个字段。例如一行数据格式如:"ABC","A""B,""C,"。使用参数TERMINATEDBY','ENCLOSEDBY'"'后,系统会读到两个字段,第一个字段的值是ABC,第二个字段值是A"B,"C,。
LRTRIM ——删除首尾空白字符。
MISSING FIELDVALUESARENULL——某些字段空缺值都设为NULL。
对于字段长度和分割符不确定且准备用作外部表文件,可以使用ULTRAEDIT、EDITPLUS等来进行分析测试,如果文件较大,则需要考虑将文件分割成小文件并从中提取数据进行测试。
外部表对错误的处理
REJECT LIMIT UNLIMITED
在创建外部表时最后加入LIMIT子句,表示可以允许错误的发生个数。默认值为零。设定为UNLIMITED则错误不受限制
BADFILE和NOBADFILE子句
用于指定将捕获到的转换错误存放到哪个文件。如果指定了NOBADFILE则表示忽略转换期间的错误如果未指定该参数,则系统自动在源目录下生成与外部表同名的.BAD文件BADFILE记录本次操作的结果,下次将会被覆盖
LOGFILE和NOLOGFILE子句
同样在ACCESSPARAMETERS中加入LOGFILE'LOG_FILE.LOG'子句,则所有ORACLE的错误信息放入'LOG_FILE.LOG'中而NOLOGFILE子句则表示不记录错误信息到LOG中,如忽略该子句,系统自动在源目录下生成与外部表同名的.LOG文件
Oracle的外部表的更多相关文章
- Oracle 之 外部表
一.外部表概述 外部表只能在Oracle 9i 之后来使用.简单地说,外部表,是指不存在于数据库中的表. 通过向Oracle 提供描述外部表的元数据,我们可以把一个操作系统文件当成一个只读的数 据库表 ...
- Oracle使用外部表批量创建用户
整体思路:通过使用外部表将用户名导入Oracle的表中,然后通过PL/SQL遍历数据表,批量创建用户. 具体步骤如下: 1.在安装数据库的服务器的C盘根目录创建一个User List.txt文件,内容 ...
- Oracle 创建外部表
Oracle 外部表能迅速的将海量的数据导入到数据库里面,外部表的创建使用步骤如下: 1 创建一个Directory:必须用sys用户创建,用户存放外部数据文件. create directory D ...
- 如何利用Oracle外部表导入文本文件的数据
同事最近在忙数据一致性比对工作,需要对不同文本文件中的数据进行比对,有的文件较大,记录较多,如果用普通的文本编辑器打开的话,很显然,会很卡,甚至打不开. 基于此,可将该文本文件的数据导入到数据库中,在 ...
- Oracle数据加载之外部表的介绍
环境: 服务端:RHEL6.4 + Oracle 11.2.0.4 目录: 一. 创建外部表 1.1 创建外部表需要的目录 1.2 创建外部表 1.3 创建外部表源文件 1.4 查询外部表 二. 加载 ...
- ORACLE外部表总结
外部表介绍 ORACLE外部表用来存取数据库以外的文本文件(Text File)或ORACLE专属格式文件.因此,建立外部表时不会产生段.区.数据块等存储结构,只有与表相关的定义放在数据字典中.外部表 ...
- 使用oracle外部表进行数据泵卸载数据
数据泵卸载Oracle9i引入了外部表,作为向数据库中读取数据的一种方法.Oracle 10g则从另一个方向引入了这个特性,可以使用CREATE TABLE语句创建外部数据,从而由数据库卸载数据.从O ...
- Oracle外部表的使用
外部表可以像其它表一样,用select语句作查询.但不能做DML操作,不能建index,不接受约束.这是因为它不是以段的形式存于数据库中,只是以数据字典构造存在,指向一个或多个操作系统文件. 外部表的 ...
- Oracle外部表详解(转载)
(外部表创建主要注意创建目录访问权限问题.目录路径格式无空格等不相关字符,即必须是当前表访问用户可以访问:关于表中行数的限制问题,如果不加限制注意添加reject limit unlimited:表中 ...
随机推荐
- idea fect
idea facet 昨天从svn检查一个项目后,部署至tomcat服务器,启动成功,但实际代码其实没有进去, 因为该项目不是maven项目, artifacats是自己配的, 应该是这里弄错的. 最 ...
- Docker 简介
1.什么是Docker Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中,然后发布到任何流行的 Linux 机器上.使用Docker可以让每个应用彼此相 ...
- C#进阶系列——一步一步封装自己的HtmlHelper组件:BootstrapHelper(三:附源码)
前言:之前的两篇封装了一些基础的表单组件,这篇继续来封装几个基于bootstrap的其他组件.和上篇不同的是,这篇的有几个组件需要某些js文件的支持. 本文原创地址:http://www.cnblog ...
- 自己写的一个Pager分页组件,WebForm,Mvc都适用
我一说写这个功能的时候,好多人估计有疑问.分页功能网上多的是,搜一个不就行了,你这样不是浪费时间么.你说这句话的时候,我是比较信的,首先自己写一些东西是很耗时,有这些时间又能多打几盘LOL了.但是我觉 ...
- Todo list and 学习心得
1. 理论实践要区分起来学习,结合起来运用. 2. 内事不决问百度外事不决问谷歌 3. 一个人走的快,一群人走得远或者更快 2016-09-01 23:27:58 九月目标:对程序从编译到执行的整个 ...
- IOS实现自动循环滚动广告--ScrollView的优化和封装
一.问题分析 在许多App中,我们都会见到循环滚动的视图,比如广告,其实想实现这个功能并不难,用ScrollView就可以轻松完成,但是在制作的过程中还存在几个小问题,如果能够正确的处理好这些小问题, ...
- 以 Console 方式运行、调试、编译 .Net 编写的 Windows 服务
经常看到一些人在调试 Windows 服务时,很执著的在附加进程后调试!其实 .Net 编写的 Windows 应用程序,包括 Windows 服务都可以编译成 Console 程序!甚至于 ASP. ...
- ubuntu下面更改用户名的方法
在装HADOOP 系统时候不小心, 没有将三台机器的用户名设置为一致的用户名,导致后面发生很多麻烦.下面总结一下UBUNTU中改用户名的方法. 1. 先给系统添加一个super用户,我们用这个用户名 ...
- 使用Eclipse进行远程调试
转自:http://blog.csdn.net/sunyujia/article/details/2614614 今天决定做件有意义的事,写篇图文并茂的blog,为什么要图文并茂?因为很多事可能用语言 ...
- 冰冻三尺非一日之寒--web框架Django
1.JS 正则 test - 判断字符串是否符合规定的正则 rep = /\d+/; rep.test("asdfoiklfasdf89asdfasdf ...