一.Spool常用的设置 set arraysize 5000;  //此参数可提高SPOOL卸载的速度,最大可以设置为5000 set autotrace on;    //设置允许对执行的sql进行分析set colsep ','; //域输出分隔符set echo off; //显示start启动的脚本中的每个sql命令,缺省为on set feedback off; //回显本次sql命令处理的记录条数,缺省为on,设置显示“已选择XX行”set heading off; //输出域标题…

1.下载spoon包和驱动 可以去spoon官网下载需要的spoon版本 官网 :http://kettle.pentaho.org/ 下载的最新版本的kettle是:pdi-ce-7.1.0.0-12 官方入门文档 :https://wiki.pentaho.com/display/EAI/Getting+Started 我所使用的spoon包,包括spoon7.1.Mysql驱动和Oracle驱动,链接:https://pan.baidu.com/s/16Q-iUNB7qGU0xlKbGTw…

用kettle新建DB连接的时候总是报错,可是用plsql连接是可以连上,错误信息大致如下: 错误连接数据库 [MIS] : org.pentaho.di.core.exception.KettleDatabaseException: Error occured while trying to connect to the database Error connecting to database: (using class oracle.jdbc.driver.OracleDriver)Lis…

Kettle是Pentaho的一个组件,主要用于数据库间的数据迁移(ETL). Kettle有三个主要组件:Spoon,Kitchen,Pan.其中Spoon是一个图形化的界面. 一.安装kettle 1.kettle是国外一款开元ETL工具,纯Java编写,所以需要在Java环境下运行. jdk下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载安装jdk,配置Jav…

前言 现在的数据库种类越来越多,数据库备份的格式也越来越复杂,所以数据格式化一直是一个老生常谈的问题.据库备份文件格式那么多,既有SQL的,也有BAK的,还有TXT的等.数据库种类也有很多,MySQL,Oracle,SQL server等,怎么对这些数据库进行管理?昨天泄露access格式的数据库,今天泄露了excel格式的数据库,明天又泄露了SQL格式的数据库.要格式化那么多种类的数据库,压力山大啊!搭建个本地的数据库怎么那么复杂? 这里就要说到kettle.首先得说说Pentaho这个企业.…

当企业内部使用的数据库种类繁杂时,或者有需求更换数据库种类时,都可能会做很多数据迁移的工作.有些迁移很简单,有些迁移可能就会很复杂,大家有没有考虑过为了顺利完成复杂的数据库迁移任务,都需要考虑并解决哪些问题呢? 在以前的工作中,我迁移过Oracle到Informix.Oracle和SQLServer.Oracle到MySQL. 在目前的公司又因为去O的关系,做了大量的迁移工作,栽了不少坑,所以和大家交流一下在迁移的过程中的一些实践. 分享大纲: 去O前的准备与考虑 确定目标数据库 表和数据对象的…

  1.情景展示 本地可以直接连接2个不同的远程数据库: 两个数据库由于网络不通,无法建立DBLINK完成数据传输: 将A库中C表的数据插入到B库中C表,如何快速实现? 2.解决方案 通过kettle可以实现, 准备工作: kettle工具的下载及将对应的数据库所需的jar包拷贝至其lib目录下 具体操作: 第一步:启动Spoon.bat文件: 第二步:建表输出: 选中“转换”-->右键-->新建-->输出-->表输出-->将其拖拽至右侧空白区域任意位置: 双击转换区域的“表…

  1.情景展示 启动kettle的Spoon.bat闪退,并没有进入kettle的启动界面. 2.原因分析 使用条件: jdk版本需>=1.6: java需配置环境变量. 如果满足了上述前提条件,问题一般出现在:kettle为Java虚拟机的内存配置过大,导致无法正常启动程序. 3.解决方案 修改Spoon.bat里的内存配置,一般可以解决这个问题. 选中Spoon.bat-->右键-->编辑--> 默认值为: if "%PENTAHO_DI_JAVA_OPTIONS%…

Kettle简介 Kettle(网地址为http://kettle.pentaho.org/)是一款国外开源的ETL工具,纯java编写,可以在Windows.Linux.Unix上运行,数据抽取高效稳定. Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出.Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制. Windows环境下的安装与配…

一.参考文档: 1.https://www.rittmanmead.com/blog/2014/03/using-sqoop-for-loading-oracle-data-into-hadoop-on-the-bigdatalite-vm/ 2.http://www.cnblogs.com/bjtu-leefon/archive/2013/06/28/3160549.html 二.使用脚本 ----sqoop import zdsd 使用注意: 1.执行节点 Sqoop_home/lib 里添…

ETL第一篇(Kettle Spoon) 初遇 ETL第二篇 调用webservice 简介 Kettle 是一款国外开源的 ETL 工具,纯 Java 编写,绿色无需安装,数据抽取高效稳定(数据迁移工具).Kettle 中有两种脚本文件,transformation 和 job,transformation 完成针对数据的基础转换,job 则完成整个工作流的控制. Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出. Kettle这个E…

项目完成后,需要把历史oracle 的数据库转移mysql 用kettle 转换数据. 步骤: 1.打开spoon.bat,文件-->新建-->转换,点击“主对象树”,DB连接右键“新建”,按要求填上数据库连接信息,不再赘述,需要建两个,一个是oracle(源库),一个是MySQL(目标库) 2.点击“核心对象”,分别在“输入”和“输出”中选择“表输入”和“表输出”拖到右侧空白区域,并按住shift点击表输入再点击表输出,画连接线,如下图所示: 3.表输入如下图,选择源数据库,并输入待复制的表…

利用kettle Spoon从oracle或mysql定时增量更新数据到Elasticsearch https://blog.csdn.net/jin110502116/article/details/79690483 背景: 目前的业务数据数据已经很大了,关于查询内的需求比较多,传统数据库已经不能满足目前的需要.必须得使用全文检索了,了解了相关资料,发现Elasticsearch这个工具比较强大.于是就开始新一段的爬坑之旅了... Elasticsearch安装什么的很方便,但是更新却是个很大…

Oracle 数据库迁移到MySQL (kettle,navicate,sql developer等工具 1 kettle --第一次使用kettle玩迁移,有什么不足之处和建议,请大家指正和建议. 下载软件,官网比较慢,国内有一些镜像 下载完成,解压 pdi-ce-7.0.0.0-25.zip G:\download\pdi-ce-7.0.0.0-25\data-integration 双击Spoon.bat 运行 提示找不到javaw.exe 下载jdk安装(这里在oracle官网上选择相应…

Driver class 'oracle.jdbc.driver.OracleDriver' could not be found, make sure the 'Oracle' driver (jar file) is installed.oracle.jdbc.driver.OracleDriver 刚刚下载了spoon,准备写一个简单的示例测试一下,登录数据库的时候遇到了这个错误,看错误描述就是找不到相应的oracle驱动,如果你安装了oracle,那么在本地就可以找到所需的驱动.搜索“j…

一.Oracle分析函数入门 分析函数是什么?分析函数是Oracle专门用于解决复杂报表统计需求的功能强大的函数,它可以在数据中进行分组然后计算基于组的某种统计值,并且每一组的每一行都可以返回一个统计值. 分析函数和聚合函数的不同之处是什么?普通的聚合函数用group by分组,每个分组返回一个统计值,而分析函数采用partition by分组,并且每组每行都可以返回一个统计值. 分析函数的形式分析函数带有一个开窗函数over(),包含三个分析子句:分组(partition by), 排序(or…

Linux平台 Oracle 10gR2(10.2.0.5)RAC安装 Part3:db安装和升级 环境:OEL 5.7 + Oracle 10.2.0.5 RAC 5.安装Database软件 5.1 解压安装介质 5.2 开始安装db软件 5.3 root用户执行脚本 6.升级Database软件 6.1 升级db软件 6.2 root用户执行脚本 7.创建数据库 7.1 创建监听 7.2 创建ASM 7.3 创建数据库 Linux平台 Oracle 10gR2 RAC安装指导: Part1…

Linux平台 Oracle 10gR2(10.2.0.5)RAC安装 Part1:准备工作 环境:OEL 5.7 + Oracle 10.2.0.5 RAC 1.实施前准备工作 1.1 服务器安装操作系统 1.2 Oracle安装介质 1.3 共享存储规划 1.4 网络规划分配 2.主机配置 2.1 使用yum安装oracle-validated包来简化主机配置的部分工作 2.2 共享存储配置 2.3 配置/etc/hosts 2.4 配置Oracle用户等价性 2.5 创建软件目录 2.6…

!= 不等于 select empno,ename,job from scott.emp where job!='manager' ^= 不等于 select empno,ename,job from scott.emp where job^='manager' <>不等于 select empno,ename,job from scott.emp where job<>'manager' <小于 select sal from scott.emp where sal<…

Orabbix介绍 监控Oracle数据库我们需要安装第三方提供的Zabbix插件,我们先测试比较有名的Orabbix,http://www.smartmarmot.com/product/orabbix/ 从部署架构图上可以看出,orabbix是通过JDBC去连接被监控数据库的,其实不是必须在数据库主机上安装Agent,而运行orabbix的主机,可以是Zabbix Server,也可以是数据库主机和zabbix server之外的任意一台主机,为了测试方便,我们将orabbix安装在Zabb…

软件版本 Oracle Enterprise Linux 7.1 64bit Oracle Enterprise Edition 12.1.0.2 64bit Zabbix 3.2.1 准备工作 上传软件 我们选用Zabbix 3.2.1 解压路径为/u01/stage/zabbix-3.2.1 准备需要的软件 安装Oracle 12.1.0.2 安装和创建数据库过程略,数据库字符集注意一定要是UTF8或AL32UTF8. Apache Zabbix的frontend需要apache ,我们使用…

什么是Data Redaction Data Redaction是Oracle Database 12c的高级安全选项之中的一个新功能,Oracle中国在介绍这个功能的时候,翻译为“数据编纂”,在EM12c R3的中文界面中,这个功能被翻译成“数据编写”,我认为后一个翻译更贴切. 在12c发布前,某次以“数据库安全”为题目的技术交流中,有一个客户问我们,Oracle数据库里面能不能实现这么一个功能:符合条件的用户可以看到表里面的所有数据,而另外一些人(业务权限低的用户)虽然能查询表,但是某些敏感…

ORAchk概述 ORAchk是Oracle官方出品的Oracle产品健康检查工具,可以从MOS(My Oracle Support)网站上下载,免费使用.这个工具可以检查Oracle数据库,GoldenGate,Oracle Enterprise Manager 12c.13c等Oracle产品,具体支持的产品和相关资料可以参考MOS文档:ORAchk - Health Checks for the Oracle Stack (Doc ID 1268927.2). ORAchk支持所有主流平台…

概述 我们知道,影响一个B/S应用性能的因素,粗略地说,有以下几个大的环节: 1. 客户端环节 2. 网络环节(可能包括WAN和LAN) 3. 应用及中间层环节 4. 数据库层环节 能够对各个环节的问题进行"贯穿"的诊断,才能算是"端到端"的诊断. 能够进行这种类型的诊断的工具很多,我们后面会分别介绍,今天只是给大家看看利用Oracle的工具软件进行从最前端到最后端的应用性能诊断的例子. 涉及的Oracle软件产品有以下几个: RUEI(真是的客户体验洞察) EM1…

概述 众所周知,在业务高峰期,某些针对Oracle数据库的操作具有很高的风险,比如修改表结构.修改实例参数等等,如果没有充分评估和了解这些操作所带来的影响,这些操作很可能会导致故障,轻则导致应用错误,重则导致数据库服务不可用. 另外,在非业务高峰期,某些看似风险不大的操作也可能会导致严重后果,比如不按管理流程修改表结构,如果这个表正好是Oracle GoldenGate复制组的一部分,修改了源端结构而没有通知OGG的相关人员,没有在目标端进行相同的操作,而DDL复制功能也没有打开的情况下,就会导…

说起Oracle数据库,以前没用过Oracle不知道,但是这1年用Oracle后,发现真的是想狂吐槽,特别是那个.NET驱动和链接字符串,特别奇葩.总归是和其他数据库不一样,标新立异,不知道为何.另外如果想去Oracle官网搞点东西,比啥都难,密码设置强度要求很高,经常记不住,每次都是重置密码再进去,总是要费周折.好在.NET的驱动中,现在已经有纯托管驱动(Oracle.ManagedDataAccess.dll)方便了不少,备受折磨的朋友赶紧去切换吧,很简单,几个命名空间换一个就好了.总算做了…

1. 如何查看表的列名及类型 SQL> select column_name,data_type,data_length from all_tab_columns where owner='SCOTT' and table_name='EMP'; COLUMN_NAME DATA_TYPE DATA_LENGTH --------------- ---------- ----------- EMPNO ENAME JOB MGR HIREDATE DATE SAL COMM DEPTNO row…

1. 设置SQL*Plus提示符 SQL> set sqlprompt "_user'@'_connect_identifier>" SYS@orcl> 为了对所有的SQL*Plus会话自动设置sqlprompt,将上面的命令放置在ORACLE_HOME/sqlplus/admin目录中的glogin.sql文件内 2. 查看角色RESOURCE被授予的系统权限 SQL> select * from dba_sys_privs where grantee='RE…

Oracle手边常用70则脚本知识汇总 作者:白宁超 时间:2016年3月4日13:58:36 摘要: 日常使用oracle数据库过程中,常用脚本命令莫不是用户和密码.表空间.多表联合.执行语句等常规操作.另外表的导入导出也很常用,这些脚步命令之前都做有总结,今统一整理出最为常用的语句,使用方便而已.其中文档是笔者数年整理所得. 1 数据库基本介绍 2 数据库使用的注意事项 3 数据库生成的默认用户 4 修改用户密码 5 Spool截取屏幕内容 6 SQl语句参数值设置 7 创建用户与密码 8 …

集群概念介绍(一)) 白宁超 2015年7月16日 概述:写下本文档的初衷和动力,来源于上篇的<oracle基本操作手册>.oracle基本操作手册是作者研一假期对oracle基础知识学习的汇总.然后形成体系的总结,一则进行回顾复习,另则便于查询使用.本图文文档亦源于此.阅读Oracle RAC安装与使用教程前,笔者先对这篇文章整体构思和形成进行梳理.由于阅读者知识储备层次不同,我将从Oracle RAC安装前的准备与规划开始进行整体介绍安装部署Oracle RAC.始于唐博士指导,对数据库集…