利用Kettle进行SQLServer与Oracle之间的数据迁移实践

Kettle简介 Kettle(网地址为http://kettle.pentaho.org/)是一款国外开源的ETL工具,纯java编写,可以在Windows.Linux.Unix上运行,数据抽取高效稳定. Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出.Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制. Windows环境下的安装与配…

spring BasicDataSource 数据源配置 sqlserver数据库 oracle数据库 mysql数据jdbc配置

spring BasicDataSource 数据源配置 sqlserver数据库 oracle数据库 mysql数据jdbc配置 jdbc.properties 文件信息如下: ----------------------oracle数据库配置 ------------------------------ driverClassName=oracle.jdbc.driver.OracleDriver url=jdbc:oracle:thin:@localhost:1521:orcluname=…

【MVC架构】——怎样利用Json在View和Controller之间传递数据

在MVC架构中,尽管非常多东西和三层非常相似,可是也有非常大的差别.就比方传递数据.在三层架构中,传递数据就仅仅要一层返回,另外一层用同样类型的变量来接收即可了.在MVC中,事实上原理是一样的,Controller中的方法返回Json字符串.然后View来接收.或者反过来,不同的就是这之间须要一个序列化和反序列化的过程. 本文就简介利用Json在View和Controller之间传递数据的一个方面,大致从双方面介绍,一是什么是Json,二是怎样实现. 什么是Json 一.概念百度百科说:JSO…

阿里云RDS实例内不同数据库之间的数据迁移

适用场景本文适用于使用DTS实现相同实例下库名不同的数据库之间的数据迁移.本文以使用DTS将同一RDS实例下的amptest库迁移到jiangliu_amptest库为例来说明如何使用DTS实现相同实例下库名不同的数据库之间的数据迁移. 说明:当源和目标实例类型不为RDS时,配置流程相同. 环境准备创建RDS账号,不同的数据库类型,要求的迁移账号权限不同,具体权限要求可以参考产品手册-数据迁移中的相关文档. 在同一RDS实例下创建好amptest数据库以及jiangliu_amptest数据…

oracle_11g 不同用户之间的数据迁移

众所周知,IMP工具的FROMUSER和TOUSER参数可以实现将一个用户的的数据迁移到另外一个用户.同样的功能在IMPPDP工具中如何得以体现呢?答案就是:使用IMPPDP的REMAP_SCHEMA参数实现. 简单演示一下,供参考. 任务:将sec用户中的数据迁移到secooler用户. 1.分别确认sec和secooler用户下的表和数据情况1)sec用户下有一张T表,含有24360行数据sys@ora10g> conn sec/secConnected.sec@ora10g> selec…

利用ODBC从SQLServer向Oracle中导数据

1.首先要在Oracle数据库中建对应的表,Oracle数据库中的字段类型和Sql Server 有所不同,Oracle中常用的有varchar2.integer.nchar.date,Sql Server 的字段类型相对多一些,uniqueidentifier类型的长度是36. 2.打开管理工具——数据源(ODBC),配置SqlServer的数据源. 3.打开Oracle数据库——工具——ODBC导入 4.选择服务器,输入数据库账号和密码 5.选择用户和表,然后点击左下角的导入按钮即可 6.附…

SQLServer服务器数据库之间的数据操作(完整版)

分类: 数据库开发技术 ---------------------------------------------------------------------------------- -- Author : htl258(Tony) -- Date : 2010-06-25 22:23:18 -- Version: Microsoft SQL Server 2008 (RTM) - 10.0.1600.22 (Intel X86) -- Jul 9 2008 14:43:34 -- Cop…

利用kettle中的JS来完成ETL数据校验

最近参与了一个信托行业的BI项目,由于信托业务系统设计的问题,很多都是用户手工录入的数据,也有一些是需要分析的但是用户没有录入的数据,针对这样的数据质量,我们就要在ETL抽取的过程中来对数据流进行校验,今天我们就说一下如何利用ETL开源工具kettle来完成对数据的基础性校验 1:非空校验 ;} 2:唯一校验 var uniquesql_item_id = "SELECT count(*) FROM titem where item_id="+ITEM_ID; []==;} 3:标准化…

[转]MYSQL 与 Oracle 之间的数据类型转换

原文地址:http://www.cnblogs.com/guyueyanzi/archive/2010/02/27/1674788.html Table 2-4 Default Data Type Mappings Used by Oracle SQL Developer MySQL Data Type Oracle Data Type BIGINT NUMBER(19, 0) BIT RAW BLOB BLOB, RAW CHAR CHAR DATE DATE DATETIME DATE DE…

DataX实现oracle到oracle之间的数据传递

首先需要注意的是DATAX是通过JDBC的方式读取ORACLE数据,然后通过OCI的方式写数据,DX也可以通过JDBC写的方式进行,但是OCI比JDBC速度更快. 进入DataX安装目录的bin目录,执行命令 ./datax.py -e 输入交换数据数据库对应的代码,它会自动生成相应的xml配置文件编辑配置文件参数,有"?"的是必须配置的,默认的可以保持不变执行代码: vi /home/taobao/datax/jobs/oraclereader_to_oraclewrit…

Mysql与Oracle之间的数据类型转换

MySQL Data Type Oracle Data Type BIGINT NUMBER(19, 0) BIT RAW BLOB BLOB, RAW CHAR CHAR DATE DATE DATETIME DATE DECIMAL FLOAT (24) DOUBLE FLOAT (24) DOUBLE PRECISION FLOAT (24) ENUM VARCHAR2 FLOAT FLOAT INT NUMBER(10, 0) INTEGER NUMBER(10, 0) LONGBLOB…

利用Rsync在windows和linux之间同步数据

使用Rsync从windows同步文件到linux 1.windows服务端的安装与配置: 免费软件下载地址:http://linux.linuxidc.com/,用户名密码为:www.linuxidc.com 安装过程中,在提示输入用户名和密码时,密码一定与该系统的administrator密码相同,否则安装失败. 安装完成后,到安装目录下修改配置文件: use chroot = false strict modes = false hosts allow = * log file = rsy…

oracle exp(expdp)数据迁移（生产环境，进行数据对比校验）

前言:客户需要迁移XX 库 ZJJJ用户(迁移到其他数据库),由于业务复杂,客户都弄不清楚里面有哪些业务系统,为保持数据一致性,需要停止业务软件,中间件,杀掉oracle进程. 一.迁移数据倒出部分=============================================================1.前期准备停止业务软件,中间件,杀掉oracle进程 ps -ef | grep LOCAL=NO | awk '{print $2}' | xargs kill -9 2.检…

怎么将oracle数据库的数据迁移

打开要导出数据的PC,进入cmd界面先进入数据库输入sqlplus,账号system密码508956.有权限的账户密码 2. create directory dir_555 as 'd:/asd169'; 到随便一个地方创建一个文件夹,随便起名asd169(不要有中文),自己手动创建给文件夹一个DIR名字,这里是dir_555 输入Grant read,write on directory dir_555 to kbstest54; 给用户读写权限回到CMD,不要在SQL模式下 expd…

Oracle中的数据迁移到Mysql数据库中的方式Navicat premium工具

1.安装 Navicat premium工具 2.破解 Navicat premium工具 3.连接需要相互迁移的两个库Mysql和Oracle(可以是远程的或者本机的数据库都是可以的) 4.连接上之后,:工具--数据传输,即可完成具体过程将连接 https://blog.csdn.net/x541211190/article/details/796625 解决Navicat连接Oracle数据库报错Cannot load OCI DLL问题,让Navicat成功连接Oracle数据库,将Or…

Oracle批量新增数据最佳实践

一.需求描述现在的项目改造过程中,从国产的Gbase数据库改造为Oracle数据库,遇到一个问题有的业务操作需要批量新增数据. 这也是一个比较常规的操作,有很多地方确实需要一次性新增多条数据.Gbase数据库的语法和Mysql的语法大同小异, INSERT INTO 表 (字段一,字段二,字段三) VALUES (值一,值二,值三), (值一一,值二二,值三三);可是Oracle中可没有批量新增的语法,这怎么办呢? 二.需求分析通过百度查找答案,找到一篇比较好的文章,https://w…

【SQLServer】记一次数据迁移-标识重复的简单处理

汇总篇:http://www.cnblogs.com/dunitian/p/4822808.html#tsql 今天在数据迁移的时候因为手贱遇到一个坑爹问题,发来大家乐乐,也传授新手点经验迁移惯用就是临时表或者新库,经常用的语法有很多,这次主要说的是这个:select * into 数据库名..表名 from xxx 先不扯了,先看错误: 赶紧看看是不是数据重复~事实证明,木有重复数据... 有人会问,你怎么这样求count?...额,我会的是最基本的方法,常见的两种其实性能一样的,对比图:(…

oracle常用的数据迁移方法

源地址:http://wenku.baidu.com/link?url=lI6UYpvDs_y8ku6DytEZLl4GSJjQ0GAGPvv8txrbRoQKgqzTCMAfBZI5mn9t-KQk1feJd60Y4Mh-OJNiXFe3NKfVkYrt_9KBSNCJZkq2YQS 集思广益:http://www.dataguru.cn/thread-260203-1-1.html http://bbs.csdn.net/topics/380097363…

对oracle数据库的数据迁移

导入:expdp 用户名/密码@ip/实例名 DUMPFILE=dump.dump EXCLUDE=TABLE:\"IN (\'表1\',\'表2\')\" 导出:impdp 用户名/密码ip/实例名 dumpfile=dump.dump remap_schema=用户1:用户2 remap_tablespace=表空间1:表空间2…

数据库多行数据合并一行（sqlserver、Oracle、Mysql）

我们日常查询数据时,经常会有将查询到的数据按照某一列分组显示(合并多行数据),比如: 表结构: ),coursename )); 需要将以上数据按照用户名分组,所选课程列不同项之间用逗号隔开,在一行中显示,效果如下: 以下分别总结了sqlserver.Oracle.MySQL数据的处理SQL: 1.sqlserver: SELECT username, coursename= ( STUFF( (SELECT ',' + coursename FROM t_user_course WHERE u…

Oracle数据迁移至MySQL

ORACLE DB: 11.2.0.3.0 MYSQL DB: 5.5.14 因项目需求,需要将ORACLE生产中数据迁移至MYSQL数据库中作为初始数据,方法有如下几种: 1.ORACLE OGG 2.通过手动编写select “insert into”脚本 3.工具,本次我就是使用了工具(sqluldr2),工具下载地址可以到www.anysql.net去下载使用方法:将sqluldr2.bin工具上传到oracle的bin目录下,[root@db01 bin]# chown oracle…

异构关系数据库（Sqlserver与Oracle）之间的数据类型转换参考

一.Oracle到SqlServer的数据类型的转变编号 Oracle ToSqlServer SqlServer 1 BINARY_DOUBLE VARCHAR(100) real 2 BINARY_FLOAT VARCHAR(100) float 3 BLOB UNKNOWN image 4 CHAR VARCHAR(2) nchar 5 DATE UNKNOWN date 6 INTERVAL_DAY_TO_SECOND VARCHAR(100) nvarchar 7 INTERVAL_…

数据库相关知识积累（sqlserver、oracle、mysql）

数据库相关知识积累(sqlserver.oracle.mysql) 1. sqlserver :断开所有连接: (还原数据库) 1.数据库分离 2. USE master GO ALTER DATABASE [GPOSDB] SET SINGLE_USER WITH ROLLBACK IMMEDIATE GO --查看是否还有用户连接 SELECT * FROM sys.[sysprocesses] WHERE DB_NAME([dbid])='gposdb' GO ALTER DATABA…

ETL数据从sqlserver到mysql之间迁移

因近期需要进行sqlserver数据到mysql之间的数据同步.偶然之间发现了这一款工具ELK 一.下载 1.Kettle可以在http://kettle.pentaho.org/网站下载 2.下载的文件是一个压缩包随便放在win下都可以解压后文件如下二.启动注意事项 1.由于工具需要安装java环境所以自己去下载JDK和安装 2.如果启动的过程中提示JVM内存不足可以修改启动文件(Spoon.bat)中的对应配置 3.连接数据库过程中需要下载对应的驱动否则会提示连接不上三.运行Kett…

EntityFramework CodeFirst SQLServer转Oracle踩坑笔记

接着在Oracle中使用Entity Framework 6 CodeFirst这篇博文,正在将项目从SQLServer 2012转至Oracle 11g,目前为止遇到的问题在此记录下. SQL Server中datetime类型所能表示的时间范围是1753-01-01 00:00:00.000至9999-12-31 23:59:59.998之间.在.NET中DateTime的初始值是0001-01-01 00:00:00.000000,该值超出SQL Server中datetime所能表示的范…

Oracle GoldenGate (以下简称ogg)在异种移植os同一种db之间的数据同步。

Oracle GoldenGate (以下简称ogg)在异种移植os同一种db之间的数据同步. ogg要实现的功能: 同步可以细化到单个表,满足特定的where条件rows同步,称号column同步. ogg 竞争对手:ibm cdc.dell shareplex:dsg.dds等等环境描写叙述: 源头:windows 2003x64bit. oracle db 11.2.0.3 x64bit 目的端:suse linux .oracle db 11.2.0.3 预先准备: 1.Microso…

Sqlserver 连接oracle和mysql数据库已经oracle导入sqlserver表数据

SQL Server2012创建连接服务器到ORACLE11G 8,百思考不知道原因啊??突然我发现如下:链接服务器—〉访问接口—〉OraOLEDB.Oracle—〉允许进程内没有勾上,但是我想上面的配置4里已经有(为“OraOLEDB.Oracle”这个键新增一个DWORD Value,把名字改为“AllowInProcess”),不知道为什么不起作用?????,那好吧,我只好手动的勾上了. http://blog.csdn.net/waterxcfg304/article/details/4…