From:https://my.oschina.net/simpleton/blog/525675

一、什么是ETL

ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。

二、Kettle简单说明

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。

三、需求

1、 Mysql 5.X数据迁移到 DB2 8.X

2、 主键自增改成32位UUID

三、准备工作

1、 源数据库:Mysql 5.6

2、 目标数据库:DB2 8.X

3、 数据迁移工具:Kettle6.0.0.0-353

四、实战开始

1、说明一下省略掉的步骤

在开始使用Kettle前,我使用了PowerDesigner18.6建立数据模型,然后导出对应数据库的建表脚本,这里我导出了DB2 8.X的建表脚本,然后首先在DB2中将目标表建立好。其实在Kettle中也可以在执行过程中来建立表,我也是初学Kettle,所以选择了一种相对简单的方式来操作,毕竟关注重点在于数据迁移这方面上。

2、安装JDK

因为Kettle是纯JAVA写的,所以依赖JDK,至于JDK的安装不是本文的重点,请读者自行百度完成。

3、 安装Kettle

下载pdi-ce-6.0.0.0-353.zip,我已经上传至百度云,下载地址:http://pan.baidu.com/s/1jGjMoXw

Kettle是绿色免安装的,将下载的压缩文件解压,找到程序启动文件Spoon.bat(Linux的Spoon.sh),双击则可以启动。不过在这一步操作之前,还有重要的一步需要做,就是拷贝我们的数据库驱动JAR包到指定目录。我是windows 7 x64,所以我将mysql和DB2对应的驱动包拷贝到了data-integration\libswt\win64目录下,因为拷贝进去之后,需要重启程序才能生效,所以建议解压后,首先拷贝驱动JAR包到指定目录。

然后点击Spoon.bat,启动应用程序。

程序启动完成后,进入到欢迎页面,在页面左边有一棵树,在“主对象数”下分别是“转换”和“作业”两个功能节点,另外还有“核心对象”菜单,这个是用得比较多的,稍后会谈到。

至此,Kettle的安装已经完成,下面就进入到实战的重要环节了。

3、开始使用Kettle做数据迁移

这里我不讲太多理论知识,毕竟我对Kettle也是初探,所以本文重点还是放在如何操作Kettle完成一次数据迁移。

第一步:建立转换(Transformation)

双击Spoon.bat启动Kettle,点击界面左上角的“文件” – “新建” – “转换”,并保存为demo.ktr。

第二步:添加“表输入”

在左侧的“核心对象”下面找到“输入 – 表输入”,将其拖入到右侧编辑区域中。

第三步:编辑“表输入”

双击编辑区域的“表输入”,进入编辑界面。

在弹出窗口中,可以编辑信息,点击“新建”

在弹出窗口中录入源数据库(mysql)的服务器信息,点击测试按钮,测试连接是否成功。

注意:如果前面没有将数据库的JAR包拷贝到指定文件目录下,这里会抛出异常说找不到驱动程序。只需要拷贝JAR包到指定文件(根据系统不同而有所不同,请看Kettle的安装部分),然后重启程序,就可以解决该问题。

测试连接成功,点击“确定”,然后在“数据库链接”处选择我们新建的连接。

点击“获取SQL查询语句”

在弹出窗口中选择要迁移的数据表,每次只能操作一个表

选择“是”

点击“确定”,源数据则配置好了。

第四步:添加和编辑 “字段选择”(可选)

如果你的数据类型在迁移过程中会发生变化,那么需要添加“字段选择”步骤。比如我在迁移过程中,需要将自增的整形字段改成32位的UUID,至于为什么会出现这样的需求,是因为我在迁移过程中发现如果在目标数据库中设置主键自增,那么数据迁移的过程中,无法插入主键,只能由数据库去操作自增,这样的话,会导致我原来的关联数据无法完成迁移。从这次的教训中得到经验,以后数据库主键设计时,会发生主外键关联的,尽量设计成UUID。

在“核心对象 – 转换”下找到“字段选择”,将其拖入到右侧编辑区域。

按住“shift”,然后从“表输入”到“字段选择”,拖一条线

双击“字段选择”,进入编辑界面

选择“元数据”

点击“获取改变的字段”

在这个地方,你可以修改源数据表字段,用以匹配目标数据表。我在这里需要将原来的主外键都改成32位的UUID,因为我已经事先在目标数据表(DB2)定义了主外键为VARCHAR(32),所以这里我需要修改源数据表的主外键为String,长度不用管。

点击确定

第五步:添加“表输出”

在“核心对象 – 输出”下面选择“表输出”,拖到右侧编辑区域

按住“shift”从“字段选择”往“表输出”拖一个箭头,并选择“主输出步骤”(拖线过程中,鼠标点击“表输出”的时候会出现该选项)。

双击“表输出”,选择“新建”

和前面类似,在弹出窗口中输入数据库的地址信息,点击测试

测试连接成功,点击确定,在“数据库链接”处选择新建的DB2的目标数据库连接

选择“目标模式”(这里我不太懂,总之DB2的话,出现的是schema),然后选择“目标表”,点击确定

勾选“指定数据库字段”,然后点击“输入字段映射”

在弹出窗口中,选择源数据表字段和目标数据表字段的匹配方式,点击“猜一猜”可以一键分配,但是它的分配规则我不了解,可能根据名字的相似度吧,如果名字相同或者相似,可以使用,很方便。

点击确定。

第六步:“校验这个转换”

点击“校验这个转换”,可以校验刚才我们定义的这个转换是否有问题。

如果没有问题,则表示我们定义的这个转换可以执行

第七步:“运行这个转换”

点击“运行这个转换”,则开始执行数据迁移了,可以在窗口下面看到执行日志,如果没有错误,那么表示我们完成了一个表的数据迁移工作。

批量操作

如果还有更多的表,可以在这一个转换中定义多个上图所示的“表输入”-“字段选择”-“表输出”步骤,一次批量执行。但是这样的执行是不保证执行顺序的,如果有主外键关联的话,这样批量执行会出问题。所以可以将有主外键关联的表的数据迁移工作做成多个“转换”,然后通过作业将他们串起来,这样就能够保证执行顺序了,至于作业的建立,本文不再累述,以后有时间再开一篇文章单独写,读者也可以自己找资料看看,简单的操作的话,一看就会了。

大概的作业我用图展示一下,详细的我就不写了。

数据迁移实战:基于Kettle的Mysql到DB2的数据迁移的更多相关文章

  1. Python 基于Python从mysql表读取千万数据实践

    基于Python 从mysql表读取千万数据实践   by:授客 QQ:1033553122 场景:   有以下两个表,两者都有一个表字段,名为waybill_no,我们需要从tl_waybill_b ...

  2. sqoop数据迁移(基于Hadoop和关系数据库服务器之间传送数据)

    1:sqoop的概述: (1):sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具.(2):导入数据:MySQL,Oracle导入数据到Hadoop的HDFS.HIV ...

  3. storm实战:基于storm,kafka,mysql的实时统计系统

    公司对客户开放多个系统,运营人员想要了解客户使用各个系统的情况,在此之前,数据平台团队已经建设好了统一的Kafka消息通道. 为了保证架构能够满足业务可能的扩张后的性能要求,选用storm来处理各个应 ...

  4. 用Nodejs+Express搭建web,nodejs路由和Ajax传数据并返回状态,nodejs+mysql通过ajax获取数据并写入数据库

    小编自学Nodejs,看了好多文章发现都不全,而且好多都是一模一样的 当然了,这只是基础的demo,经供参考,但是相信也会有收获 今天的内容是用Nodejs+Express搭建基本的web,然后呢no ...

  5. [NodeJs] 用Nodejs+Express搭建web,nodejs路由和Ajax传数据并返回状态,nodejs+mysql通过ajax获取数据并写入数据库

    小编自学Nodejs,看了好多文章发现都不全,而且好多都是一模一样的 当然了,这只是基础的demo,经供参考,但是相信也会有收获 今天的内容是用Nodejs+Express搭建基本的web,然后呢no ...

  6. Spark大型项目实战:电商用户行为分析大数据平台

    本项目主要讲解了一套应用于互联网电商企业中,使用Java.Spark等技术开发的大数据统计分析平台,对电商网站的各种用户行为(访问行为.页面跳转行为.购物行为.广告点击行为等)进行复杂的分析.用统计分 ...

  7. 数据中台实战(一):以B2B电商亿订为例,谈谈产品经理视角下的数据埋点

    本文以B2B电商产品“亿订”为实例,与大家一同谈谈数据中台的数据埋点. 笔者所在公司为富力环球商品贸易港,是富力集团旗下汇聚原创设计师品牌及时尚买手/采购商两大社群,通过亿订B2B电商.RFSHOWR ...

  8. PHP MySQL 插入多条数据

    PHP MySQL 插入多条数据 使用 MySQLi 和 PDO 向 MySQL 插入多条数据 mysqli_multi_query() 函数可用来执行多条SQL语句. 以下实例向 "MyG ...

  9. 使用 MySQLi 和 PDO 向 MySQL 插入多条数据

    PHP MySQL 插入多条数据 使用 MySQLi 和 PDO 向 MySQL 插入多条数据 mysqli_multi_query() 函数可用来执行多条SQL语句. 以下实例向 "MyG ...

随机推荐

  1. 服务器迁移至Linux操作系统

    我在这里试了ubuntu.Debian,centos.最终还是选择了centos 使用工具putty,远程桌面的话使用vnc viewer(看起来service文件更改只需要替换user,但是路径不对 ...

  2. javascript学习笔记-数据类型

    一 数据类型 基本类型:undefined,null,boolean,number,string     保存在栈内存中     占用空间固定        变量直接从栈内存中存取的是该值 引用类型: ...

  3. Swagger Edit自动生成代码工具

    一.swagger简介 swagger是一套开源的API设计工具,包括Swagger UI和Swagger Editor等.其中swagger edit是用来编辑接口文档的小程序,非常简单易用.在官网 ...

  4. HUST——1110雪碧(简单DFS)

    1110: 雪碧 时间限制: 1 Sec  内存限制: 128 MB 提交: 18  解决: 6 题目描述 杨神最近特别喜雪碧,他现在有两瓶,他大晚上的在街上走,他逢店加一倍(雪碧),逢摊吃大虾并喝一 ...

  5. BZOJ3555 [Ctsc2014]企鹅QQ 【hash】

    题目 PenguinQQ是中国最大.最具影响力的SNS(Social Networking Services)网站,以实名制为基础,为用户提供日志.群.即时通讯.相册.集市等丰富强大的互联网功能体验, ...

  6. 关于sql语句实现将'1,2,3'转1,2,3等竖横转换问题

    这是本人的第一个博客,以后会及时整理遇到的问题,方便和大家进行交流. 第一次也不知道说什么了,直接进入正题吧. 因为我的数据在设计时候数据源是竖列存的,满足条件的数据是横列存的.如下图所示: 我要筛选 ...

  7. 计算机图形——OpenGL

    荒废了太久,趁着"寒假"死磕了两周,验证了不少想法,解开了不少疑惑,代码质量当然是没有的,一切只为看到结果. 有空了再写每一项的细节. 源码地址 2019/5/12 更新 延迟渲染 ...

  8. AC日记——Propagating tree Codeforces 383c

    C. Propagating tree time limit per test 2 seconds memory limit per test 256 megabytes input standard ...

  9. HDU 5988最小网络流(浮点数)

    题目链接:http://acm.split.hdu.edu.cn/showproblem.php?pid=5988 哇,以前的模版一直T,加了优先队列优化才擦边过. 建图很好建,概率乘法化成概率加法不 ...

  10. 公司内部技术分享之Vue.js和前端工程化

    今天主要的核心话题是Vue.js和前端工程化.我将结合我这两年多的工作学习经历来谈谈这个,主要侧重点是前端工程化,Vue.js侧重点相对前端工程化,比重不是特别大. Vue.js Vue.js和Rea ...