kettle.properties 是一个变量文件,这个文件我使用的最多的地方是保存 “数据库连接” 用户名和密码. 如果不用这个文件,那么使用“数据库连接”时,需要硬编码写到文件里. 有一天dba告诉你,库迁移了,数据库用户密码换了/IP变了,那么需要一个文件一个文件的修改密码/IP. 如果使用kettle.properties ,可以把用户名密码/IP换成变量.让Kettle的作业文件引用变量. 有一天如果环境换了, 可以直接修改变量中的值.而不用一个一个修改作业文件. 如何使用kettle…

本介绍我的开源项目[kettle-manager]kettle管理平台如何获取并部署使用,该项目介绍请参看另一篇博文:http://www.cnblogs.com/majinju/p/5739820.html . 下面主要介绍项目部署流程,使用中有问题可以发邮件反馈. 准备工作: 本系统支持oracle和mysql数据库,所有你需要有一个oracle或mysql数据库. 本系统现在开发时使用的kettle版本是5.4,调整项目结构后,部署包中不包含kettle的jar,会通过环境变量KETTLE…

最近看了一些kettle的文章,都是kettle7.0以前的,已经跟不上时代了.截止笔者写这篇文章的时候,github上面的已经是7.1.0.3了,而且是发行版的,最新的快照版本已经是8.0的了.基于此,有必要写一篇关于7.1之后的版本的kettle说明了. 特别说明,我用的项目的构建工具是maven,而不是ant了,如果想用ant的童鞋可以用一下maven的插件maven-antrun-plugins,还是比较好用的. 好了,开始吧! 第一步:下载源码. 源码地址在github上面:https…

今天先来做一个简单的kettle的例子. 打开输入,选择CSV文件输入. 双击CSV文件输入图标,可以看见如下: 步骤名称:就是你这一步的名字,可以任意取,原则就是要明白,清楚这一步是做了什么操作. 文件名:是你要选取的这个.CSV结尾的文件的名称. 列分隔符:每个CSV文件都是有一定的规则的,要么是分号是分隔符,要么是逗号是分隔符等等. 包含列头行:这个是针对你的这个CSV是否具有表头,如果有就勾上,否则他就把第一行的表头当成数据导入了. 这样选择一个CSV格式的文件之后就可以了,接下来点击一…

我们在作业开发中为了处理效率, 经常需要并行执行一些trans, 等它们执行完毕后, 需要执行另外一些trans, 从流程上也就是分支+汇合. 粗看起来很简单, Kettle中对接一下这些组件就搞定了, 效果如下: 这是一个错误的设计, 如果这么简单没有必要写在博客备忘了. 它的执行效果是: 只要有一个分支执行完毕, 就会执行一次汇总分支, 上面的设计有两个分支, 汇总分支就被执行了两次, 显然不是我们预期的. 在上图基础上使用信号文件来改造一下, 设计图如下: 这个设计总体上是没有问题的, 每…

=============================主控trans + sub trans 模式=============================针对一个具体的处理任务(比如增量加载一个表), 我认为应该最好是使用两个trans来完成这个任务,分别是主控trans 和sub trans, 其中主控trans负责流程控制(包括依赖检查+增量区间设定+异常报警), sub trans仅负责数据转换, 这样能很好地隔离控制逻辑和数据处理逻辑. 用到的组件有:在主控trans中, 通过 T…

在平时工作当中,会遇到这种情况:复制一个库,几百甚至上千张表,并且无法设置dblink,此时通过kettle可以快速完成该任务. 按照正常的调度,有几百张表,咱们就要写几百个转换去处理,很不科学,下面笔者就给大家带来通过一个配置完成所有的全量表操作(后面的文章会带来增量) 如下图,我们需要建一个总的调度作业,包括一个转换和一个作业 1)[转换],我们打开转换看到如下,包含[excel输入],按照浏览,再添加加入文件,工作表获取工作表名称,字段选择对应的字段. 将结果复制到[复制记录到结果] 2)…

本文接上一篇,只写到读取日志.在平时工作当中,会遇到这种情况,而且很常见.比如:增量抽取(每隔2个小时抽取截至到上次抽取时间的记录) 本文中会用到作业,先来熟悉下作业的概念 简单地说,一个转换就是一个ETL的过程,而作业则是多个转换.作业的集合,在作业中可以对转换或作业进行调度 实际情况中,每次抽取完毕,会写入日志表,记录本次抽取时间,下次抽取会根据本次抽取的成功时间,开始获取数据进行抽取. 我们可以使用作业来完成调度任务,需要用到调度控件[start]和[成功]这两个. [start]可以控制…

(PS:这是很早以前在CSDN上发过的,那个账号不想用了,所以搬过来) 就在前一段时间,因为公司需要突然被老大告知要用一个ETL工具,第一次知道这么个工具,完全不知道是做什么的.大概问了一下,说是一种数据转化工具.这就开始了: 1.了解什么是ETL:百度百科ETL. 2.查找合适的ETL工具:支持Oracle.MySQL.开源,于是我遇到了KETTLE: 3.开始了解KETTLE,(连接为KETTLE的开源社区网) 4.下载KETTLE(PS:同样都是要学习,所以我选择了目前最新的版本:pdi-…

ETL利器Kettle实战应用解析系列一[Kettle使用介绍] 本系列文章主要索引如下: 一.ETL利器Kettle实战应用解析系列一[Kettle使用介绍] 二.ETL利器Kettle实战应用解析系列二 [应用场景和实战DEMO下载] 三.ETL利器Kettle实战应用解析系列三 [ETL后台进程执行配置方式] 本文主要阅读目录如下: 1.Kettle概念 2.下载和部署 3.Kettle环境配置 4.Kettle使用及组件介绍 ETL(Extract-Transform-Load的缩写,即…