Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,数据抽取高效稳定. 本文介绍一个入门例子:使用Kettle从动态指定的文件名对应的文本文件里抽取数据,导入到数据库临时表. 共分为2个步骤: 1.使用Kettle工具生成代表上述数据导入流程和转换的ktr文件 文本文件输入 -> 表输出 特别说明的是文本文件输入里的文件名是可以用变量,然后在步骤2中动态指定文件名的,如下 2.在java程序中使用Kettle API调用上述ktr文件,执行导入…

一.准备文件 1.安装java虚拟机 2.安装kettle安装文件 二.使用步骤 1.点击Spoon.bat,启动kettle,弹出DOS窗口如下: 2.进入主界面 3.新建资源库…

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,数据抽取高效稳定.其中,Spoon是Kettle中的一个组件,其他组件有PAN,CHEF,Encr和KITCHEN等. Spoon通过图形化的页面,方便直观的让你完成数据转换的操作. 1.安装配置 点我下载 最新版本是7.1,小编这里使用的是6.1.下载完毕后,解压即可. 因为是Java编写的,需要jdk环境.配置完环境后,运行Spoon.bat或spoon.sh,就可以看到Spoon的页面了…

第一章ETL入门 1.1 OLPT和数据仓库对比 普通的事务系统和商业智能系统(BI)有什么区别? 1个独立的普通事务系统也被称为在线事务处理系统(OLTP) 商业智能系统也常被称为决策支持系统(DSS) OLTP和BI数据库最大的区别在于处理的数据量. 对比 使用中BI系统也经常作为业务系统的一部分,预先处理好一部分数据提供给业务系统调用并展现. 1.2 ETL是什么 ETL是抽取.转换.加载的缩写.含义为从数据源抽取数据加工到数据仓库的一些操作的集合. 抽取:一般需要连接到不同的数据源 转换…

最近做的项目用到了ETL工具Kettle,这个工具相当好用,可以将各种类型数据作为数据流,经过处理后再生成各种类型的数据.正如其名“水壶”,将各个地方的水倒进水壶里,再用水壶倒入不同的容器.不过一来初学乍用,二来对此任务不是很感兴趣,研究的不是很深入,可能是以一种不科学的方法使用的,但观教程,常用的内容似乎也涉及到了,并且Y大说过,要善于总结,于是有了这篇,作为入门说明吧. 一.下载与安装 官网地址 大概700~800M,下载好解压缩即可.当然,要求JDK环境(似乎有自带) 二.任务(.kjb)…

本文要点:Kettle的建立数据库连接.使用kettle进行简单的全量对比插入更新:kettle会自动对比用户设置的对比字段,若目标表不存在该字段,则新插入该条记录.若存在,则更新.   Kettle简介:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,数据抽取高效稳定.Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出.Kettle这个ETL工具集,它允许你管理来自不同数据库的数据…

kettle  水壶 正如其名“水壶”,将各个地方的水倒进水壶里,再用水壶倒入不同的容器. 勺子-Spoon.bat/spoon.sh 图形界面工具,就是启动上图主界面的命令行. ketchen 厨房 pan 平底锅 作业脚本的后缀是kjb,转换脚本的后缀是ktr KETTLE使用变量有两种语法: 1. %%变量名%% 2. ${变量名} 注意:使用${变量名}的时候,如果值是字符串则加上' ',即'${变量名}',如果是数值型则不用. kettle 4.0为例 1 新建转换 2.新建DB连接k…

一.概述 1.kettle是什么 Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,绿色无需安装,数据抽取高效稳定.中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出. 更多介绍,参考kettle中文网:http://www.kettle.net.cn/ 2.kettle四大家族 Chef(中文:厨师).Kitchen(中文:厨房).Spoon(中文:勺子).Pan(中文:平底锅)---注意英文发…

  1.Row Normaliser,将一行多列数据转换为多行一列数据. 输入数据流: 计算器配置如下: 与计算器相连接的excel输出如下: Row Normaliser,设置如下, 与Row Normaliser连接的Excel输入如下 2.Split field to rows 字段拆分,一个单元拆分成多行 输入流字段: Split field to rows 设置: 结果展示 3.拆分字段,将一个字段拆分成多个,一个字段拆分成多列 Generate Rows输入流, 拆分字段,设置,一个…

1.安装 配置Java环境 Java环境配置问题 java_home:D:\Program Files\Java\jdk1.7.0_25(安装jdk路径) classpath:.;%java_home%\lib\dt.jar;%java_home%\lib\tools.jar path:在path路径中添加%java_home%\bin;%java_home%\jre\bin; kettle_home:D:\Program Files\data-integration(安装kettle路径) -…