Kettle能做什么? 前言 : 需将db2中数据导入到mysql中,利用etl工具进行多表转换.以此为切入点,系统整理.学习kettle工具. 提醒: kettle是纯java编写,机器需要有jre环境.它允许管理来自不同数据库的数据,通过一个图形化的用户环境来描述你想要什么. kettle中有两种脚本工作.1)transformation(转换):完成针对数据的基础转换.后缀名 .ktr 2)job(作业):完成整个工作流的控制.   后缀名   .kjb Kettle是一款国外著名的开源e…

ETL第一篇(Kettle Spoon) 初遇 ETL第二篇 调用webservice 简介 Kettle 是一款国外开源的 ETL 工具,纯 Java 编写,绿色无需安装,数据抽取高效稳定(数据迁移工具).Kettle 中有两种脚本文件,transformation 和 job,transformation 完成针对数据的基础转换,job 则完成整个工作流的控制. Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出. Kettle这个E…

参考:三大主流ETL工具选型 ETL工具 Kettle Spoon 开源ETL工具,所以免费,用java开发的. Ascential公司的Datastage(在2005年被IBM收购现在是 IBM 的分公司) 常见且常用,收费,可下载破解注册版 DataStage软件的优缺点:优点日志详细维护方便,缺点占用内存空间较大.参考:http://zhidao.baidu.com/link?url=Apt-gTOOiNDskzBXTpYtrkw-3OtdvdgRBAAsz7RB9cevYyROiyypm…

前言 现在的数据库种类越来越多,数据库备份的格式也越来越复杂,所以数据格式化一直是一个老生常谈的问题.据库备份文件格式那么多,既有SQL的,也有BAK的,还有TXT的等.数据库种类也有很多,MySQL,Oracle,SQL server等,怎么对这些数据库进行管理?昨天泄露access格式的数据库,今天泄露了excel格式的数据库,明天又泄露了SQL格式的数据库.要格式化那么多种类的数据库,压力山大啊!搭建个本地的数据库怎么那么复杂? 这里就要说到kettle.首先得说说Pentaho这个企业.…

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,数据抽取高效稳定.其中,Spoon是Kettle中的一个组件,其他组件有PAN,CHEF,Encr和KITCHEN等. Spoon通过图形化的页面,方便直观的让你完成数据转换的操作. 1.安装配置 点我下载 最新版本是7.1,小编这里使用的是6.1.下载完毕后,解压即可. 因为是Java编写的,需要jdk环境.配置完环境后,运行Spoon.bat或spoon.sh,就可以看到Spoon的页面了…

1,Spoon.java的main方法是整个Kettle运行的入口.当打开Kettle的设计器界面后,可以在其中设计作业和转换.这里讨论转换的执行过程. 2,设计好一个转换后,转换保存的本地文件是 .ktr文件.从 .ktr文件中可以读取出该转换的元数据transMeta. 3,点击运行按钮时,触发监听器,调用Spoon.java 的runFile() ,在runFile里面调用 executeFile().在executeFile()里面获得了transMeta数据. public void…

pentaho kettle是目前使用比较广泛的一种etl工具 但是在使用的时候如做定时任务 会存在如果任务异常停止会发生数据不准或者丢失数据的情况 这种情况在<Pentho Kettle Solutions>应该也有所涉及 但是并未给出实际的解决方案 以下文章是本人自己的解决思路: 首先使用标识符字段来判断数据是否已被抽取: 图中表最后一个字段flag为标识符,每次抽取数据完成后 更新此flag以表示数据已经被调取 转换示意图: 这是很常用的一种数据抽取方法,每次抽取数据都判断table A…

spoon.bat 启动kettle. 测试数据 1. 新建转换 输入中选择文本文件输入 双击设置文本输入 字符集.分隔符设置 获取对应的字段,预览记录. 拖入 excel输出,设置转换关系 设置输出路径 获取字段 启动转换 导入的excel数据(设置好格式,图中ID,AGE 就不会有小数点)…

Kettle在控件中拥有行列转换功能,但是行列转换貌似是弄反了. 一.行转列 1.数据库脚本 create TABLE StudentInfo ( studentno int, subject ), grade int );,); ,); ,); ,); ,); ,); ,); ,); ,); commit; 2.总体行转列示意图 2.1表输入配置 2.2列转行配置 2.3字段选择配置 2.4文本文件输出配置 输出到文件后查看内容 二.列转行 1.数据库脚本 CREATE TABLE Stude…

上不同的地图服务平台对地图文件格式的要求多种多样,arcgis使用的文件很难应用于其他平台上,因此需要有格式转换的服务来克服这种使用不同平台带来的麻烦,下面以TIFF格式转GEOTIFF格式为例. 首先需要准备几件事: 1.确保安装了arcgis data interoperability for desktop 2.在自定义菜单>扩展模块中勾选Data Interoperability 3.在ArcToolbox中新建一个自己的工具箱,右键工具箱>新建>选择spatial etl to…