首先建立转换:从数据库表到日志 表输入的设置:   日志设置:   新建job:     转换选择刚才建好的输出日志转换.变量设置如下: 此ID就是转换中的${ID},执行job,可以看到控制台输出日志结果:   黑色字体部分中只写出了id=1的一条记录.   最后补充,将转换的日志写到数据库中:打开转换>ctrl+t>日志选项卡>转换>点击下面的SQL,执行SQL建表.执行完job会在数据库中写入日志记录.  

开源ETL工具kettle系列之常见问题 摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在kettle的论坛上找到一些问题的答案 1. Join我得到A 数据流(不管是基于文件或数据库),A包含field1 , field2 , field3 字段,然后我还有一个B数据流,B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起来, 应该怎么样做.这是新手最容易犯错的一个地方,A数据流跟B数据流能够Joi

使用kettle工具遇到的问题汇总及解决方案   转载文章版权声明:本文转载,原作者薄海 ,原文网址链接 http://blog.csdn.net/bohai0409/article/details/38072465,联系方式邮箱bohai7000@126.com.QQ-1511777. 问题1是     执行./spoon.sh报错 问题2是     测试数据库连接性报错 问题3是    在使用kettle导入数据过程中报错 问题1-1 执行./spoon.sh报如下错误 xlib:conne

开源ETL工具kettle系列之常见问题 摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在kettle的论坛上找到一些问题的答案 1. Join我得到A 数据流(不管是基于文件或数据库),A包含field1 , field2 , field3 字段,然后我还有一个B数据流,B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起来, 应该怎么样做.这是新手最容易犯错的一个地方,A数据流跟B数据流能够Joi

http://blog.csdn.net/cissyring/archive/2008/05/29/2494130.aspx 1. Join 我得到A 数据流(不管是基于文件或数据库),A包含field1 , field2 , field3 字段,然后我还有一个B数据流,B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起来, 应该怎么样做. 这是新手最容易犯错的一个地方,A数据流跟B数据流能够Join,肯定是它们包含join key ,join key 可以是

这篇博客主要是给mysql left join做铺垫,需要现在本地数据库创建一个users 数据表 然后去和 test_a03order表  left join 一.首先在local_db数据库先创建username表  USE local_db; CREATE TABLE users (username ), address ), telephone ), KEY username(username) ) ENGINE INNODB DEFAULT CHARSET=utf8 二.写导数SQL

1.创建MySQL空资源库报错问题:因为boolean类型的问题,Mysql中的boolean类型实际上保存为TINYINT,需要手动的修改生成资源库的sql脚本,将其中的插入用户ENABLED的值由Y修改为1,在数据同步的时候也特别要注意TINYINT类型的字段,ETL在读取数据以后会将值显示为Y或者N,保存到另外一张表的TINYINT中就会报错. 2.乱码问题:数据库连接在选项中添加characterEncoding=utf-8,资源库连接时也必须要加上这个,否则在Mac下中文会乱码 3.J

http://sheng8407-sina-com.iteye.com/blog/1163245 http://blog.csdn.net/dingxingmei/article/details/41957421 http://www.360doc.com/content/14/0729/23/10675863_398011066.shtml Kettle  mysql数据库连接 http://blog.csdn.net/gladmustang/article/details/41407851

项目适用kettle作为etl工具,源数据库为mysql库,目标库为oracle.在持续的循环调度中,经常发现oracle的数据库连接中断,需要重置. 具体报错信息如下: INFO  26-12 23:40:13,220 - Kitchen - Logging is at level : Basic loggingINFO  26-12 23:40:13,221 - Kitchen - Start of run.INFO  26-12 23:40:13,374 - WAN_PT_OLD_SJ_D

数据库连接测试时,所有的参数信息都填写正确,却报错了. 或者,没有进行数据库连接测试,直接保存了当前数据库连接,然后在浏览,选择目标表时报错: 或者其他别的关于数据库连接的错误…… 第一个要考虑的就是,可能是缺少对应的数据库连接驱动. 若像我一样用的是mysql的话,可以到kettle的lib目录下,寻找,看有木有名称类似于mysql-connector-java-x.x.x-bin.jar的jar包.没有就需要从网上下载一个,放到lib目录中,然后重新启动kettle即可. 有时,即便有数据库

kettle 数据库连接失败 测试连接提示缺少驱动. 提示错误信息:Driver class 'oracle.jdbc.driver.OracleDriver' could not be found, make sure the 'Oracle' driver (jar file) is installed.oracle.jdbc.driver.OracleDriver 解决方案:去官网下载驱动,并放入指定文件夹后,重启应用即可生效. 下载地址 参考位置:.\kettle\data-integr

kettle内置的jndi管理是simple-jndi,功能确实比较简单,我需要监控kettle性能,druid确实是很不错的选择,但没有提供对应的支持,我改进了druid源码,实现了simple-jndi的接口,就可以在simple-jndi/jdbc.properties中配置druid数据源了,通过druid可以得到很多监控数据. 具体druid的使用请参考官方教程:https://github.com/alibaba/druid/wiki/%E9%A6%96%E9%A1%B5,相当详细.

1.将kettle连接mysql的包放入lib文件目录 2.修改data-integration\simple-jndi路径下的jdbc.properties配置文件,加上如下内容(kettle为数据库名称,MYSQL8_DB为JNDI名称): MYSQL8_DB/type=javax.sql.DataSourceMYSQL8_DB/driver=com.mysql.cj.jdbc.DriverMYSQL8_DB/url=jdbc:mysql://localhost:3306/kettle?us

新增db连接(密码也可以设置参数) 转换中,右键空白处,选择转换设置

Kettle是一个开园ETL工具,做数据仓库用Spoon. 工具:下载Spoon,解压即可用   1.认识常用组件:     表输入     插入\更新     数据同步     文本文件输出     更新     自动文档输出     表输出       列转行     增加常量     增加序列     排序记录     行转列     过滤记录     数据库连接       合并记录     排序合并     记录关联(笛卡尔输出)     记录集连接       分组     在内存中

下面是试验的主要步骤: 在上一篇文章中LZ已经介绍了,实验的环境和实验目的. 在本篇文章中主要介绍侧重于对Kettle ETL的相应使用方法, 在这里LZ需要说明一下,LZ成为了避免涉及索引和表连接等操作, 在数据库mysql中重新创建一个不带有索引和外键约束的 customers数据库表. 但数据集合不变. 所以在后文中国使用,mysql.customers来代替前篇文章中的test.customers. 下面的截图是使用Spoon工具来整体对这个流程的描述: (图) 首先需要使用Kettle

1.  Job机制 一个job项代表ETL控制流中的一项逻辑任务.Job项将会顺序执行,每个job项会产生一个结果,能作为别的分支上job项的条件. 图 1 job项示例 1.1. Job类图简介 图 2 Job entry类图结构 1.1.1.    JobEntryInteface接口 JobEntryInterface是Job Entry插件的主要实现接口.主要包含以下功能: 1          保存Job Entry设置 实现类使用私有变量保存设置的参数,通过get.set方法获取和设

kettle-scheduler-boot 开发计划 序号 项目 状态 优先级 1 在线管理,编辑kettle脚本 紧急 2 通过源码实现集群,多线程执行任务 紧急 2 重构jpa部分,改为mybatis 一般 介绍 基于Spring-boot的kettle调度项目,参考了zhaxiaodong9860的代码并引用了其中的页面管理,后台代码自行参考了API进行工具化编写,方便使用 在原代码的基础上加入以下功能 1.修改数据库为oracle 2.增加mybatis相关依赖,陆续将jpa替换为myb

本介绍我的开源项目[kettle-manager]kettle管理平台如何获取并部署使用,该项目介绍请参看另一篇博文:http://www.cnblogs.com/majinju/p/5739820.html . 下面主要介绍项目部署流程,使用中有问题可以发邮件反馈. 准备工作: 本系统支持oracle和mysql数据库,所有你需要有一个oracle或mysql数据库. 本系统现在开发时使用的kettle版本是5.4,调整项目结构后,部署包中不包含kettle的jar,会通过环境变量KETTLE

要说的话这个工具类还是比较简单的,每个方法体都比较小,但用起来还是可以的,把开发中一些常用的步骤封装了下,不用去kettle源码中找相关操作的具体实现了. 算了废话不多了,直接上重点,代码如下: import java.util.List; import org.apache.log4j.Logger; import org.pentaho.di.core.KettleEnvironment; import org.pentaho.di.core.database.DatabaseMeta; i

资源库的作用:资源库是用来保存操作步骤和相关的日志,转换,JOB 等信息.用户通过图形界面创建的的转换任务可以保存在资源库中.资源库可以是各种常见的数据库,用户通过用户名/ 密码来访问资源库中的资源,默认的用户名/ 密码是admin/admin. 资源库并不是必须的,如果没有资源库,用户还可以把转换任务保存在 xml 文件中.转换文件以ktr为扩展名,作业文件以kjb为扩展名. kettle的资源库包括数据库资源库和文件资源库,在文件和数据库的基础上的封装,实现org.pentaho.di.re