之前在本地测试新建kettle资源库很顺利,但是在把本地数据迁移到服务器的过程中出现了问题,多次新建资源库失败,提示插入数据错误. 解决办法: 将要执行的sql语句复制出来,单独在Navicat下执行,然后就可以顺利登录资源库了. LOFTER:我们的故事   http://ustory.lofter.com/post/33be15_ecbbe6

资源库的作用:资源库是用来保存操作步骤和相关的日志,转换,JOB 等信息.用户通过图形界面创建的的转换任务可以保存在资源库中.资源库可以是各种常见的数据库,用户通过用户名/ 密码来访问资源库中的资源,默认的用户名/ 密码是admin/admin. 资源库并不是必须的,如果没有资源库,用户还可以把转换任务保存在 xml 文件中.转换文件以ktr为扩展名,作业文件以kjb为扩展名. kettle的资源库包括数据库资源库和文件资源库,在文件和数据库的基础上的封装,实现org.pentaho.di.re

一.kettle资源库 资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中. 资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称. 1.ketle资源库元数据 • 资源库 资源库包括文件资源库.数据库资源库 Kettle 4.0 以后资源库类型可以插件扩展 • XML 文件 .ktr 转换文件的XML的根节点必须是 <transformation>. kjb 作业XML的根节点是<job> 2.kettl

Kettle开源ETL工具有着自己的元数据存储方式,可以分为两种 1:File 2:DB 文件存储我这里就不多说了,下面说一下在用SQLserver2008 R2作为资源库在创建的过程中遇到的问题 Kettle Version  :6.0.1 Sqlserver Version:2008R2 重点来了: 1:在创建资源库的时候会报数据类型错误,创建信息会有一些看上去是失败的.But  这个时候不用担心 是以为创建资源库的脚本有一些问题 CREATE TABLE R_VERSION ( ID_VE

一>文件资源库配置 1. 建立文件资源库:点击工具->资源库->连接资源库菜单 使用文件资源库不需要用户名和密码,如果没有资源库可以点击右上角的"+"新建资源库,如下图: 第一种方式为建立数据库的资源库,本例选择使用文件资源库,选择确定后会要求选择文件资源库的路径,并给文件资源库设置一个ID和名称 2. 创建转换和任务 如下图,随意创建一个转换 然后保存到资源库中,创建任务方式基本相同: 3. 浏览资源库内容 如上图有两个按钮,第一个用于打开资源库的转换或任务,第二个

手动修改一下这个表 R_VERSION INSERT INTO R_VERSION(ID_VERSION, MAJOR_VERSION, MINOR_VERSION, UPGRADE_DATE, IS_UPGRADE) VALUES (1,5,0,'2014/12/22 17:12:16.405',1) 我再添加kettle资源库,每次都sql语句错误.吧'N'改成1就行了.

PS:有段时间不使用Kettle了,但总遇到小伙伴问起,写一篇记录下. 文档使用版本:KETTLE 7.0 Kettle资源库可分为文件与数据库,文件型只需要配置好存放路径就行,这边介绍的是配置数据库方式存储的资源库. 文件即所有的流程.任务都以文件格式存放在磁盘上,而数据库方式则存在数据库中. 相比与老版本Kettle来说,Kettle在5.0 还是 6.0(这个记不清了~) 做了一个大版本的修改(画风大变). 资源库的配置也从原来的"探索资源库"改到了如下图所示: Connect

在kettle中的转换或者作业等资源的存储的仓库称为资源库:分为文件资源库.数据库资源库. 一个转换或者作业可以属于某个资源库或者一个单独的文件形态存在. 一.数据库资源库 1.1在mysql中创建一个数据库作为数据库资源库 1.2创建数据库资源库工具-->资源库-->连接资源库-->点击加号-->选择创建数据库资源库 因为我们要使用mysql作为资源库,所以kettle需要连接到mysql,也就是说需要mysql的驱动包,我们要把驱动包拷贝到kettle的lib目录下. 创建数据

一.部署准备 1.1 java安装(略) 1.2 JDK配置 1.     命令行键入“cd /etc”进入etc目录 2.     命令行键入“vi profile”打开profile文件 3.     敲击键盘ctrl+F到文件末尾 4.     在末尾处,即第一个~的地方,敲击键盘将以下内容输入到文件 export JAVA_HOME=/usr/java/jre1.6.0_45 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAV

到这里你是登陆不上去的,需要创建或更新按钮,因为需要在你的数据库里创建关于kettle的数据表,来存储资源库 点执行就可以了 一般情况下kettle资源库自动给你创建两个用户: 工具->资源库->探索资源库----->安全---就有admin,guest两个用户 微信公众号:

本介绍我的开源项目[kettle-manager]kettle管理平台如何获取并部署使用,该项目介绍请参看另一篇博文:http://www.cnblogs.com/majinju/p/5739820.html . 下面主要介绍项目部署流程,使用中有问题可以发邮件反馈. 准备工作: 本系统支持oracle和mysql数据库,所有你需要有一个oracle或mysql数据库. 本系统现在开发时使用的kettle版本是5.4,调整项目结构后,部署包中不包含kettle的jar,会通过环境变量KETTLE

要说的话这个工具类还是比较简单的,每个方法体都比较小,但用起来还是可以的,把开发中一些常用的步骤封装了下,不用去kettle源码中找相关操作的具体实现了. 算了废话不多了,直接上重点,代码如下: import java.util.List; import org.apache.log4j.Logger; import org.pentaho.di.core.KettleEnvironment; import org.pentaho.di.core.database.DatabaseMeta; i

第一部分:开始 1         ETL入门 1.1   OLTP和数据仓库对比 1.2   ETL是什么 1.2.1          ETL解决方案的演化过程 1.2.2          ETL基本构成 1.3   ETL.ELT和EII 1.3.1          ETL 1.3.2          EII:虚拟数据整合 1.4   数据整合面临的挑战 1.4.1          方法论:敏捷BI 1.4.2          ETL设计 1.4.3          获取数据

kettle--window开发环境和linux运行环境的迁移 kettle的输入输出组件和脚本组件 kettle--变量的使用 kettle的资源库 kettle的job kettle的hello world 出处:http://www.cnblogs.com/dongdone/category/861657.html ================================================================================= KETTLE

Kettle 主要内容: 一．ETL介绍 二．Kettle介绍 三．Java调用Kettle API 一.ETL介绍 1. ETL是什么? 1).ETL分别是“Extract”.“ Transform” .“Load”三个单词的首字母缩写也即数据抽取.转换.装载的过程,但我们日常往往简称其为数据抽取. ETL包含了三方面: Extract(抽取):将数据从各种原始的业务系统中读取出来,这是所有工作的前提.一般抽取过程需要连接到不同的数据源,以便为随后的步骤提供数据.这一部分看上去简单而琐碎,实际

Kettle日常使用汇总整理 Kettle源码下载地址: https://github.com/pentaho/pentaho-kettle Kettle软件下载地址: https://sourceforge.net/projects/pentaho/files/Data%20Integration kettle-plugin源码下载地址: https://gitee.com/nivalsoul/kettlePlugins#%E8%87%AA%E5%AE%9A%E4%B9%89%E8%BE%93

一直以来服务器是linux系统,但是感觉linux图形化不强,于是从接触kettle以来都是在windows系统操作ETL的设计和处理.现在需要在linux中查看一下kettle资源库是否连接正常,以及在linux上调度kettle的job,就需要在Linux上配置kettle环境了. 登陆-linux-(切换到kettle部署的用户下面) 第一:产看系统的java环境,cat .bash_profile 文件 从上面可以看到,在cognos用户下已经安装了java jdk,版本是1.6.0_2

示例功能(仅供测试): 在JAVA项目中,将数据从Excel文件导入数据库中.实现该能有多种方法,而本例则是“不走寻常路”,尝试借助Kettle实现数据导入. 原理: Java中调用存储在Kettle资源库的Trans(转换),在Trans中将实现数据的验证.转码.导入,并导出错误数据的Excel 环境: MyEclipse 8.5 + Kettle 4.4 + Oracle/MySQL JAVA代码示例: 需要用到的jar包: kettle-core.jar kettle-db.jar ket

Pentaho BIServer Community Edtion 6.1 集成了 Kettle 组件,可以运行Kettle 程序脚本.但由于Kettle没有直接发布到 BIServer-ce 服务的程序,所以,在本地(Windows环境)通过图形化界面开发完成的ETL 脚本 (.ktr & .kjb) ,需要上传到BIServer-ce 管理的资源库,才能被BIServer-ce 运行和调度. 重点:Kettle 资源库 与 BIServer-ce 资源库 建立一致的目录管理ETL脚本文件.

Kettle基本使用 Kettle的几个子程序的功能和启动方式 Spoon.bat 图形界面方式启动作业和转换设计器. Pan.bat 命令行方式执行转换. Kitchen.bat   命令行方式执行作业. Carte.bat   启动web服务,用于Kettle的远程运行或集群运行. Encr.bat 密码加密. 转换和作业 Kettle的Spoon.bat设计器用来设计转换(Transformation)和作业(job). 转换主要是针对数据的各种处理,一个转换里可以包含多个步骤(Step)