Spoon.sh设置-Dpentaho.karaf.root.copy.dest.folder=$PENTAHO_KARAF_ROOT -Dpentaho.karaf.root.transient=false Directory cleanup:  -Dpentaho.karaf.root.transient=true True forces the karaf folder to delete itself on exit of the application. False allows th

KETTLE 是一款开源的ETL工具,通过图形界面进行设计,可以对数据进行转换.设计好的文件分为两类,一类是trans,一类是job,这些文件可以存储到文件系统中.   也可以存储到数据库中.   如果存储到数据库,那么可以创建配置资源库.   配置步骤   打开设计工具spoon.bat       点击加号   点击创建或更新     这里需要调整下sql语句   INSERT INTO R_USER(ID_USER, LOGIN, PASSWORD, NAME, DESCRIPTION,

java环境变量配置: path增加    ;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin; 双击spoon.bat即可

bat 调度文件如下 cd D:/Program Files/kettle700/data-integrationKitchen.bat /rep repository /dir /TEST /job test_param -param:"p_begin_date=20170101" -level=Detailed>> d:/csa.logpause; (注意加双引号,不然等于会被解析成空格,赋值失败) job 内容 作业属性 设置变量 验证参数

PS:有段时间不使用Kettle了,但总遇到小伙伴问起,写一篇记录下. 文档使用版本:KETTLE 7.0 Kettle资源库可分为文件与数据库,文件型只需要配置好存放路径就行,这边介绍的是配置数据库方式存储的资源库. 文件即所有的流程.任务都以文件格式存放在磁盘上,而数据库方式则存在数据库中. 相比与老版本Kettle来说,Kettle在5.0 还是 6.0(这个记不清了~) 做了一个大版本的修改(画风大变). 资源库的配置也从原来的"探索资源库"改到了如下图所示: Connect

作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 欢迎转载 抽空用kettle配置了一个Mapreduce的Word count,发现还是很方便快捷的,废话不多说,进入正题.一.创建Mapper转换 如下图,mapper读取hdfs输入,进行word的切分,输出每个word和整数常量值 1>MapReduce Input:Mapper输入,读取HDFS上的输入文件内容以键值对存储; 2>Spit filed to rows:读取value值以分隔符 &qu

一.背景 公司在用kettle做数据etl,每做完一个job或transformation发布上线想要立即执行看数据效果的话每次都是找运维同学登陆服务器打开kettle找到对应的文件点击执行,整个过程效率低下,不仅占用运维时间,期间自己也在白白等待,浪费生命. google "kettle remotely execute" 得知,这个是有解决方案的,其实kettle 本身就自带了此解决方案,只是一直忙于工作无(lan)暇(de)研究.大致就是利用kettle自带的Carte  开启一

1 Kettle总体步骤 由于Kettle自身的特殊性以及在多个步骤中kettle自身处理数据库事务的特殊性,尝试了很多种方案,最终确定暂使用如下方案. 1.使用此方案可以解决kettle本身数据库事务的缺点 2.使用此方案可以解决支队多个表中同时往一张总表中同步数据时,取时间戳不准的问题. 3.配置时,每个支队的数据汇聚时,都单独配置一个转换作业任务. 4.Kettle支持字段映射,转换,以及作业定时运行等. 2 Kettle配置实现 A)清空临时表 B)读取交换时间 C)读取需要交换的数据

1.文件夹介绍 下载Kettle6.1解压后出现下图相关文件夹以及文件夹介绍说明: Lib:存放Kettle的核心(core)jar包.工作引擎(engine)jar包.数据库(DB) jar包.图形界面(UI) jar包. Plugins:存放Kettle自定义插件时,需要把自定义好的插件打成jar放在此目录. Docs:存放Kettle各种语言版本的API文档. Pwd:存放Kettle配置集群时所需要的配置文件与加密文件. Libswt:存放Kettle对应不同平台的相关UI jar包.

一 Kettle配置与部署 参考1:http://www.cnblogs.com/limengqiang/archive/2013/01/16/KettleApply1.html 1.下载kettle安装包 Kettle可以在http://kettle.pentaho.org/网站下载. 下载kettle压缩包,解压缩到任意本地路径. 2.安装和配置jdk 3.运行kettle 在windows中执行spoon.bat,在类unix系统中执行spoon.sh. 二 kettle文档教程 官方教程

1.     项目背景 1.1.  项目背景 数据接口 API:应用程序接口(Application Program Interface)的简称,是实现计算机软件之间数据通信的工具.同时API也是一种中间件,为各个平台提供数据共享.在大数据与物联网发展的背景下,目前有大量的数据接口被提供或发掘出来,提供给开发者使用,应用到生活中的每一个细节中.本文旨在阐述kettle对于数据接口的监控.调用及其转储,更多详细的数据接口内容不在此具体说明. 项目背景 本文旨在提供一种方法,以帮助同学们掌握Kett

最开始用于解决MySQL转移数据到ORACLE的问题,尝试了几种方法. 1.直接从Mysql导出csv文件.这种方式最直接简单,但是问题是数据大的话,容易出现数据对不齐的情况,导入这个时候就会出现错误. 2.直接导出其余方式的文件,有的根本无法操作,导出sql文件,但是脚本不一样,也无法解决问题. 然后就用到,Kettle是Pentaho的一个组件,主要用于数据库间的数据迁移(ETL). Kettle有三个主要组件:Spoon,Kitchen,Pan.其中Spoon是一个图形化的界面. 一.安装

Kettle简介 Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows.Linux.Unix上运行,s数据抽取高效稳定.Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出.Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做.Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换

目录 Kettle学习笔记(一)-环境部署及运行 Kettle学习笔记(二)- 基本操作 kettle学习笔记(三)- 定时任务的脚本执行 Kettle学习笔记(四)- 总结 Kettle简介 Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows.Linux.Unix上运行,s数据抽取高效稳定.Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出.Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提

资源库的作用:资源库是用来保存操作步骤和相关的日志,转换,JOB 等信息.用户通过图形界面创建的的转换任务可以保存在资源库中.资源库可以是各种常见的数据库,用户通过用户名/ 密码来访问资源库中的资源,默认的用户名/ 密码是admin/admin. 资源库并不是必须的,如果没有资源库,用户还可以把转换任务保存在 xml 文件中.转换文件以ktr为扩展名,作业文件以kjb为扩展名. kettle的资源库包括数据库资源库和文件资源库,在文件和数据库的基础上的封装,实现org.pentaho.di.re

本文主要阅读目录如下: 1.简介Kettle的Kitchen和Span 2.命令行调度任务配置方式 3.后台进程配置运行方式 4.Windows任务设置 5.Demo下载 1.简介Kettle的Kitchen和Span 前面两篇文章中主要讲述了Kettle的 Spoon的转换和作业的GUI设计方式以及运行,也给出了Demo实战,那么实际上我们的应用模式可能会要求在服务器上以后台进程的方式运行这个ETL任务,就像我们传统上一般都是用Windows服务的方式来处理数据一样,那么用Kettle我们怎么

1.下载kettle包,并解压http://community.pentaho.com/projects/data-integration/2.安装jdk,并配置java环境 a).打开我的电脑--属性--高级--环境变量 b).新建系统变量JAVA_HOME和CLASSPATH 变量名:JAVA_HOME 变量值:C:\Program Files\Java\jdk1.7.0[具体路径以自己本机安装目录为准] 变量名:CLASSPATH 变量值:.;%JAVA_HOME%\lib\dt.jar;

1).到官网下载需要安装的kettle版本,目前最新版本4.2,官网地址:http://kettle.pentaho.org,我们是使用的版本是kettle3.2 2).本地安装jdk 1.4或以上版本. 3).配置java环境变量 a).打开我的电脑--属性--高级--环境变量 b).新建系统变量JAVA_HOME和CLASSPATH 变量名:JAVA_HOME 变量值:C:\Program Files\Java\jdk1.7.0[具体路径以自己本机安装目录为准] 变量名:CLASSPATH

0x01 Kettle软件概览 Spoon:集成开发环境 Kitchen:作业的命令行运行程序,可以通过Schell脚本来调用 Pan:转换的命令行程序 Carte:轻量级的HTTP服务,后台运行,监听HTTP请求来运行一个作业 1.1 Spoon 主要用于ETL设计阶段. 1.2 命令行启动:Kitchen和Pan 作业和转换可以在图形界面里执行,但这只是在开发.测试和调试阶段.在开发完成后需要部署到实际运行环境中,在部署阶段Spoon就很少用到了. 在部署阶段,一般需要通过命令行执行,需要把

Kettle参数化配置 在做系统化的Kettle实现方案,我们基本要定义一些不变的参数,在整个生命周期中使用,或者设置一些特定的参数,在一些特定的JOB中使用.参数化配置有利用我们Kettle实现规范化和合理化.现整理介绍基本Kettle参数化配置的实现方案:1.整个Kettle级别的参数:         这些参数只要你打开Kettle就可以使用的,默认保存的 KETTLE_HOME中的.kettle文件中的kettle.properties文件中: !如果你没有设置KETTLE_HOME的环

服务端安装 从官网下载服务端安装包(含字符客户端/代理组件) 1.环境变量设置 在fedora的终端下,输入sudo vi /etc/profile,将以下语句添加至文末 export TASKCTLDIR=$HOME/taskctlexport PATH=$PATH:$TASKCTLDIR/bin:. 2.环境变量启用 source /etc/profile即可应用新设置的环境变量 3.taskctl字符界面安装 终端中进入解压后的文件夹cirinst,运行./inst命令,进入字符安装界面