KETTLE——（一）资源库

【KETTLE——（一）资源库】的更多相关文章

KETTLE 配置资源库

KETTLE 是一款开源的ETL工具,通过图形界面进行设计,可以对数据进行转换.设计好的文件分为两类,一类是trans,一类是job,这些文件可以存储到文件系统中. 也可以存储到数据库中. 如果存储到数据库,那么可以创建配置资源库. 配置步骤打开设计工具spoon.bat 点击加号点击创建或更新这里需要调整下sql语句 INSERT INTO R_USER(ID_USER, LOGIN, PASSWORD, NAME, DESCRIPTION,…

kettle创建资源库

手动修改一下这个表 R_VERSION INSERT INTO R_VERSION(ID_VERSION, MAJOR_VERSION, MINOR_VERSION, UPGRADE_DATE, IS_UPGRADE) VALUES (1,5,0,'2014/12/22 17:12:16.405',1) 我再添加kettle资源库,每次都sql语句错误.吧'N'改成1就行了.…

kettle新建资源库出错

之前在本地测试新建kettle资源库很顺利,但是在把本地数据迁移到服务器的过程中出现了问题,多次新建资源库失败,提示插入数据错误. 解决办法: 将要执行的sql语句复制出来,单独在Navicat下执行,然后就可以顺利登录资源库了. LOFTER:我们的故事 http://ustory.lofter.com/post/33be15_ecbbe6…

kettle的资源库创建及修改密码

在kettle中的转换或者作业等资源的存储的仓库称为资源库:分为文件资源库.数据库资源库. 一个转换或者作业可以属于某个资源库或者一个单独的文件形态存在. 一.数据库资源库 1.1在mysql中创建一个数据库作为数据库资源库 1.2创建数据库资源库工具-->资源库-->连接资源库-->点击加号-->选择创建数据库资源库因为我们要使用mysql作为资源库,所以kettle需要连接到mysql,也就是说需要mysql的驱动包,我们要把驱动包拷贝到kettle的lib目录下. 创建数据…

kettle的资源库

在kettle中的转换或者作业等资源的存储的仓库称为资源库:分为文件资源库.数据库资源库. 一个转换或者作业可以属于某个资源库或者一个单独的文件形态存在. 一.数据库资源库 1.1在mysql中创建一个数据库作为数据库资源库 1.2创建数据库资源库工具-->资源库-->连接资源库-->点击加号-->选择创建数据库资源库因为我们要使用mysql作为资源库,所以kettle需要连接到mysql,也就是说需要mysql的驱动包,我们要把驱动包拷贝到kettle的lib目录下. 创建数据…

kettle连接资源库设置

到这里你是登陆不上去的,需要创建或更新按钮,因为需要在你的数据库里创建关于kettle的数据表,来存储资源库点执行就可以了一般情况下kettle资源库自动给你创建两个用户: 工具->资源库->探索资源库----->安全---就有admin,guest两个用户微信公众号:…

Linux下用命令来执行kettle文件资源库的文件ktr与kjb的方法

转载地址: https://blog.csdn.net/zuolovefu/article/details/78083445 1. 准备工作一个简单的job,一个简单的trans. trans:读取download目录下的所有文件名,输出为文件.[界面情况下测试成功] 成功生成目标文件: job:创建文件.[界面模式测试执行成功] 执行结果: 把界面执行测试结果文件删除,以免影响观察. 2. linux环境以命令行方式执行job和trans Pan是用于执行trans的PDI命令行工具. Ki…

kettle删除资源库中的转换或者作业

在资源库中新建转换,作业都很简单,那么加入现在不需要其中某个转换或者作业该怎么办呢? 下图是已经存在的转换跟作业现在需要删除aa这个转换操作步骤如下: 1.工具----资源库----探索资源库出现下图界面 2.删除资源库找到自己需要删除的转换,例如“aa”,右键,即可删除点击“是”,即可删除…

kettle新建资源库（4）

工具中找资源库或者CTRL+R…

kettle资源库配置

资源库的作用:资源库是用来保存操作步骤和相关的日志,转换,JOB 等信息.用户通过图形界面创建的的转换任务可以保存在资源库中.资源库可以是各种常见的数据库,用户通过用户名/ 密码来访问资源库中的资源,默认的用户名/ 密码是admin/admin. 资源库并不是必须的,如果没有资源库,用户还可以把转换任务保存在 xml 文件中.转换文件以ktr为扩展名,作业文件以kjb为扩展名. kettle的资源库包括数据库资源库和文件资源库,在文件和数据库的基础上的封装,实现org.pentaho.di.re…

kettle系列-3.kettle读取数据库资源库很慢的优化

环境:windows7,jvm内存设置14G,kettle5.1后来升级到5.4,oracle作为资源库. 问题背景:我们通过web页面管理kettle的job运行,这只是一个管理界面,即使web项目停掉也不会影响job的运行情况,实际运行job的是后台程序,随着job数量的增多,达到三四百个时,job的运行速度也达到了难以接受的程度. 方案1: 针对出现的问题,经测试发现,job一经运行就不会再重新从资源库读取了(针对定时运行的job),job中的转换则每次都会重新从资源库中读取,我找到了or…

Kettle 初始配置数据量类型资源库

PS:有段时间不使用Kettle了,但总遇到小伙伴问起,写一篇记录下. 文档使用版本:KETTLE 7.0 Kettle资源库可分为文件与数据库,文件型只需要配置好存放路径就行,这边介绍的是配置数据库方式存储的资源库. 文件即所有的流程.任务都以文件格式存放在磁盘上,而数据库方式则存在数据库中. 相比与老版本Kettle来说,Kettle在5.0 还是 6.0(这个记不清了~) 做了一个大版本的修改(画风大变). 资源库的配置也从原来的"探索资源库"改到了如下图所示: Connect…

kettle常见问题解决

开源ETL工具kettle系列之常见问题摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在kettle的论坛上找到一些问题的答案 1. Join我得到A 数据流(不管是基于文件或数据库),A包含field1 , field2 , field3 字段,然后我还有一个B数据流,B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起来, 应该怎么样做.这是新手最容易犯错的一个地方,A数据流跟B数据流能够Joi…

使用Linux调用资源库中的Job报错-ERROR: No repository provided, can't load job.

使用kettle调用资源库中的作业或者是转换,需要注意一下两个问题: 问题一:(-rep后不需要IP)标准shell代码如下 #!/bin/bash export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64/jre export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools…

一、 kettle开发、上线常见问题以及防错规范步骤

此篇说明对应的kettle版本是6.1,实际使用时7.x应该也是一样的. 一. kettle开发流程(规范步骤,防止出错) (一) Kettle设置检查资源库连接如果不加一下配置项,数据转换后中文会出现乱码,很难处理. 本地连接资源库:配置项 defaultFetchSize 500 useCursorFetch true characterEncoding UTF-8 useUnicode true (二) Kettle注意事项 1.每个trans.jobs的…

kettle的系列教程

kettle--window开发环境和linux运行环境的迁移 kettle的输入输出组件和脚本组件 kettle--变量的使用 kettle的资源库 kettle的job kettle的hello world 出处:http://www.cnblogs.com/dongdone/category/861657.html ================================================================================= KETTLE…

Kettle日常使用汇总整理

Kettle日常使用汇总整理 Kettle源码下载地址: https://github.com/pentaho/pentaho-kettle Kettle软件下载地址: https://sourceforge.net/projects/pentaho/files/Data%20Integration kettle-plugin源码下载地址: https://gitee.com/nivalsoul/kettlePlugins#%E8%87%AA%E5%AE%9A%E4%B9%89%E8%BE%93…

开源ETL工具kettle系列之常见问题

开源ETL工具kettle系列之常见问题摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在kettle的论坛上找到一些问题的答案 1. Join我得到A 数据流(不管是基于文件或数据库),A包含field1 , field2 , field3 字段,然后我还有一个B数据流,B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起来, 应该怎么样做.这是新手最容易犯错的一个地方,A数据流跟B数据流能够Joi…

kettle优化

http://blog.csdn.net/cissyring/archive/2008/05/29/2494130.aspx 1. Join 我得到A 数据流(不管是基于文件或数据库),A包含field1 , field2 , field3 字段,然后我还有一个B数据流,B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起来, 应该怎么样做. 这是新手最容易犯错的一个地方,A数据流跟B数据流能够Join,肯定是它们包含join key ,join key 可以是…

java程序控制KETTLE JOB的执行

有时候我们想在java程序中触发远程服务器上kettle job的执行,并且获得执行结果.kettle的carte提供了远程执行job和transfer的功能. 我使用的kettle是6.1版本,部署在linux服务器上,没有使用资源库. 下面介绍下各个步骤:为了方便以windows系统为例 1.开启carte服务,在kettle安装目录下,运行Carte.bat,直接上图直接打Carte.bat后面不带任何参数就可以看到参数介绍,我这里在本机8081端口开启服务,看到最后的文字说明服务启动成…

ETL工具之Kettle的简单使用一(不同数据库之间的数据抽取-转换-加载)

ETL工具之Kettle将一个数据库中的数据提取到另外一个数据库中: 1.打开ETL文件夹,双击Spoon.bat启动Kettle 2.资源库选择,诺无则选择取消 3.选择关闭 4.新建一个转换 5.配置所需数据库 6.将需要进行提取的数据表,用表输入得到 7.选择源数据所在数据库及表,sql语句可自己输入 8.选择需要提取到的目标数据库及表(拖出来即可) 9.选择所对应的表中的对应列 10.按住Shift键,点击表输入拖到插入/更新 11.点击启动即可进行转换版权声明:本文为博主原创文章,未…

Kettle基本使用

Kettle基本使用 Kettle的几个子程序的功能和启动方式 Spoon.bat 图形界面方式启动作业和转换设计器. Pan.bat 命令行方式执行转换. Kitchen.bat 命令行方式执行作业. Carte.bat 启动web服务,用于Kettle的远程运行或集群运行. Encr.bat 密码加密. 转换和作业 Kettle的Spoon.bat设计器用来设计转换(Transformation)和作业(job). 转换主要是针对数据的各种处理,一个转换里可以包含多个步骤(Step)…

基于kettle8的web端调度监控平台

发布时间:2018-11-16 技术:spring+springmvc +beetlsql+quartz+kettle8 概述 Kettle调度监控平台(以下简称KS)是一个自主开发的javaweb程序,专门用来调度和监控由kettle客户端创建的job和transformation.KS整体的框架是由spring+sprin gmvc +beetlsql整合而成,通过调用kettle的API来执行转换和作业,并且使用quartz框架完成调度工作.此版本基于kettle-8.0.0.0-…

kettle用mysql创建资源库执行sql代码报错

一.原因: sql语句里边使用 'Y' 'N' 给boolean类型的赋值产生sql失败二.解决方法:将insert语句中‘Y’或‘N’ 改成TRUE或FALSE即可,共两张表3个地方本人是改成TRUE或FALSE之后不行,改成了0(假)或1(真)才成功的 (1)INSERT INTO R_VERSION(ID_VERSION, MAJOR_VERSION, MINOR_VERSION, UPGRADE_DATE, IS_UPGRADE) VALUES (1,5,0,'20…

kettle学习笔记（三）——kettle资源库、运行方式与日志

一.kettle资源库资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中. 资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称. 1.ketle资源库元数据 • 资源库资源库包括文件资源库.数据库资源库 Kettle 4.0 以后资源库类型可以插件扩展 • XML 文件 .ktr 转换文件的XML的根节点必须是 <transformation>. kjb 作业XML的根节点是<job> 2.kettl…

Kettle资源库采用SQLserver数据库需要注意的点

Kettle开源ETL工具有着自己的元数据存储方式,可以分为两种 1:File 2:DB 文件存储我这里就不多说了,下面说一下在用SQLserver2008 R2作为资源库在创建的过程中遇到的问题 Kettle Version :6.0.1 Sqlserver Version:2008R2 重点来了: 1:在创建资源库的时候会报数据类型错误,创建信息会有一些看上去是失败的.But 这个时候不用担心是以为创建资源库的脚本有一些问题 CREATE TABLE R_VERSION ( ID_VE…

linux系统下调度数据库类型资源库中的kettle job

已经存在kettle的一个资源库enfo,在目录/works/wxj下面有一个job (testmailsuccess.kjb)如何实现手工在kettle外部执行此job和让系统每天定时的调用此job. 进入linux系统,切换至kettle所属用户(确保kettle已经在linux系统上配置OK) 配置OK体现: A:进入目录执行 ./kitchen.sh 有帮助信息 B:kettle所属用户(我这里kettle在cognos用户里面配置的)根目录下有.kettle文件夹(和windows内容…