kettle中转换和作业

2024-08-21

kettle转换和作业插件开发及调试

这是一篇几年前写下的文档,最近打算根据这篇文档重写一下kettle插件的教程.结果各种理由,一推再推.今天索性将这篇文档发布出来,分享给大家,例子等有空再补上.这是一篇基于kettle3.2基础上完成的kettle插件文档.然而现在最新版的kettle的界面已经完全变了样了,但是那些组件还是那么熟悉.对数据处理稍微熟悉点的应该对kettle都不陌生,kettle是一个快速格式化和数据抽取的工具.好吧,入正题: 如果你对kettle插件感兴趣可以到官网查看更多的资料:http://www.pent

Kettle 中转换(transformation)的执行过程

1,Spoon.java的main方法是整个Kettle运行的入口.当打开Kettle的设计器界面后,可以在其中设计作业和转换.这里讨论转换的执行过程. 2,设计好一个转换后,转换保存的本地文件是 .ktr文件.从 .ktr文件中可以读取出该转换的元数据transMeta. 3,点击运行按钮时,触发监听器,调用Spoon.java 的runFile() ,在runFile里面调用 executeFile().在executeFile()里面获得了transMeta数据. public void

kettle删除资源库中的转换或者作业

在资源库中新建转换,作业都很简单,那么加入现在不需要其中某个转换或者作业该怎么办呢? 下图是已经存在的转换跟作业现在需要删除aa这个转换操作步骤如下: 1.工具----资源库----探索资源库出现下图界面 2.删除资源库找到自己需要删除的转换,例如“aa”,右键,即可删除点击“是”,即可删除

ETL ： kettle Spoon 转换 + 作业

Kettle能做什么? 前言 : 需将db2中数据导入到mysql中,利用etl工具进行多表转换.以此为切入点,系统整理.学习kettle工具. 提醒: kettle是纯java编写,机器需要有jre环境.它允许管理来自不同数据库的数据,通过一个图形化的用户环境来描述你想要什么. kettle中有两种脚本工作.1)transformation(转换):完成针对数据的基础转换.后缀名 .ktr 2)job(作业):完成整个工作流的控制. 后缀名 .kjb Kettle是一款国外著名的开源e

kettle中全局变量的设置

设置全局变量. 找到.properties文件: 在文件中设置值: 在kettle中新建一个job(不用做任何设置): 转换中获取便元的设置: 重启kettle的执行结果:

kettle中调用java类

kettle中调用java类有时须要在kettle调用java类,如:验证.查询或自己定义加密等.有时甚至连主要的数据訪问都不那么简单,如获取一个存储文件或使用一个数据库连接,某些数据源可能封装在应用程序中,手工使用自己定义的javaclient訪问是唯一的方法. 本文介绍怎样在kettle中调用java类.演示样例代码在这里下载. 注:假设你使用kettle4.0及以上版本号.也你也能够使用user defined java class 步骤实现. Modified Java Scrip

kettle中使用javascript步骤和fireToDB函数实现自己定义数据库查询

kettle中使用javascript步骤和fireToDB函数实现自己定义数据库查询如果你须要实现非传统的数据库查询操作.为了讨论这样的情景,我们如果你须要读取数据库中的正則表達式,然后检查输入的每行的字段匹配表达式的个数. 在javascript步骤运行数据库查询在javascript步骤初始化的时候,查询数据库.获取正則表達式记录集.然后每一行的输入数据循环检查是否匹配表达式,假设匹配.记录变量加一,最后把结果写到到前行的新增字段中. 思路非常清楚,可是怎样在javascript步骤实

在kettle中实现数据验证和检查

在kettle中实现数据验证和检查在ETL项目,输入数据通常不能保证一致性.在kettle中有一些步骤能够实现数据验证或检查.验证步骤能够在一些计算的基础上验证行货字段:过滤步骤实现数据过滤:javascript步骤能够实现更复杂的计算. 通常以某种方式查看那些数据是有缺陷的也是实用的,由于大多数ETL是无人值守执行的,所以通常ETL程序会把这些缺陷数据通知给ETL开发人员或管理员.建议把这些问题数据行保存到一个特定的公共表格中,以便跟踪这些数据:那么该表格应该包含一些元信息,如:执行转换的名

Kettle中ETL的效率优化

ETL效率优化开启数据库日志记录及性能监控如果我们想要优化一个ETL(KTR或者KJB)的性能,我们首先需要知道的就是它的瓶颈在哪里.而这些信息一般只能在ETL运行的步骤度量中看到,并且是不会持久化的.如果你希望把一些数据记录下来,帮助以后进行查阅,那么可以开启数据库日志和性能监控. 作业 Edit -> Settings -> Log 具体设置过程就不细讲了,很简单. 转化 Edit -> Settings -> Logging 这时开启了日志记录,还需要设置性能监控 Edi

Kettle 中的循环

说道循环,小伙伴们肯定不陌生,就是重复干一件事:而kettle中的循环一般是发生在job中,因为job是串行执行的: kettle的循环有两种,一种是通过js脚本,另外一种是通过遍历前面步骤返回的每一行. 下面是我写的伪代码,我将使用Kettle来实现这段代码: array = ['sys1','sys2','sys3','sys4'] for variable in array: if variable == 'sys1' : print('%s被调用'%(variab

Kettle中JavaScript内置函数说明

本文链接:https://blog.csdn.net/u010192145/article/details/102220563 我们在使用JavaScript组件的时候,在左侧核心树对象栏中可以看到Kettle为我们提供了很多简洁强大的内置函数,帮助我们在写脚本的时候对数据.参数变量等能很轻松的做处理,体验编码的感觉.本篇将详细介绍JavaScript组件中的函数功能脚本组件包含的函数主要包括六大类,分别是: 字符串类型的函数(String Functions) 浮点型的函数(Numeric

PowerDesigner中转换物理模型时的命名转换

原文:PowerDesigner中转换物理模型时的命名转换最近在使用PowerDesigner建模数据库,在使用中积累了一些遇到的问题和解决办法,记录下来,希望对遇到同样问题的朋友有所帮助. 早期在PowerDesigner中,只有概念模型和物理模型,一般是先建立概念默认,然后根据具体的数据库生成物理模型.但是概念模型太抽象,物理模型太具体,于是在PowerDesigner15版本之后出现了“逻辑模型”,能够从概念模型和物理模型各自的角度上都容易理解.所以现在的数据库建模方式就变成了先建

在SQL Server Management Studio中可以运行作业但是用T-SQL运行则失败

原文:在SQL Server Management Studio中可以运行作业但是用T-SQL运行则失败问题: 在SQL Server Management Studio中可以运行作业但是用T-SQL运行则失败,反之亦然. 分析: 这种情况多数为执行时上下文(Context)安全性问题.在SSMS中执行的时候,T-SQL语句是在当前登录名下运行的.但是作业在SQL Server Agent中是以SQL Server Agent 服务(SQL Server Agent Service accou

SQL零星技术点：SQL中转换money类型数值转换为字符串问题

--SQL中转换money类型数值转换为字符串问题,直接转换就转为两位了,所以需要做一下处理.具体请看下述sql实例. 1 create table #test(price money) insert into #test values (45.2525) )) from #test --输出45.25 四位小数只有两位了 select convert(VARCHAR,price) from #test --输出45.25 四位小数只有两位了 select convert(VAR

AngularJS中转换响应内容

从远程API获取到的响应内容,通常是json格式的,有时候需要对获取到的内容进行转换,比如去除某些不需要的字段,给字段取别名,等等. 本篇就来体验在AngualrJS中如何实现. 在主页面,还是从controller中拿数据. <body ng-app="publicapi"> <ul ng-controller="controllers.View"> <li ng-repeat="repo in repos">

IP概念盛行的背后：资本在狂欢，电影想哭泣 IP，英文“Intellectual Property”的缩写，直译为“知识产权”。它的存在方式很多元，可以是一个故事，也可以是某一个形象，运营成功的IP可以在漫画、小说、电影、玩具、手游等不同的媒介形式中转换。

IP概念盛行的背后:资本在狂欢,电影想哭泣 IP容易拉投资.谈合作,甚至还能简化宣发途径,越来越多的人涌入了电影这个产业,争抢IP成为他们进入行业的最快捷的方法.IP盛行暴露出的另一个问题是国产电影原创力的匮乏. 刘慈欣渐渐习惯了出席和电影相关的场合,一遍遍回答“中国科幻电影离好莱坞到底有多远”之类的问题.上台演讲前,他通常把那个陈旧的双肩包留在座位上.他的演讲简明扼要,毫无煽动力——只要他一开口,你就可以轻易把他跟在场那些制片人.影视公司高层区分开——但他总能获得观众热烈的掌声