Kettle简介 Kettle(网地址为http://kettle.pentaho.org/)是一款国外开源的ETL工具,纯java编写,可以在Windows.Linux.Unix上运行,数据抽取高效稳定. Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出.Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制. Windows环境下的安装与配

一.下载 Kettle下载地址:https://community.hitachivantara.com/docs/DOC-1009855 下拉到DownLoad,点击红框中的链接进行下载.. 二.解压安装. 把zip包解压到指定文件夹(自己选择). 然后运行Spoon.bat这个批处理文件,耐心等候一会儿即可出现应用程序界面. 有兴趣的朋友可以用文本文档打开看看里面的批处理指令. 三.安装JDK.配置环境变量. 请移步另一个教程:XXXX(回头替换). 四.开启Kettle之路. 1.新建一个

Kettle开源ETL工具有着自己的元数据存储方式,可以分为两种 1:File 2:DB 文件存储我这里就不多说了,下面说一下在用SQLserver2008 R2作为资源库在创建的过程中遇到的问题 Kettle Version  :6.0.1 Sqlserver Version:2008R2 重点来了: 1:在创建资源库的时候会报数据类型错误,创建信息会有一些看上去是失败的.But  这个时候不用担心 是以为创建资源库的脚本有一些问题 CREATE TABLE R_VERSION ( ID_VE

效果: 描述: 此操作适用于单点登录的同步用户. 首先,使用kettle将DB2数据同步到SQL中,然后添加到windows的任务计划中.定时执行同步数据. 特殊说明:此工具涉及到公司版权,所以不方便上传.如要使用,可以去网上下载类似的工具. 步骤: 1.连接DB2 2.连接完DB2以后,测试一下数据 3.筛选DB2中的字段 4.进行更新插入到SQLserver中 5.连接SQLserver 6.查看字段是否正确 7.执行同步 8.执行结果 9.创建批处理 10.将批处理添加到windows任务

1.新建转换databasejoin 2.添加两个db连接 mysql的db连接kettlemysql以及sqlserver2008的db连接kettlesql 前提是在\data-integration\lib目录下要有mysql-connector-java-5.1.39.jar以及jtds-1.3.1.jar 3.mysql与sqlserver的两张表通过type字段进行关联 执行转换后查看目标表:

1.mysql存储过程,可以实现动态表读取,满足较为复杂的业务逻辑 DROP PROCEDURE if exists p_get_car_trace; delimiter // CREATE PROCEDURE p_get_car_trace() begin ); ); set var_tabe_name = 'geom1'; set var_sql = concat_ws(' ', 'select id,AsText(geo) geo from ', var_tabe_name); set @

1.Sql Server的 数据库链接 Sql server链接有两类,MS SQL SERVER 和 MS SQL SERVER(NATIVE),这两个有什么区别呢,且看下面. 第一类,MS SQL SERVER 链接,填写好信息后,进行测试,报错. 接下来,我们点开特征列表查看一下: 第二类,使用MS SQL SERVER(NATIVE),如下, 特征列表如下, 由此可以推断出,MS SQL SERVER 和MS SQL SERVER(NATIVE)不仅使用了不同的驱动,而且连接数据库的方式

因近期需要进行sqlserver数据到mysql之间的数据同步.偶然之间发现了这一款工具ELK 一.下载 1.Kettle可以在http://kettle.pentaho.org/网站下载 2.下载的文件是一个压缩包随便放在win下都可以解压后文件如下 二.启动注意事项 1.由于工具需要安装java环境所以自己去下载JDK和安装 2.如果启动的过程中提示JVM内存不足可以修改启动文件(Spoon.bat)中的对应配置 3.连接数据库过程中需要下载对应的驱动否则会提示连接不上  三.运行žKett

本文主要阅读目录如下: 1.应用场景 2.DEMO实战 3.DEMO下载 1.应用场景 这里简单概括一下几种具体的应用场景,按网络环境划分主要包括: 表视图模式:这种情况我们经常遇到,就是在同一网络环境下,我们对各种数据源的表数据进行抽取.过滤.清洗等,例如历史数据同步.异构系统数据交互.数据对称发布或备份等都归属于这个模式:传统的实现方式一般都要进行研发(一小部分例如两个相同表结构的表之间的数据同步,如果sqlserver数据库可以通过发布/订阅实现),涉及到一些复杂的一些业务逻辑如果我们研发

ETL利器Kettle实战应用解析系列一[Kettle使用介绍] 本系列文章主要索引如下: 一.ETL利器Kettle实战应用解析系列一[Kettle使用介绍] 二.ETL利器Kettle实战应用解析系列二 [应用场景和实战DEMO下载] 三.ETL利器Kettle实战应用解析系列三 [ETL后台进程执行配置方式] 本文主要阅读目录如下: 1.Kettle概念 2.下载和部署 3.Kettle环境配置 4.Kettle使用及组件介绍 ETL(Extract-Transform-Load的缩写,即

kettle可以使用jdbc的方式设置job或者tansform的数据库连接,但是,同时它也支持JNDI方式连接数据库,后者更加方便,只需要配置一份配置文件就可以了,不用每个DBConnection都配置一遍.具体使用方法如下: 1. 在data-integration\simple-jndi\jdbc.properties中加入jdbc的连接信息. 比如: ############ ORACLE ################ ORA/type=javax.sql.DataSource OR

问题描述: 1:oracle数据库连接登陆时突然变得很慢:sqldeveloper链接数据库很慢: 2:Kettle-spoon etl程序访问数据库,任务执行时报 :数据库连接 IO错误 :Socket Time Out 错误. 解决: 1:lsnrctl status 用命令查看oracle监听状态:命令执行后,过许久才显示结果(正常很快显示): 2:分析是不是监听日志太大了.从上命令的呈现结果中找到日志路径: Listener Parameter File   /u01/app/oracl

环境: source:  54     Centos7  oracle12.2           ogg12.3 target  :    52 Windows sqlserver2012     ogg12.3 建议不要用oracle12.2  还是用12.1吧.ogg尽量比oracle版本新一点.如ogg12.3 > oracle12.2. 配置参数: source: 1. 添加defgen参数文件(由于是异构数据库之间的传输,需要转换字段类型,需用到defgen工具生成定义文件) GGS

昨天因为当前这个二次开发项目的接近尾声,要求我们将生产环境数据库里的数据迁移到现在新的数据库来,但老数据库里是sqlserver而新数据库则是ORACLE,不仅仅面对着数据库数据类型结构不一致的问题,还因为在二次开发的过程中新添了很多字段与表关联.而因为其它工程师都比较忙的原因,写一个通用的数据迁移工具类的重任就交到了我头上.一开始的思路是利用XML加数据落地(比如先使用一个excle暂存)的方式,实现生产环境数据库字段到开发环境数据库表字段的手动映射.后来感觉工作量巨大而且用起来估计也很麻烦,

今天简单的学习了一下ETL工具kattle了,只是简单的上手,不过这也已经够我去做POC了. 首先大体介绍一下kattle,Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,绿色无需安装,数据抽取高效稳定.因为有客户在使用这个,为了跟客户交流时不至于不懂,所有今天就稍微弄了一下,还行,基本能完成我的工作. 首先在kattle官网下载kattle,然后解压文件,打开里面的spoon.bat就可以运行它了,很简单. 现在我是有这样的需求的,需要将

原文地址:http://www.xue51.com/soft/5341.html Kettle是来自国外的一款开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,绿色无需安装.Kettle可以帮助你实现你的ETTL需要:抽取.转换.装入和加载数据数据,且抽取高效稳定.Kettle这个ETL工具集,翻译成中文名称应该叫水壶,寓意为希望把各种数据放到一个壶里然后以一种指定的格式流出.它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你

从excel工作表中读取数据逐行执行insert语句插入到sqlserver 为了简单起见只选取了三个个字段作为参数,日期,字符类型的需要加上'' Spoon是作业配置的GUI界面,配置好后可以通过控制台提示符方式执行 1:cmd方式运行 1.ktr的运行:运行transformation文件是通过Pan.bat来运行的. 打开cmd命令行窗口,转到Pan.bat所在的目录,如d:\data-integration,然后执行文件的命令为:pan /file D:\etltest\EtltestT

一.原因:  sql语句里边使用 'Y' 'N'  给boolean类型的赋值产生sql失败    二.解决方法:将insert语句中‘Y’或‘N’ 改成TRUE或FALSE即可,共两张表3个地方    本人是改成TRUE或FALSE之后不行,改成了0(假)或1(真)才成功的 (1)INSERT INTO R_VERSION(ID_VERSION, MAJOR_VERSION, MINOR_VERSION, UPGRADE_DATE, IS_UPGRADE) VALUES  (1,5,0,'20

在对数据库做迁移的时候,会有很多方法,用存储过程,job,也可以用开源工具kettle,那么今天这些天变接触到了一种新的方法,就是SqlServer中自带的发布与订阅. 首先说明一下数据复制的流程.如下图A是(192.168.210.170)上的数据库,B是(172.23.100.109)上的数据库.把B当作数据源,然后A从B上获取数据. 发布前准备:首先两个服务器之间要能相互通讯,也就是能ping命令能通.   平时我们链接数据库的时候,经常都是用的ip登陆,但是发布的时候不能这样,必须用服务

简介 Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,绿色无需安装,数据抽取高效稳定. Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出. Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做. Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础