今天呕心沥血花了8个小时给大家带来kettle工作中最常见的四种复杂实例,90%的项目用到这4种实例都可以解决. 4种实例种还有2种通用kettle工具,使用这两种通用工具实例,可以直接修改相应的配置文件,完成数据的同步. 下面就一一给大家带来这4种实例,完全原创且可以拿来直接使用,废话不说,下面直接给大家带来具体实例: KETTLE4个工作中有用的复杂实例--1.数据定时自动(自动抽取)同步作业 一.表数据自动同步 1.为了给大家更直观的展示,[大喇叭玩转数据库]首先在数据库创建4张表,表结构

利用kettle组件导入excel文件到数据库 1.     实现目标 把excel文件内容导入到目标表中:然后用java调用kettle的转换.excel文件的内容仅仅有两列,示比例如以下: watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbmV3ZWFzdHN1bg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt=""

原创作品,出自 "深蓝的blog" 博客,转载时请务必注明出处.否则有权追究版权法律责任. 深蓝的blog:http://blog.csdn.net/huangyanlong/article/details/46863223 利用Kettle社区查找资料:举例:查找关于carte服务的配置 搜索kettle.进入kettle社区.例如以下: 进入社区站点后.找到kettle的document选项,点击.例如以下: 下拉到最低端,查找你要搜索的关键项,点击进入就可以.例如以下: 接下来就

利用 XPath-jQuery 集锦手册在 XPath 和 jQuery 之间做选择 利用 XPath-jQuery 集锦手册在 XPath 和 jQuery 之间做选择

最近参与了一个信托行业的BI项目,由于信托业务系统设计的问题,很多都是用户手工录入的数据,也有一些是需要分析的但是用户没有录入的数据,针对这样的数据质量,我们就要在ETL抽取的过程中来对数据流进行校验,今天我们就说一下如何利用ETL开源工具kettle来完成对数据的基础性校验 1:非空校验 ;} 2:唯一校验 var uniquesql_item_id = "SELECT count(*) FROM titem where item_id="+ITEM_ID; []==;} 3:标准化

1.     项目背景 1.1.  项目背景 数据接口 API:应用程序接口(Application Program Interface)的简称,是实现计算机软件之间数据通信的工具.同时API也是一种中间件,为各个平台提供数据共享.在大数据与物联网发展的背景下,目前有大量的数据接口被提供或发掘出来,提供给开发者使用,应用到生活中的每一个细节中.本文旨在阐述kettle对于数据接口的监控.调用及其转储,更多详细的数据接口内容不在此具体说明. 项目背景 本文旨在提供一种方法,以帮助同学们掌握Kett

SQLite作为一种数据库可以配置为Kettle的数据输入和输出,这个例子是从Excel中抽取数据然后写入到SQLite中 配置测试并成功后如下 下面是配置步骤: Excel输入配置 sqlite配置如下 选择表输入控件,建立数据库连接,选择连接类型 Generic database ,连接方式Native(jdbc), 自定义连接URL:jdbc:sqlite:E:/temp/20171205/ps_manager_grid.db 自定义驱动类型 org.sqlite.JDBC 保存测试成功

Kettle简介 Kettle(网地址为http://kettle.pentaho.org/)是一款国外开源的ETL工具,纯java编写,可以在Windows.Linux.Unix上运行,数据抽取高效稳定. Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出.Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制. Windows环境下的安装与配

之前一直使用python的PIL自定义裁切图片,今天有需求需要做一个前端的选择预览页面,索性就把这个功能整理一下,分享给大家. 实现思路: 1.前端页面: 用户选择本地一张图片,然后通过鼠标缩放和移动,确定自己所需要的图片切块,最终把图片切块的 左边距,上边距,长,宽这些个参数传给后台 2.后台: 使用的django,主要实现2部分的功能,第一:图片上传,第二:图片裁切 先看一张图片: 前端页面: 后台最后得到的图片: 对于该demo中,我用到了以下js插件: jquery-webox:弹出图层

还是那句话:十年河东,十年河西,莫欺少年穷. 目前,web端打印技术有很多,有收费的专业web打印控件,大家可以参考我的上一篇博客.当然,很多公司不愿意出钱,那么今天咱们就探讨下怎么做免费的打印. web端JS技术很强大,JS也提供了简单的打印方法,大家可参考JQprint()方法,这个方法网上有很多说明,在我的上一篇博客中也有提到,可以简单实现打印功能,大家可自行查询资料,在此不作说明. 现在咱们进入主题. 本篇旨在讲解用C#代码实现打印的方法及思路. 先说下思路: 项目模块各功能要求打印的内

一. 编写一条update语句实现商品涨价,具体规则如下 1.99元以内,提价20% 2.100-999元之间,提价10% 3.1000-1999之间,提价5% 4.其他提价2% update goods set price = ( case then price * 1.2 then price * 1.1 then price * 1.05 then price * 1.02 end); select * from goods; 二. 编写一条select语句,实现如下效果 学号   姓名 

本文为原创作品,转载请注明出处 欢迎关注我的博客:http://blog.csdn.net/hit2015spring 和 http://www.cnblogs.com/xujianqing/ 作者:晨凫追风 配置完Opencv,用来显示一张图片好像有点点不太过瘾,久闻Opencv大名.总得来一发看起来有点点稍微有点点好玩的应用嘛. (…………………..自行忽略…………………)Opencv由于它的开源,给我等凡人提供了非常好的机会接触世界上顶级大师的作品(…………………..自行忽略…………………

在HTML5中,提供了一个关于文件操作的API,通过这个API,对于从web页面上访问本地文件系统的相关处理变得十分简单.到目前为止只有部分浏览器对它提供支持. 1.FileList对象和File对象 FileList对象表示用户选择的文件列表,在HTML4中file控件内只允许放置一个文件,但在HTML5中通过添加multiple属性,file控件内允许放置多个文件.控件内的每一个用户选择的文件都是一个file对象,而FileList就是这些file对象的列表,代表用户选择的所有文件.file

导读 Excel数据导入Oracle数据库的方法: 1.使用PL SQL 工具附带的功能,效率比较低 可参考这篇文章的介绍:http://www.2cto.com/database/201212/176777.html 2.使用Kettle工具,免费,相比之下功能更丰富,可实现一定的业务逻辑,推荐使用 注:Kettle下载后解压即可使用,但是依赖jvm,可以安装一下JDK 1.7(推荐) Excel数据导入Oracle示例 Kettle将Excel数据导入Oracle过程记录如下: 1.准备Ex

Kettle 官网 ETL利器Kettle实战应用解析系列 利用kettle组件导入excel文件到数据库 kettle中实现动态SQL查询 java中调用kettle转换文件

一.背景 公司在用kettle做数据etl,每做完一个job或transformation发布上线想要立即执行看数据效果的话每次都是找运维同学登陆服务器打开kettle找到对应的文件点击执行,整个过程效率低下,不仅占用运维时间,期间自己也在白白等待,浪费生命. google "kettle remotely execute" 得知,这个是有解决方案的,其实kettle 本身就自带了此解决方案,只是一直忙于工作无(lan)暇(de)研究.大致就是利用kettle自带的Carte  开启一

kettle--window开发环境和linux运行环境的迁移 kettle的输入输出组件和脚本组件 kettle--变量的使用 kettle的资源库 kettle的job kettle的hello world 出处:http://www.cnblogs.com/dongdone/category/861657.html ================================================================================= KETTLE

Kettle 主要内容: 一．ETL介绍 二．Kettle介绍 三．Java调用Kettle API 一.ETL介绍 1. ETL是什么? 1).ETL分别是“Extract”.“ Transform” .“Load”三个单词的首字母缩写也即数据抽取.转换.装载的过程,但我们日常往往简称其为数据抽取. ETL包含了三方面: Extract(抽取):将数据从各种原始的业务系统中读取出来,这是所有工作的前提.一般抽取过程需要连接到不同的数据源,以便为随后的步骤提供数据.这一部分看上去简单而琐碎,实际

kettle实现数据库迁移----多表复制向导 需求: 做数据仓库时,需要将业务系统CRM抽取到数据仓库的缓冲层,业务系统使用的是SqlServer数据库,数据仓库的缓冲层使用的是mysql数据库,为实现数据库的迁移,即将SqlServer数据库中的所有表与数据迁移到Mysql.  解决办法一:利用kettle的复制多表复制向导 过程如下: 1.选择工具->向导->复制多表向导 2.选择源数据库和目的数据库 3.选择要复制的表 4.输入转换的名字即可 生成的job如下 其中每个子转换处理单张表

 A库a表(红色为抽取字段): 关联用户表: B库b表(红色为抽取字段): 关联用户表  C目标库SYS_OPLOG表(c表) 利用kettle抽取A库a表(具体名称见上图),B库b表的上面红色框起来的字段到C库c表.由于c表LOG_ID为主键且类型为varachar类型,而A库a表与B库b表的主键f_operation_id列为int类型(自增), 所以抽取时,我将"数据库名_f_operation_id"组织成c表的LOG_ID,在C表中为了区分不同系统,我将"数据库名&

Kettle日常使用汇总整理 Kettle源码下载地址: https://github.com/pentaho/pentaho-kettle Kettle软件下载地址: https://sourceforge.net/projects/pentaho/files/Data%20Integration kettle-plugin源码下载地址: https://gitee.com/nivalsoul/kettlePlugins#%E8%87%AA%E5%AE%9A%E4%B9%89%E8%BE%93