kettle学习之Spoon使用 2018-08-04 10:40:01 首先介绍两个博客入门: https://blog.csdn.net/zzq900503/article/details/78543778 https://blog.csdn.net/Install_/article/details/80252565 自己的安装过程: 1.下载安装:首先下载kettle,下载地址为http://kettle.pentaho.org,注意下载社区版,因为社区版是免费的!!!kettle是绿色软

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,数据抽取高效稳定.其中,Spoon是Kettle中的一个组件,其他组件有PAN,CHEF,Encr和KITCHEN等. Spoon通过图形化的页面,方便直观的让你完成数据转换的操作. 1.安装配置 点我下载 最新版本是7.1,小编这里使用的是6.1.下载完毕后,解压即可. 因为是Java编写的,需要jdk环境.配置完环境后,运行Spoon.bat或spoon.sh,就可以看到Spoon的页面了

ETL是什么?为什么要使用ETL?KETTLE是什么?为什么要学KETTLE?        ETL是数据的抽取清洗转换加载的过程,是数据进入数据仓库进行大数据分析的载入过程,目前流行的数据进入仓库的过程有两种形式,一种是进入数据库后再进行清洗和转换,另外一条路线是首先进行清洗转换再进入数据库,我们的ETL属于后者. 大数据的利器大家可能普遍说是hadoop,但是大家要知道如果我们不做预先的清洗和转换处理,我们进入hadoop后仅通过mapreduce进行数据清洗转换再进行分析,垃圾数据会导致我

一,理解开发环境与生产环境. 比如,在windows或mac下设计好流程之后,把该设计文件上传到linux集群的机器上执行.那么,在windows下进行的工作即为开发环境,任务具体在linxu机器上执行即为生产环境. 二,Kettle转换 转换包括一个或多个步骤,步骤之间通过跳(hop)来连接.跳定义了一个单向通道,允许数据从一个步骤流向另一个步骤.在Kettle中,数据的单位是行,数据流就是数据行从一个步骤到另一个步骤的移动. 步骤:是转换的基本组成部分,以图标的形式出现.如(表输入.文本文件

kettle介绍 PDI(Kettle)是一种开源的 ETL 解决方案,书中介绍了如何使用PDI来实现数据的剖析.清洗.校验.抽取.转换.加载等各类常见的ETL类工作. 除了ODS/DW类比较大型的应用外,Kettle实际还可以为中小企业提供灵活的数据抽取和数据处理的功能. Kettle除了支持各种关系型数据库.HBase.MongoDB这样的NoSQL数据源外,它还支持Excel.Access这类小型的数据源. 并且通过插件扩展,Kettle 可以支持各类数据源.本书详细介绍了Kettle可以

1-资源库 资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中.        资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称.        资源库有两种形式:        一.Kettledatabase repository,即保存在各种常见的数据库资源库类型,用户通过用户名/密码来访问资源库中的资源,默认的用户名/密码是admin/admin和guest/guest.        二.Kettle fi

Spoon 是Kettle的设计调试工具 [Demo文档下载] https://files.cnblogs.com/files/shexunyu/Kettle-Spoon-Demo%E5%B8%AE%E5%8A%A9%E6%96%87%E6%A1%A3.zip[驱动下载] https://files.cnblogs.com/files/shexunyu/Kettle-Spoon-Mysql-Mssq-Orcle-lwin64%E9%A9%B1%E5%8A%A8.zip[SpoonDemo源文件下

spoon.bat 启动kettle. 测试数据 1. 新建转换 输入中选择文本文件输入 双击设置文本输入 字符集.分隔符设置 获取对应的字段,预览记录. 拖入 excel输出,设置转换关系 设置输出路径 获取字段 启动转换 导入的excel数据(设置好格式,图中ID,AGE 就不会有小数点)

Kettle是Pentaho的一个组件,主要用于数据库间的数据迁移(ETL). Kettle有三个主要组件:Spoon,Kitchen,Pan.其中Spoon是一个图形化的界面. 一.安装kettle 1.kettle是国外一款开元ETL工具,纯Java编写,所以需要在Java环境下运行. jdk下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载安装jdk,配置Jav

前言 现在的数据库种类越来越多,数据库备份的格式也越来越复杂,所以数据格式化一直是一个老生常谈的问题.据库备份文件格式那么多,既有SQL的,也有BAK的,还有TXT的等.数据库种类也有很多,MySQL,Oracle,SQL server等,怎么对这些数据库进行管理?昨天泄露access格式的数据库,今天泄露了excel格式的数据库,明天又泄露了SQL格式的数据库.要格式化那么多种类的数据库,压力山大啊!搭建个本地的数据库怎么那么复杂? 这里就要说到kettle.首先得说说Pentaho这个企业.

  1.情景展示 启动kettle的Spoon.bat闪退,并没有进入kettle的启动界面. 2.原因分析 使用条件: jdk版本需>=1.6: java需配置环境变量. 如果满足了上述前提条件,问题一般出现在:kettle为Java虚拟机的内存配置过大,导致无法正常启动程序. 3.解决方案 修改Spoon.bat里的内存配置,一般可以解决这个问题. 选中Spoon.bat-->右键-->编辑--> 默认值为: if "%PENTAHO_DI_JAVA_OPTIONS%

参考:三大主流ETL工具选型 ETL工具 Kettle Spoon 开源ETL工具,所以免费,用java开发的. Ascential公司的Datastage(在2005年被IBM收购现在是 IBM 的分公司) 常见且常用,收费,可下载破解注册版 DataStage软件的优缺点:优点日志详细维护方便,缺点占用内存空间较大.参考:http://zhidao.baidu.com/link?url=Apt-gTOOiNDskzBXTpYtrkw-3OtdvdgRBAAsz7RB9cevYyROiyypm

ETL第一篇(Kettle Spoon) 初遇 ETL第二篇 调用webservice 简介 Kettle 是一款国外开源的 ETL 工具,纯 Java 编写,绿色无需安装,数据抽取高效稳定(数据迁移工具).Kettle 中有两种脚本文件,transformation 和 job,transformation 完成针对数据的基础转换,job 则完成整个工作流的控制. Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出. Kettle这个E

1.Java环境配置问题: java_home:D:\Program Files\Java\jdk1.7.0_25(安装jdk路径) classpath:.;%java_home%\lib\dt.jar;%java_home%\lib\tools.jar path:在path路径中添加%java_home%\bin;%java_home%\jre\bin; kettle_home:D:\Program Files\data-integration(安装kettle路径) 2.Java版本太低了,

1.下载spoon包和驱动 可以去spoon官网下载需要的spoon版本 官网 :http://kettle.pentaho.org/ 下载的最新版本的kettle是:pdi-ce-7.1.0.0-12 官方入门文档 :https://wiki.pentaho.com/display/EAI/Getting+Started 我所使用的spoon包,包括spoon7.1.Mysql驱动和Oracle驱动,链接:https://pan.baidu.com/s/16Q-iUNB7qGU0xlKbGTw

1.Java环境配置问题 java_home:D:\Program Files\Java\jdk1.7.0_25(安装jdk路径) classpath:.;%java_home%\lib\dt.jar;%java_home%\lib\tools.jar path:在path路径中添加%java_home%\bin;%java_home%\jre\bin; kettle_home:D:\Program Files\data-integration(安装kettle路径) 2.Java环境配置对了,

ETL是Extract”.“ Transform” .“Load”三个单词的首字母缩写分别代表了抽取.转换.装载.是数据仓库中重要的一环.ETL是数据的抽取清洗转换加载的过程,是数据进入数据仓库进行大数据分析的载入过程,抽取将数据从各种原始的业务系统中读取出来,这是所有工作的前提.转换按照预先设计好的规则将抽取得数据进行转换,使本来异构的数据格式能统一起来.装载将转换完的数据按计划增量或全部导入到数据仓库中.大数据的利器大家可能普遍说是hadoop,但是大家要知道如果我们不做预先的清洗和转换处理

报错信息: Attempting to load ESAPI.properties via file I/O. Attempting to load ESAPI.properties as resource file via file I/O. Not found in 'org.owasp.esapi.resources' directory or file not readable: /mnt/data-integration/ESAPI.properties Not found in Sy

org.eclipse.swt.SWTError: No more handles [gtk_init_check() failed]     at org.eclipse.swt.SWT.error(Unknown Source)     at org.eclipse.swt.widgets.Display.createDisplay(Unknown Source)     at org.eclipse.swt.widgets.Display.create(Unknown Source)   

aaarticlea/png;base64,iVBORw0KGgoAAAANSUhEUgAAAccAAAAYCAIAAAAAgaGrAAAE1klEQVR4nO1b2ZWrMAylLgpyPa7Gzb