介绍 Pentaho Data Integration (PDI) is an extract, transform, and load (ETL) solution that uses an innovative metadata-driven approach. Pentaho Data Integration (PDI) 是一个革新的,使用元数据驱动方法来输出,转换与读取数据的解决方案. 参考资料 官方主页:http://www.pentaho.com 帮助手册:https://help.

环境 MacOS Mojave (10.14.1) Pentaho Data Integration 8.2 Java 8 现象 从官方下载下来最新的安装包,解压之后,双击Data Integration,报安全问题,询问是否打开,同意并输入自己的开机密码. 然后,等了几秒之后,发现没有任何反应,再次双击Data Integration,依然没有任何相应. 解决办法 从Terminal启动 从terminal进入到解压之后的目录data-integration中,找到脚本spoon.sh,然后执

Pentaho Data Integration (Kettle) 使用此工具 按 索引  做 插入更新操作时,也可能报 索引重复 的错误, 解决方法:  匹配的索引字段可能有null值,会导致此错误,加入 is not null 过滤掉 索引字段为空的数据,插入/更新 即可.

上一篇:Pentaho Data Integration笔记 (一):安装 介绍 Spoon Intoduction site: http://wiki.pentaho.com/display/EAI/.01+Introduction+to+Spoon Spoon 是一个图形化用户界面,用户可以通过Spoon来设计transformations(数据转换文件)和jobs(数据转换任务),transformation与jobs可以在Pan和Kitchen这两个Kettle开发的工具执行并得出结果.

官方网站: http://wiki.pentaho.com/display/EAI/Kitchen+User+Documentation Kitchen Kitchen是一个可以执行Spoon编辑的Job的程序 使用Kitchen执行Job 官网主要介绍Linux平台下的命令,我主要介绍Windows平台下的命令 Options 选项 格式  /option:“value” Parameters 参数 格式 “-param:name=value” Repository 仓库 选择一个Reposi

官网连接: http://wiki.pentaho.com/display/EAI/Pan+User+Documentation Pan Pan 是一个可以执行使用Spoon编辑的transformation的程序. 解压缩PDI Software.zip就得到了Pan.bat 命令行使用Pan执行Transformation 官网主要介绍Linux平台下的命令,我主要介绍Windows平台下的命令 Options 选项 格式  /option:“value” Parameters 参数 格式

官网连接:http://wiki.pentaho.com/display/EAI/Call+DB+Procedure 描述 调用数据库存储过程步骤允许用户执行一个数据库存储过程,并且得到结果.存储过程或者方法只能通过他们的参数返回数据,并且输出参数必须定义在数据库存储过程Parameters中. F&Q 1. 设置完成DB Procedure Call之后,报错找不到相应的存储过程 在Proc-name中点击"Find it..."按钮之后,在Proc-name文本框当中的字符

Pentaho CE(Community Edition) 免费版本下载地址列表 http://sourceforge.net/projects/pentaho/files/Pentaho 插件名称 下载地址Pentaho Kettle http://sourceforge.net/projects/pentaho/files/Data Integration/Pentaho Reporting http://sourceforge.net/projects/jfreereport/files/

要做数据分析,领导让研究一下kettle. 先占个坑. 这里有个3.0的文档: http://wenku.baidu.com/link?url=hvw_cOBIXLXSGvftkGhXQic3CLC75-0IILGrtB-AyuxIgaDarhmZjfBLhMRcn9gIUEQPJ1OtxTT9joLgVXyFJxFougqR4ZnTQTCZ8vlIcMW 今天开始搞了一下,下载之后运行了一个sample. 下载安装很简单,到官网,直接download下了一个压缩吧, 解压之后就可以运行了.点s

Pentaho BIServer Community Edtion 6.1 集成了 Kettle 组件,可以运行Kettle 程序脚本.但由于Kettle没有直接发布到 BIServer-ce 服务的程序,所以,在本地(Windows环境)通过图形化界面开发完成的ETL 脚本 (.ktr & .kjb) ,需要上传到BIServer-ce 管理的资源库,才能被BIServer-ce 运行和调度. 重点:Kettle 资源库 与 BIServer-ce 资源库 建立一致的目录管理ETL脚本文件.

Kettle 8 已经发布, 下载地址还不太好找, 这里记录一下: 注: 所有大型软件升级都需要谨慎,  尤其是大版本的第一个小版本都不推荐在生产环境使用. github 总是有最新版 https://github.com/pentaho/pentaho-kettle/releases PDI-CE v8.0 https://sourceforge.net/projects/pentaho/files/Pentaho%208.0/client-tools/pdi-ce-8.0.0.0-28.zi

MySqlHelper.cs代码如下: using System; using System.Collections.Generic; using System.Linq; using System.Web; using System.Text; using System.Data; using System.Collections; using MySql.Data.MySqlClient; using MySql.Data.Types; using System.Configuration;

(下载的时候没有提示 不知道是正在下 还是出现错误 卡着了)..一直没有反应 下载前要以管理员身份运行 sudo su 再 python examples/finetune_flickr_style/assemble_data.py --workers=1 --images=2000 --seed 831486 或者在命令前加sudo 参考了 http://blog.csdn.net/lujiandong1/article/details/50495454 在使用这个教程时,主要遇到了两个问题:

This guide will walk you through connecting Microsoft Power BI to a MongoDB DataSet using our MongoDB certified ODBC driver. Microsoft Power BI enables rich data visualization of your company’s data through its suite of analytics tools, letting you e

打开一篇篇 IT 技术文章,你总能够看到“大规模”.“海量请求”这些字眼.如今,这些功能强大的互联网应用,都运行在大规模数据中心上,然而,对于大规模数据中心,你又了解多少呢?实际上,除了阅读一些科技文章之外,你很难得到更多关于数据中心的信息.数据中心每个机器的运行情况如何?这些机器上运行着什么样的应用?这些应用有有什么特点?对于这些问题,除了少数资深从业者之外,普通学生和企业的研究者很难了解其中细节. 1 什么是Alibaba Cluster Data? 2015 年,我们尝试在阿里巴巴的数据中

作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 欢迎转载 最近把之前写的Hadoop MapReduce程序又总结了下,发现很多逻辑基本都是大致相同的,于是想到能不能利用ETL工具来进行配置相关逻辑来实现MapReduce代码自动生成并执行,这样可以简化现有以及之后的一部分工作.于是选取了上手容易并对Hadoop支持的比较成熟的Pentaho Kettle来测试,把一些配置过程和遇到的坑记录下来. Kettle可以在官网下载到,但是官网会让你注册才能下载而

四种BI 开源工具介绍-SpagoBI,openI,JasperSoft,Pentaho 1 BI系统的简述 从技术角度来说 BI 包含了 ETL.DW.OLAP.DM等多环节.简单的说就是把交易系统已经发生过的数据,通过ETL工具抽取到主题明确的数据仓库中,OLAP后生成Cube或报表,透过Portal展现给用户,用户 利用这些经过分类.聚集.描述和可视化的数据,支持业务决策. 这些众多的BI项目从规模和对BI系统支撑的完善程度上来说,大体可以分为Framework.Stand-alone T

How to use a PDI job to move a file into HDFS. Prerequisites In order to follow along with this how-to guide you will need the following: Hadoop Pentaho Data Integration Sample Files The sample data file needed for this guide is: File Name Content we

1 引言: 项目最近要引入大数据技术,使用其处理加工日上网话单数据,需要kettle把源系统的文本数据load到hadoop环境中 2 准备工作: 1 首先 要了解支持hadoop的Kettle版本情况,由于kettle资料网上较少,所以最好去官网找,官网的url: http://wiki.pentaho.com/display/BAD/Configuring+Pentaho+for+your+Hadoop+Distro+and+Version 打开这个url 到页面最下面的底端,如下图: ar

ETL和Kettle简介     ETL即数据抽取(Extract).转换(Transform).装载(Load)的过程.它是构建数据仓库的重要环节.数据仓库是面向主题的.集成的.稳定的且随时间不断变化的数据集合,用以支持经营管理中的决策制定过程.数据仓库系统中有可能存在着大量的噪声数据,引起的主要原因有:滥用缩写词.惯用语.数据输入错误.重复记录.丢失值.拼写变化等.即便是一个设计和规划良好的数据库系统,如果其中存在着大量的噪声数据,那么这个系统也是没有任何意义的,因为“垃圾进,垃圾出”(ga