本来想在centos7下部署的,发现因为java版本的问题,无法成功部署,无奈,转到windows平台(后来找到解决方法了,在centos7系统下yum install webkitgtk* -y 就可以了,注意执行spoon.sh时需要在桌面环境下执行,我直接在xshell下执行,会报错,无法弹出图形界面) 下载地址 https://jaist.dl.sourceforge.net/project/pentaho/Pentaho%208.0/client-tools/pdi-ce-8.0.0.

1,启动SQL Server代理(SQL Server Agent),如下图所示: 2,右击作业--新建作业--常规--填写作业名称 3,步骤--新建 4,步骤名称--数据库名--要执行的存储过程名 --确定 5,高级

sql server 数据库中设置了晚上跑的作业,以前没注意,后来换了服务器建了新的虚拟机后第二天发现作业没跑. 主动执行作业可以实现目的,但是他不会自动执行,那么问题来了,为啥呢? 没有开启SQL Server Agent 服务,如果看到SQL Server 代理 (MSSQLSERVER) 不要慌,回去买本字典看看就懂了! 具体步骤: 第一种方案: 开始-->>>运行-->>>输入"services.msc"-->>>进入服务,

关于Kettle的事务和转换内步骤的顺序执行 近来有项目中遇到Kettle事务处理和转换内步骤顺序执行的问题.为此进行了研究,找到了一个解决办法. 在Kettle中,一个Job内的转换,缺省是顺序执行的:一个转换内的步骤,缺省是并行执行的.但是,社区版不支持job内的事务处理,只支持转换内的事务.因此,如果要做顺序操作,且支持事务,需要如下处理: 根据业务需要,使用“阻塞数据直到步骤都完成”在转换内设置顺序执行的内容: 设置转换只使用一个事务.转换设置–>杂项–>使用唯一连接. 设置转换内的表

pan 是执行转换的. Pan.bat /file C:\test.ktr /logfile c:\log.txt /level Basic kitchen是执行job的. kitchen.bat /file C:\test.kjb /logfile c:\log.txt /level Basic 更多资料可参考:http://wiki.pentaho.com/pages/viewpage.action?pageId=13175229#Kitchen%EC%82%AC%EC%9A%A9%EC%9

之前在本地测试新建kettle资源库很顺利,但是在把本地数据迁移到服务器的过程中出现了问题,多次新建资源库失败,提示插入数据错误. 解决办法: 将要执行的sql语句复制出来,单独在Navicat下执行,然后就可以顺利登录资源库了. LOFTER:我们的故事   http://ustory.lofter.com/post/33be15_ecbbe6

  1.Row Normaliser,将一行多列数据转换为多行一列数据. 输入数据流: 计算器配置如下: 与计算器相连接的excel输出如下: Row Normaliser,设置如下, 与Row Normaliser连接的Excel输入如下 2.Split field to rows 字段拆分,一个单元拆分成多行 输入流字段: Split field to rows 设置: 结果展示 3.拆分字段,将一个字段拆分成多个,一个字段拆分成多列 Generate Rows输入流, 拆分字段,设置,一个

1,Kettle跨平台使用.    例如:在AIX下(AIX是IBM商用UNIX操作系统,此处在LINUX/UNIX同样适用),运行Kettle的相关步骤如下:    1)进入到Kettle部署的路径    2)执行 chmod *.sh,将所有shell文件添加可执行权限    3)在Kettle路径下,如果要执行transformation,就运行./pan.sh -file=?.ktr -debug=debug -log=log.log    其中.-file说明你要运行的transfor

工具中找资源库或者CTRL+R

1.定义子服务器 新建子服务器中有一个必须为主服务器 新建集群 在需求集群运行的步骤中右键集群进行使用

1.创建作业 . 2. 发送邮件配置,测试邮件 发件地址可以使用的QQ.126.163等邮箱 smtp server的填写smtp.qq.com或者smtp.126.com等等都可以这里我用Q163邮箱发的邮件,自然也用Q163的smtp了 port 默认端口基本上都是25

简单粗暴的重启sql数据库 其他网上找的方法 32位操作系统: 打开运行(命令提示符), 一.输入 cd c:\windows\system32 进入到c:\windows\system32路径中 二.输入 regsvr32 "C:\Program Files\Microsoft SQL Server\100\DTS\Binn\dts.dll" 64位操作系统: 打开运行(命令提示符), 一.输入 cd c:\windows\syswow64 进入到c:\windows\syswow6

一.kettle是什么. Kettle是一款国外开源的ETL( Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract).转换(transform).加载(load)至目的端的过程)工具,纯java编写,可以在Window.Linux.Unix上运行,数据抽取高效稳定.Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出.    二.kettle安装 具体安装步骤 参考 http://jingy

最近开始折腾数据,起源是多业务数据源需要转换到数据分析平台.这个过程需要跨机器,跨库.同时还需要将业务数据表的内容进行转换,合并,清洗等等操作. 经过多方选型,最终决定使用kettle来作为数据抽取处理的工具. 但是,在这里,是想吐槽下kettle这东西的问题. 1.kettle的版本使用的是5.1,搭建了一个kettle的集群之后,经常遇到的问题就是虚拟文件系统异常,作业,或者转换 "is a not a file.".网上找到的解决办法是远程上传的作业是xml,但是缺乏XML头,因

Kettle日常使用汇总整理 Kettle源码下载地址: https://github.com/pentaho/pentaho-kettle Kettle软件下载地址: https://sourceforge.net/projects/pentaho/files/Data%20Integration kettle-plugin源码下载地址: https://gitee.com/nivalsoul/kettlePlugins#%E8%87%AA%E5%AE%9A%E4%B9%89%E8%BE%93

Kettle能做什么? 前言 : 需将db2中数据导入到mysql中,利用etl工具进行多表转换.以此为切入点,系统整理.学习kettle工具. 提醒: kettle是纯java编写,机器需要有jre环境.它允许管理来自不同数据库的数据,通过一个图形化的用户环境来描述你想要什么. kettle中有两种脚本工作.1)transformation(转换):完成针对数据的基础转换.后缀名 .ktr 2)job(作业):完成整个工作流的控制.   后缀名   .kjb Kettle是一款国外著名的开源e

相关概念: Kettle数据清洗是采用元数据(Meta-data)驱动,以数据流的方式进行的,数据从数据源(数据库/文件等)在一系列相连的step之间依次向后流动,各个step完成对流经该step的数据进行需要的处理工作. Kettle中的数据转换组件按粒度从小到大分为Step.Trans.Job. Step:是完成单一具体功能的组件,如从文件中读取数据.对流中的字段进行字符串拆分操作.对不能为空的字段设置相应默认值.将流中的数据写入到数据表等. Trans:转换,一般最终清洗完成的数据库中有多

一.下载 Kettle下载地址:https://community.hitachivantara.com/docs/DOC-1009855 下拉到DownLoad,点击红框中的链接进行下载.. 二.解压安装. 把zip包解压到指定文件夹(自己选择). 然后运行Spoon.bat这个批处理文件,耐心等候一会儿即可出现应用程序界面. 有兴趣的朋友可以用文本文档打开看看里面的批处理指令. 三.安装JDK.配置环境变量. 请移步另一个教程:XXXX(回头替换). 四.开启Kettle之路. 1.新建一个

Linux下实现kettle 自动同步数据 1.安装jdk tar -zxvf jdk-7u25-linux-x64.tar.gz -C /usr/share 2.配置java环境 vim /etc/profile 在末尾添加如下 export JAVA_HOME=/usr/share/jdk1.7.0_25 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools

1. 确保作业 $KETTLE_HOME/kitchen.sh -file=/data1/testdata/testkjb.kjb 或转换 $KETTLE_HOME/pan.sh -file=/data1/testdata/testktr.ktr 能在Linux下正常执行 此步骤在JDK配置正确,(Ps.可选择配置Kettle的环境变量,主要是定位程序所在主目录,不用每次引用绝对路径), 当前用户拥有对应*.sh文件有执行权限的情况下,很少有其它问题. 2.编写执行Kettle作业或转换的exe