kettle系列-kettle管理平台部署说明
本介绍我的开源项目[kettle-manager]kettle管理平台如何获取并部署使用,该项目介绍请参看另一篇博文:http://www.cnblogs.com/majinju/p/5739820.html 。
下面主要介绍项目部署流程,使用中有问题可以发邮件反馈。
准备工作:
- 本系统支持oracle和mysql数据库,所有你需要有一个oracle或mysql数据库。
- 本系统现在开发时使用的kettle版本是5.4,调整项目结构后,部署包中不包含kettle的jar,会通过环境变量KETTLE_HOME关联到你的kettle的jar,从而支持你下载的kettle版本,理论上与5.4版本相差不大都不会有问题。
- 下载部署包:http://pan.baidu.com/s/1o7MIup0#path=%252F ,若无特殊需求,建议使用与部署包一起提供的kettle版本。用mysql的下载new文件夹下的,把其中的数据库连接都改为mysql的jdbc连接就行了。
部署流程:
- 通过kettle自带ui在oracle或mysql中创建一个数据库资源库(这里是需要你用kettle连接你的数据库,用kettle去生成资源库的表和数据,后面我只是在你已有的资源库上做了下的改动),后续需要将资源库信息配置到系统中去。
- oracle数据:
- 第一次使用,在oracle中创建本系统的数据库用户km(可自定义,需要修改对应配置),然后将部署包中【doc\sql中的dmp】导入km用户中。
- 再按doc\sql\myNote.sql文件指示执行其中的脚本,修改kettle资源库表结构和完善km库表结构。
- mysql数据:
- 第一次使用,在mysql中创建本系统使用的的数据库km(可自定义,需要修改对应配置),然后将部署包中【doc\sql\mysql中的km结构和km数据】导入km数据库中。
- 再按doc\sql\mysql\myNote.sql文件指示执行其中的脚本,修改kettle资源库表结构。
- 根据实际情况设置kettle jndi文件位置环境变量:KETTLE_JNDI_ROOT=E:\kettle\simple-jndi。然后将文件:doc\杂物\jdbc.properties 拷贝到该目录,根据实际情况修改其中数据库信息,还可以按样例格式新增其他数据库。
- 设置环境变量:KETTLE_HOME=D:\NIS\data-integration5.4,该变量需要在项目启动脚本中引用kettle的jar,然后将发布包中的ext-lib拷贝到KETTLE_HOME对应的目录(新的启动脚本中已经支持自动拷贝相关文件)。
- 自行修改日志配置文件:log4j.xml,可以调整日志目录等。
- default中是配置文件,建议每个配置文件都打开看看,需根据实际情况修改,主要修改数据库信息、ip、端口、各种目录等。
- 可以修改start.bat文件内容以修改使用的端口。
- 双击运行start.bat脚本启动项目。
- 将日志和运行状态修改的作业:doc\杂物\作业日志记录.kjb 导入你的资源库。
- 运行正常后就可以访问了,默认地址是:http://127.0.0.1:86 ,若运行时修改了端口,这里对应修改即可。默认超级管理员账号:admin/000000
注意事项:
- 不要使用系统自带的记事本编辑配置文件,否则会导致系统无法正常读取你修改的配置文件,可以使用editpuls或notepad++。
- 启动脚本会自动拷贝文件完成你的kettle改造,使你的kettle支持我的kettle插件,才能完成导入日志记录的作业:【作业日志记录.kjb】。所有若不能导入,请按启动脚本自行拷贝文件再重启kettle即可。
请仔细认真核对每一步是否严格按照我说的做的,好吧,最后的最后你好是搞不定,那我为你准备了集成按照包,简化了安装流程,对技术要求降到最低。下载地址:http://pan.baidu.com/s/1o7MIup0,目录:kettle管理...>发布包>new
kettle系列-kettle管理平台部署说明的更多相关文章
- kettle系列-我的开源kettle调度、管理平台[kettle-manager]介绍
kettle管理工具 专门为kettle这款优秀的ETL工具开发的web端调度.管理工具. 新版本 项目简介 kettle作为非常优秀的开源ETL工具得到了非常广泛的使用,一般的使用的都是使用客户端操 ...
- Mesos+Zookeeper+Marathon的Docker管理平台部署记录(2)- 负载均衡marathon-lb
之前介绍了Mesos+Zookeeper+Marathon的Docker管理平台部署记录(1)的操作,多余的废话不说了,下面接着说下在该集群环境下的负载均衡marathon-lb的部署过程: 默认情况 ...
- Mesos+Zookeeper+Marathon的Docker管理平台部署记录(1)
随着"互联网+"时代的业务增长.变化速度及大规模计算的需求,廉价的.高可扩展的分布式x86集群已成为标准解决方案,如Google已经在几千万台服务器上部署分布式系统.Docker及 ...
- Kettle系列: Kettle并行执行Trans后的合并问题
我们在作业开发中为了处理效率, 经常需要并行执行一些trans, 等它们执行完毕后, 需要执行另外一些trans, 从流程上也就是分支+汇合. 粗看起来很简单, Kettle中对接一下这些组件就搞定了 ...
- Kettle系列: kettle标准化trans模板
=============================主控trans + sub trans 模式=============================针对一个具体的处理任务(比如增量加载一个 ...
- kettle系列-我的开源kettle管理平台[kettle-manager]介绍
kettle管理工具 专门为kettle这款优秀的ETL工具开发的web端管理工具. 项目简介 kettle作为非常优秀的开源ETL工具得到了非常广泛的使用,一般的使用的都是使用客户端操作管理,但问题 ...
- kettle系列-[KettleUtil]kettle插件,类似kettle的自定义java类控件
该kettle插件功能类似kettle现有的定义java类插件,自定java类插件主要是支持在kettle中直接编写java代码实现自定特殊功能,而本控件主要是将自定义代码转移到jar包,就是说自定义 ...
- Kettle系列: 马进举开源的Kettle通用插件 KettleEasyExpand
扩展Kettle功能, 经常使用 user defined java class 组件, 或者自己开发Java插件. 两种方式都有各自的痛点: 1. 在user defined java class ...
- 开源ETL工具kettle系列之常见问题
开源ETL工具kettle系列之常见问题 摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在kettle的论坛上找到一些问题的答案 1. J ...
随机推荐
- 导致页面顶部空白一行解决方法 【】
2016年11月7日10:57:10 模板文件生成html文件之后会在body开头处加入一个可见的控制符,导致页面头部会出现一个空白行.原因是页面的编码是UTF-8 + BOM. ...
- phpcms首页实现轮播图
1.在你想要加轮播图的位置加入以下 <div id="flowDiagram" > <div id="button"> <span ...
- jquery缓存使用jquery.cookies.2.2.0.min.js
$.cookies.set(key, obj, { hoursToLive: 2}); key标识的键 , obj存入的值可以缓存json对象, hoursToLive 缓存小时数 $.cookies ...
- Linux学习笔记<五>
管道命令(pipe) 1.把一个命令的输出作为另一个命令的输入 ls -al /etc | less 2.选取命令:cut和grep cut命令可以将一段消息的某段切出来. -d接分隔符,-f是取出第 ...
- macOS Sierra U盘USB启动安装盘
http://www.iplaysoft.com/macos-usb-install-drive.html 文章里提供了一个软件可以自动化操作,但是试了下,不行,试了两三次还是不行,只有参照文章中的第 ...
- APEX初步
APEX是SFDC中用于开发的语言.语法上类似JAVA等面向对象的语言,运行起来类似数据库中的存储过程.可以在SFDC事件中添加业务逻辑,操作相关数据和用在Visual Force页面中. 保存,编译 ...
- Android中使用ShareSDK集成分享功能
引言 现在APP开发集成分享功能已经是非常普遍的需求了.其他集成分享技术我没有使用过,今天我就来介绍下使用ShareSDK来进行分享功能开发的一些基本步骤和注意点,帮助朋友们避免一些坑.好了 ...
- 使用 JSON JavaScriptSerializer 进行序列化或反序列化时出错。字符串的长度超过了为 maxJsonLength 属性设置的值。
解决办法是在web.config增加如下节点到<configuration>下 <system.web.extensions> <scripting> <we ...
- ruby 基础知识(一)
突然今天发现一大神的博客:http://www.cnblogs.com/jackluo/archive/2013/01/22/2871655.html 相信初学者会受益颇多 ruby 参考文档 ...
- getchar fflush 的分析笔记
问题描述: 统计从键盘输入的若干个字符中有效字符的个数,以换行符作为输入结束.有效字符是指第一个空格符前面的字符,若输入字符中没有空格符,则有效字符为除了换行符之外的所有字符. 示例代码: #incl ...