kettle使用笔记1--基本安装和使用
参考来源
https://blog.csdn.net/qq_36698956/article/details/80751655,在这个文章基础上实际使用增加的。
一,安装,采用的是下载官方网站的windows安装
下载地址:https://community.hitachivantara.com/docs/DOC-1009855
我下载的版本是最新版本 8.2版本,直接下载解压data-integration就可以了。
如果需要远程web控制,或者kettle的集群模式,需要使用首先启动carte
启动命令如下 carte 127.0.0.1 8088 这里地址和端口可以根据你自己使用的主机替换。(http://127.0.0.01:8088 默认登录用户密码cluster/cluster)
如果只是想使用kettle单机版本,carte服务可以不用启用,直接使用spoon就可以。
如何使用这个web版本,后续再介绍。
二。基本使用:
kettle学习笔记(二)——kettle基本使用
一、子程序功能和启动方式介绍
Spoon.bat: 图形界面方式启动作业和转换设计器。
Pan.bat: 命令行方式执行转换。
Kitchen.bat: 命令行方式执行作业。
Carte.bat: 启动web服务,用于 Kettle 的远程运行或集群运行。
Encr.bat: 密码加密
转换和作业:
Kettle 的 Spoon 设计器用来设计转换(Transformation)和 作业(Job)。
•转换主要是针对数据的各种处理,一个转换里可以包含多个步骤(Step)。
•作业是比转换更高一级的处理流程,一个作业里包括多个作业项(Job Entry),一个作业项代表了一项工作,转换也是一个作业项。
二、第一个转换——hello world
1.运行Spoon.bat,打开图形设计界面
2.通过导航栏:文件-新建-转换,新建一个转换
3.在左边选择输入
这里以简单的生成随机数为输入
双击节点进行配置:
4.同理选择输出
这里选择最简单的文本输出
选中输入节点,按住shift键,通过鼠标左键进行节点连接!
5.运行转换
运行之前保存转换:
查看执行结果:
桌面上可以查看转换的结果文件:
6.预览
比如上面的例子,如果只是想看一下随机数是否正确正常,不想再另外配一个文本输出来查看结果,可以删除输出节点,使用预览:
点击快速启动,即可查看结果:
7.添加转换过程
这里添加一个最常用的字段选择,通过节点连接后,点击获取字段可以选择所有,然后在字段列表进行选择:
通过删除选中行(DEL键),过滤指定的字段,预览即可查看转换的结果:
8.改变并发数
例如上面的生成随机数,如果想生成多个而不只是一行,可以在生成随机数节点上右键->改变开始复制的数量,节点上即会对应进行显示:
9.流程操作
除了转换,还有一些比较常用的流程操作:
这里以常用的记录过滤与空操作举例(空操作视为垃圾箱,用于丢弃不要的过滤结果等)
这里对结果进行不同方向的处理:过滤为True的放入文本文件,为False的丢弃:
配置过滤的节点:主要配置字段的过滤条件(文本文件节点和前文一样配置)
保存并启动转换,转换结果不再赘述。
10.计算器案例操作
例如进行一些字段与字段之间的计算或者字段的计算等操作
可以通过搜索找到计算器节点(或者在转换下找),配置如下:
11.连接案例
在输入中选择两个自定义常量数据,这个一般用于自己编造测试数据,在连接中选择记录集连接:
配置自定义常量数据:分别在元数据中配置字段定义信息,在数据中写入测试数据:
配置记录集:
预览可查看结果:
kettle使用笔记1--基本安装和使用的更多相关文章
- kettle学习笔记——插件的安装与使用
一.概述 暂略 二.ODPS插件 https://yq.aliyun.com/articles/68911
- Kettle学习笔记(一)— 环境部署及运行
目录 Kettle学习笔记(一)-环境部署及运行 Kettle学习笔记(二)- 基本操作 kettle学习笔记(三)- 定时任务的脚本执行 Kettle学习笔记(四)- 总结 Kettle简介 Ket ...
- Git 笔记二-Git安装与初始配置
git 笔记二-Git安装与初始配置 Git的安装 由于我日常生活和工作基本上都是在Windows上,因此此处只说windows上的安装.Windows上的安装和其他程序一样,只需要到http://g ...
- PHP学习笔记----IIS7下安装配置php环境
原文:PHP学习笔记----IIS7下安装配置php环境 Php如何安装 Php版本的选择 Php在windows下的(php5.4.7)有两种版本: VC9 x86 Non Thread Safe ...
- openresty 学习笔记一:环境安装
openresty 学习笔记一:环境安装 openresty 是一个基于 Nginx 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库.第三方模块以及大多数的依赖项.用于方便地搭 ...
- Kettle学习笔记(四)— 总结
目录 Kettle学习笔记(一)- 环境部署及运行 Kettle学习笔记(二)- 基本操作 kettle学习笔记(三)- 定时任务的脚本执行 Kettle学习笔记(四)- 总结 Kettle中设置编码 ...
- Kettle学习笔记(二)— 基本操作
目录 Kettle学习笔记(一)- 环境部署及运行 Kettle学习笔记(二)- 基本操作 kettle学习笔记(三)- 定时任务的脚本执行 Kettle学习笔记(四)- 总结 打开Kettle 打开 ...
- kettle学习笔记(一)——入门与安装
一.概述 1.kettle是什么 Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,绿色无需安装,数据抽取高效稳定.中文名称叫水壶,该项目的主程序 ...
- nodejs学习笔记一——nodejs安装
a.nodejs安装 nodejs的安装没有什么说的默认安装即可.安装包官网下载即可:nodejs官网 本人用的是window的安装包node-v4.2.6-x64.msi 安装完成后打开命令行查看使 ...
随机推荐
- declaration may not appear after executable statement in block
keil 编译时出现 declaration may not appear after executable statement in block,找到keil工程对应的函数 定义的地方出现在了赋值的 ...
- CSS Core Technology
1. Selector Different types of selectors: Selectors can be divided into the following categories: Si ...
- awesome资源包
.NET资源包 https://github.com/jobbole/awesome-dotnet-cn java资源包 https://github.com/jobbole/awesome-java ...
- Realm 处理List<String> 问题 Type parameter 'java.lang.String' is not within its bound; should implement 'io.realm.RealmModel
public class InitAppBean extends RealmObject { private String sapling; private String logistics; pri ...
- Monkey相关参数 笔记
Monkey相关参数 笔记 Monkey是Android系统自带的一个命令行工具,可运行在模拟器里或实际设备中. Monkey可以向被测试的应用程序发送伪随机的用户事件流(如按键.触屏.手势等),实 ...
- ubuntu开机自动启动服务
编辑rc.loacl脚本 Ubuntu开机之后会执行/etc/rc.local文件中的脚本,所以我们可以直接在/etc/rc.local中添加启动脚本.当然要添加到语句:exit 0 前面才行.如: ...
- git push 本地项目推送到远程分支
大家有的时候,会在本地新建项目,这里说一下在本地项目建立本地git仓库,然后push到远程仓库的步骤 1.在本地项目的文件夹下,git仓库初始化 git init 初始化本地git仓库 2. git ...
- C语言解决约瑟夫问题详解的代码
将开发过程中比较重要的一些内容做个收藏,下面的内容是关于C语言解决约瑟夫问题详解的内容,希望能对码农有帮助. #pragma once #include<vector> class PRO ...
- Java之框架Spring(一)
1. Spring是什么? Spring是一个开源框架 Spring为简化企业级应用而生.可以实现以前只有EJB才能实现的功能 Spring是一个IOC(DI)和AOP容器框架 具体描述:轻量级:Sp ...
- [java,2018-06-26] 扑克牌抽牌求和问题
问题: 一副扑克牌,除去大小王后共52张牌,随机从中抽八张牌,问八张牌的和最有可能是多少? 分析: 这52张牌,其实就是数字 1 2 3 ...13, 每个数字出现4次.随机抽出8个数,问组成的和最有 ...