一、输入步骤概述

  输入步骤主要分为以下几类:

    • 生成记录/自定义常量
    • 获取系统信息
    • 表输入
    • 文本文件输入
    • XML 文件输入
    • Json输入
    • 其他输入步骤

二、生成记录和自定义常量

  

  1.生成记录

    

    由于生成记录每行都是一样的数据,所以便诞生了自定义常量数据来手工模拟数据

  2.自定义常量数据

  

  常用于构造一些测试数据

三、获取系统信息

  获得各类系统信息,常见的包括:
    • 转换开始时间。
    • 关键时间点信息
    • 最多十个命令行参数
    • 主机名/ip/进程号/虚拟机内存等
    • 上一个作业的完成情况参数

    

      // 固定是整个转换开始的时间

  

  更多系统信息细节,参考相关文档

四、表输入

  表输入是比较常见的输入方式,通过执行SELECT语句,从数据库拉取输入数据

  可以使用${}形式使用变量,如果使用?变量,要求前面步骤传过来的参数需要顺序一致

  示例表输入配置如下:

  

  

  配置变量输入:

  

  数据类型对应关系:

    

五、文本文件输入

  

  文本文件输入:
    处理有列分隔符(限定符、逃逸字符)的文本文件。
    功能选项丰富、有错误处理机制。
  CSV 文件输入:
    简化了文本文件输入
    通过 NIO、并行、延迟转换提高性能
   固定宽度:
    列固定宽度的文件,不用解析字符串,性能好。

  1.文本文件输入

    先看文件这一项:

    

  双击文件节点进入编辑,直接点击浏览进行选择不是很推荐,

  推荐使用变量(凡是旁边一个$形状的,都可以根据提示使用变量,内置变量参考这里),单击变量,旁边会显示变量的值,可以进行参考

  可以在第一行选择文件或者目录,选择目录则可以在规则表达式进一步通过正则进行控制

  然后点击增加,增加文件到选中的文件框中,之后点击显示文件名进行文件选择结果查看

  也可以点击下方从步骤选择文件

  继续设置输入的内容页:

  

    // 这里目前不知何解,设置制表符\t字段会识别失败。换成分号;等就正常了

  解决方案如下:

    使用sublime先安装hexVIew插件,使用插件,点击toggle查看制表符的十六进制,然后分隔符处通过$[],例如制表符查看是09;

  则分隔符为:$[09]

  字段页通过获取字段查看分割结果:预览记录查看记录结果

  

  错误处理页可以进行相关设置:

  

  过滤页可以进行字段过滤:

    例如选择第二列(从0开始位置),含有bb的

  

  2.固定宽度

    要求每一行都是固定宽度,然后通过宽度截取

###  XML输入暂不赘述

###  JSON输入暂不赘述

六、其它输入 

  Excel 输入
  Access 输入
  配置文件输入
  SAP 输入
  Oracle CDC 增量输入
  消息队列输入
  PDF文件输入
  搜索引擎结果输入

kettle学习笔记(四)——kettle输入步骤的更多相关文章

  1. python学习笔记(四)---用户输入与while循环

    用户输入 函数input demo1: message = input("all you input is chars:") print(message) demo2: 由inpu ...

  2. Kettle学习笔记(四)— 总结

    目录 Kettle学习笔记(一)- 环境部署及运行 Kettle学习笔记(二)- 基本操作 kettle学习笔记(三)- 定时任务的脚本执行 Kettle学习笔记(四)- 总结 Kettle中设置编码 ...

  3. Kettle学习笔记(二)— 基本操作

    目录 Kettle学习笔记(一)- 环境部署及运行 Kettle学习笔记(二)- 基本操作 kettle学习笔记(三)- 定时任务的脚本执行 Kettle学习笔记(四)- 总结 打开Kettle 打开 ...

  4. Kettle学习笔记(一)— 环境部署及运行

    目录 Kettle学习笔记(一)-环境部署及运行 Kettle学习笔记(二)- 基本操作 kettle学习笔记(三)- 定时任务的脚本执行 Kettle学习笔记(四)- 总结 Kettle简介 Ket ...

  5. IOS学习笔记(四)之UITextField和UITextView控件学习

    IOS学习笔记(四)之UITextField和UITextView控件学习(博客地址:http://blog.csdn.net/developer_jiangqq) Author:hmjiangqq ...

  6. java之jvm学习笔记四(安全管理器)

    java之jvm学习笔记四(安全管理器) 前面已经简述了java的安全模型的两个组成部分(类装载器,class文件校验器),接下来学习的是java安全模型的另外一个重要组成部分安全管理器. 安全管理器 ...

  7. Learning ROS for Robotics Programming Second Edition学习笔记(四) indigo devices

    中文译著已经出版,详情请参考:http://blog.csdn.net/ZhangRelay/article/category/6506865 Learning ROS for Robotics Pr ...

  8. 零拷贝详解 Java NIO学习笔记四(零拷贝详解)

    转 https://blog.csdn.net/u013096088/article/details/79122671 Java NIO学习笔记四(零拷贝详解) 2018年01月21日 20:20:5 ...

  9. kvm虚拟化学习笔记(四)之kvm虚拟机日常管理与配置

    KVM虚拟化学习笔记系列文章列表----------------------------------------kvm虚拟化学习笔记(一)之kvm虚拟化环境安装http://koumm.blog.51 ...

  10. MySql学习笔记四

    MySql学习笔记四 5.3.数据类型 数值型 整型 小数 定点数 浮点数 字符型 较短的文本:char, varchar 较长的文本:text, blob(较长的二进制数据) 日期型 原则:所选择类 ...

随机推荐

  1. Zookeeper简单初应用

    一.Zookeeper 1.1 概述 Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目. Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务 ...

  2. android控件跟随手势滑动改变位置

    要求:1.通过手指移动来拖动图片   2.控制图片不能超出屏幕显示区域 技术点:1.MotionEvent处理2.对View进行动态定位(layout) activity_main.xml: < ...

  3. 红帽7中firewall常用指令

    1.端口管理 (1)列出DMZ区域开放的端口 ~]#firewall-cmd --zone=dmz --list-ports (2)8080端口加入dmz区 ~]#firewall-cmd --zon ...

  4. 【JAVA】什么是冒泡排序?——面试加分题

    冒泡排序是一种计算机科学领域的较简单的排序算法,有心人将代码不断优化改良,本人特摘抄部分代码进行学习. 文章来自开源中国,转载自:程序员小灰.原文:漫画:什么是冒泡排序? 冒泡排序第一版 public ...

  5. 错误: 未能完成程序集的安装(hr = 0x8007000b),.net程序关于使用Oracle.DataAccess.dll不同版本x86和x64问题,即oracle odp.net 32位/64位版本的问题

    如果你的机器上安装了odp.net,且确信machine.config也有类似以下结节:(64位+.net 4.0环境下,machine.config可能会有4份,分别对应于.net2.0/4.0的3 ...

  6. python os模块 遍历目录

    #os #os ->tree命令 import os #递归 #目录 ->文件,文件夹 -> 文件文件夹 dirpath = input('请输入你要遍历的目录\n') def ge ...

  7. Hadoop 的序列化

    1. 序列化 1.1 序列化与反序列化的概念 序列化:是指将结构化对象转化成字节流在网上传输或写到磁盘进行永久存储的过程 反序列化:是指将字节流转回结构化对象的逆过程 1.2 序列化的应用 序列化用于 ...

  8. 阿里云 IOT 对接设备开发 C# 开发设备对接阿里云 IOT平台

    一,创建阿里云 IOT 产品.设备 目前阿里云每月赠送 100 万条流量,可以免费使用基础版.高级版,开通后即可免费使用. 阿里云 IOT 平台地址 https://iot.console.aliyu ...

  9. 某某D的手伸的实在太长了,路由器也未能幸免,致被阉割的TP-Link

    前段时间整了个服务器架上l2tp.server, TP-Link路由连上去后,全网走l2tp通道,而且不能配置相关的路由表 然后研究啊 找啊 查啊,确定是路由没有这功能 找客服问了一下,他一听就懂了, ...

  10. 未能找到 CodeDom 提供程序类型“Microsoft.CodeDom.Providers.DotNetCompilerPlatform.CSharpCodeProvider,

    未能找到 CodeDom 提供程序类型“Microsoft.CodeDom.Providers.DotNetCompilerPlatform.CSharpCodeProvider, Microsoft ...