1. 基本组成 1.1 spoon: 一个可视化的工具,用于编辑kettle ETL的任务脚本 1.2 span: 用以命令行方式执行spoon的转换 1.3 kitchen: 用以命令行方式执行spoon的作业 2. 基本概念: 2.1 转换:一个具体的业务操作,诸如数据迁移等: 2.2 作业:一个作业定义一个完整的流程,可以包含多个转换或者子作业 3. 转换的例子 1. 选择新建一个转换 2. 定义数据库连接 3. 选择数据库表输入.表输出.Excel输出等核心对象,并定义相关字段映射 4.…

1 引言: 项目最近要引入大数据技术,使用其处理加工日上网话单数据,需要kettle把源系统的文本数据load到hadoop环境中 2 准备工作: 1 首先 要了解支持hadoop的Kettle版本情况,由于kettle资料网上较少,所以最好去官网找,官网的url: http://wiki.pentaho.com/display/BAD/Configuring+Pentaho+for+your+Hadoop+Distro+and+Version 打开这个url 到页面最下面的底端,如下图: ar…

此篇说明对应的kettle版本是6.1,实际使用时7.x应该也是一样的. 一.    kettle开发流程(规范步骤,防止出错) (一)       Kettle设置检查 资源库连接 如果不加一下配置项,数据转换后中文会出现乱码,很难处理. 本地连接资源库:配置项 defaultFetchSize 500 useCursorFetch true characterEncoding UTF-8 useUnicode true (二)       Kettle注意事项 1.每个trans.jobs的…

1.各系统版本信息 System:Windows旗舰版 Service Pack1 Kettle版本:6.1.0.1-196 JDK版本:1.8.0_72 2.连接介绍 关于Kettle数据源连接方式有三种:Native(JDBC).ODBC.JNDI.(OCI只针对Oracle DB),但经常用到的只有两种:一种是JDBC,一种是ODBC数据库连接方式. Kettle中对于数据源有作用域的定义,也就是说有全局数据源与局部数据源两种. 2.1 首先打开Kettle UI界面,使用快键方式(Ctr…

1.安装 配置Java环境 Java环境配置问题 java_home:D:\Program Files\Java\jdk1.7.0_25(安装jdk路径) classpath:.;%java_home%\lib\dt.jar;%java_home%\lib\tools.jar path:在path路径中添加%java_home%\bin;%java_home%\jre\bin; kettle_home:D:\Program Files\data-integration(安装kettle路径) -…

1 引言: 项目最近要引入大数据技术,使用其处理加工日上网话单数据,需要kettle把源系统的文本数据load到hadoop环境中 2 准备工作: 1 首先 要了解支持hadoop的Kettle版本情况,由于kettle资料网上较少,所以最好去官网找,官网的url: http://wiki.pentaho.com/display/BAD/Configuring+Pentaho+for+your+Hadoop+Distro+and+Version 打开这个url 到页面最下面的底端,如下图: ar…

一.部署准备 1.1 JDK安装配置 命令行键入“cd /etc”进入etc目录 命令行键入“vi profile”打开profile文件 敲击键盘ctrl+F到文件末尾 在末尾处,即第一个~的地方,敲击键盘将以下内容输入到文件 export JAVA_HOME=/usr/java/jre1.8.0_45 export PATH=JAVAHOME/bin:JAVA_HOME/bin:JAVAH​OME/bin:PATH export CLASSPATH=.:JAVAHOME/lib/dt.jar…

<property name="initialSize" value="5"></property> <property name="maxActive" value="20"></property> <property name="maxIdle" value="20"></property> <proper…

本文记录一个基础的JNI例子及过程中遇到的问题解决. 1.定义一个JAVA类如下: package jnidemo01; public class JniHello { public native void displayHelloWorld(); static { System.loadLibrary("HelloDll"); } public static void main(String[] args) { new JniHello().displayHelloWorld();…

项目需要研究了下DoraCMS这款开源CMS,真心做的不错:).用的框架是常用的express 4 + mongoose,代码也很规范,值得学习. 源码中一些涉及到的小知识点备注下: https://github.com/doramart/DoraCMS 1.Robots协议 1)当搜索引擎访问到网站目录时,会判断当前是否存在Robots.txt; 2)若存在则按照该文件的要求来限制访问: 3)规则: User-agent: * 这里的*代表的所有的搜索引擎种类 Disallow: /ABC/…