kettle及数据库导数_20160920

【kettle及数据库导数_20160920】的更多相关文章

kettle及数据库导数_20160920

一.kettle是什么. Kettle是一款国外开源的ETL( Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract).转换(transform).加载(load)至目的端的过程)工具,纯java编写,可以在Window.Linux.Unix上运行,数据抽取高效稳定.Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出. 二.kettle安装具体安装步骤参考 http://jingy…

kettle系列-3.kettle读取数据库资源库很慢的优化

环境:windows7,jvm内存设置14G,kettle5.1后来升级到5.4,oracle作为资源库. 问题背景:我们通过web页面管理kettle的job运行,这只是一个管理界面,即使web项目停掉也不会影响job的运行情况,实际运行job的是后台程序,随着job数量的增多,达到三四百个时,job的运行速度也达到了难以接受的程度. 方案1: 针对出现的问题,经测试发现,job一经运行就不会再重新从资源库读取了(针对定时运行的job),job中的转换则每次都会重新从资源库中读取,我找到了or…

Solr4.6从数据库导数据的步骤

http://blog.csdn.net/bruce128/article/details/17796705 Solr4.6有从数据库导数据的功能.导入步骤如下: 1.将下载下来的solr4.6的dist文件夹下的solr-dataimporthandler-4.6.0.jar和solr-dataimporthandler-extras-4.6.0.jar放入tomcat该路径下:F:\solr\tomcat7.0.27\webapps\solr\WEB-INF\lib 2.修改solrconf…

sqlloader 往数据库导数据提示数据文件的字段超出最大长度

当我们用sqlloader往数据库导数据提示被拒绝,数据文件的字段超出最大长度.但是我们不管怎么改提示字段的长度的时候仍然提示超出最大长度. 这个是因为ctl文件中默认为char256,超过256需要指定长度就好,在你的ctl文件中将提示的字段后面添加一个指定长度. 例:ADDRESS char(1024),…

Kettle实现数据库迁移

Kettle实现数据库迁移需求: 做数据仓库时,需要将业务系统CRM抽取到数据仓库的缓冲层,业务系统使用的是SqlServer数据库,数据仓库的缓冲层使用的是mysql数据库,为实现数据库的迁移,即将SqlServer数据库中的所有表与数据迁移到Mysql. 解决办法: kettle设计一整套流程实现,读取数据库中表->创建表->表数据抽取实现过程: 整套流程分为:2个job,4个trans.使用到的Trans插件:表输入.字段选择.复制记录到结果.从结果获取记录.设置变量.java脚本.…

kettle实现数据库迁移----多表复制向导

kettle实现数据库迁移----多表复制向导需求: 做数据仓库时,需要将业务系统CRM抽取到数据仓库的缓冲层,业务系统使用的是SqlServer数据库,数据仓库的缓冲层使用的是mysql数据库,为实现数据库的迁移,即将SqlServer数据库中的所有表与数据迁移到Mysql. 解决办法一:利用kettle的复制多表复制向导过程如下: 1.选择工具->向导->复制多表向导 2.选择源数据库和目的数据库 3.选择要复制的表 4.输入转换的名字即可生成的job如下其中每个子转换处理单张表…

kettle的数据库配置的表分析

以下场景,用mysql来举例说明.本文是在初步了解了kettle的数据库配置之后,做的总结和分析.将kettle中的配置用数据库管理的时候,在创建了一个新的数据库,还没有做任何kettle中的job和转换的时候,数据库中已经自动创建好了一些基础的表,这些表中有的有数据,那是kettle本身的配置信息,有的表没有数据,那是因为这是一个新的数据库,我们还没有做任何配置.从这个角度来说,任何一个系统,应该有三种配置:基础系统配置1:系统为了工作所自带的配置,这些数据在系统创建的时候,自动初始化,这些属…