ETL的考虑        做数据仓库系统,ETL是关键的一环.说大了,ETL是数据整合解决方案,说小了,就是倒数据的工具.回忆一下工作这么些年来,处理数据迁移.转换的工作倒还真的不少.但是那些工作基本上是一次性工作或者很小数据量,使用access.DTS或是自己编个小程序搞定.可是在数据仓库系统中,ETL上升到了一定的理论高度,和原来小打小闹的工具使用不同了.究竟什么不同,从名字上就可以看到,人家已经将倒数据的过程分成3个步骤,E.T.L分别代表抽取.转换和装载.     其实ETL过程就是数…

前言 本人是由java后端转型大数据方向,目前也有近一年半时间了,不过我平时的开发平台是阿里云的Maxcompute,通过这么长时间的开发,对数据仓库也有了一定的理解,ETL这些经验还算比较丰富.但是由于Maxcompute是一个更简单的大数据开发平台,导致个人在分布式计算的底层一些知识比较薄弱,所以这次决定花几个月时间好好学习一下hadoop,后续当然也会开始spark的学习.个人感觉这块学习的东西还是比较多,同时也要不断的实践的,所以这趟学习之旅,希望能够记录自己的一些心得体会,供自己参考,…

1.讲讲你做的过的项目, 项目里有哪些难点重点呢?    kafkaDirect ES  /hive  kafka producer   难点值得一提的有两点:  1.rdd中用到外部变量的时候如何处理  2.广播变量的更新 rdd处理kafka读过来的数据,这些数据引用外部的class来进行规则解析,规则的更新后怎么办? 2.讲讲多线程吧, 要是你,你怎么实现一个线程池呢Executor接口   提供了execute()方法将任务提交和任务执行分离ExecutorService接口   继承E…

使用sqoop将oracle数据导入hdfs集群 集群环境: hadoop1.0.0 hbase0.92.1 zookeeper3.4.3 hive0.8.1 sqoop-1.4.1-incubating__hadoop-1.0.0.tar 首先,当然前提是Hadoop集群环境已经搭建好了.如没有搭建好,可以参考上期日志:http://blog.csdn.NET/shatelang/article/details/7605939 将hadoop,Hbase,zookeeper以及Oracle j…

但是,在实施数据集成的过程中,由于不同用户提供的数据可能来自不同的途径,其数据内容.数据格式和数据质量千差万别,有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题,严重阻碍了数据在各部门和各应用系统中的流动与共享.因此,如何对数据进行有效的集成管理已成为增强企业商业竞争力的必然选择. 数据仓库的自动ETL研究 下载PDF阅读器 数据仓库的建设是为了能支持决策分析.数据质量是数据仓库项目的生命线所在,也关系到数据分析.数据挖掘的质量.在进行决策分析或数据挖掘时,需要全面.正确地集成数…

1,Kettle跨平台使用.    例如:在AIX下(AIX是IBM商用UNIX操作系统,此处在LINUX/UNIX同样适用),运行Kettle的相关步骤如下:    1)进入到Kettle部署的路径    2)执行 chmod *.sh,将所有shell文件添加可执行权限    3)在Kettle路径下,如果要执行transformation,就运行./pan.sh -file=?.ktr -debug=debug -log=log.log    其中.-file说明你要运行的transfor…

ETL(extract, transform and load)产品乍看起来似乎并不起眼,单就此项技术本身而言,几乎也没什么特别深奥之处,但是在实际项目中,却常常在这个环节耗费太多的人力,而在后续的维护工作中,更是往往让人伤透脑筋.之所以出现这种状况,恰恰与项目初期没有正确估计ETL工作.没有认真考虑其工具支撑有很大关系. 做ETL产品的选型,仍然需要从以前说的四点(即成本.人员经验.案例和技术支持)来考量.在此,主要列举三种主流ETL产品:Ascential公司的Datastage.Infor…

转自:http://blog.csdn.net/leosoft/article/details/4279536 ETL,Extraction-Transformation-Loading的缩写,中文名称为数据抽取.转换和加载. ETL负责将分布的.异构数据源中的数据如关系数据.平面数据文件等抽取到临时中间层后进行清洗.转换.集成,最后加载到数据仓库或数据集市中,成为联机分析处理.数据挖掘的基础. ETL是数据仓库中的非常重要的一环.它是承前启后的必要的一步.相对于关系数据库,数据仓库技术没有严格…

写在前面: 作为甲方,对于乙方派来的开发人员,我是会自己面一下.总体来说遇到的水平不一,于是经过这三年多的面(cui)试(can),总结了一套自己的面试套路,中间也遇到过很多想吐槽的东西,于是大概记录了下来.在后面, 也写了些关于这方面的职业发展和我个人的建议. 问题很基础,DBA路过误笑,同行高手欢迎过来喷一喷,一起进步. 先说下面试的顺序,首先我们现有的开发人员问基本的SQL语句问题和SSIS组件问题,然后我继续问以下问题. 问题1:假如有一个job突然失败了,那么你第一时间应该先去看哪里.…

1.       UI操作容易受到各种意外的干扰,因此应该缩短UI操作阶段的总体时间.而为了缩短UI操作阶段的总体时间,应该将UI操作尽量放在一起,将后台的各种操作尽量放在UI操作的前后.例如,现在有一个Assign和两个Click需要执行,那么比较推荐的设计是Assign->Click->Click或者Click->Click->Assign,而不是Click->Assign->Click.集中的UI操作也会给人一种“机器人非常高效”的观感,留下较良好的印象. 2. …