w https://en.wikipedia.org/wiki/Extract,_transform,_load…

1.没有接触,不知道这个事物是什么,所以不会产生任何问题.2.接触了,但是不知道他是什么,反正我每天都在用.3.有一定的了解,不够透彻.那么hive,1.我们对它了解多少?2.它到底是什么?3.hive和hadoop是什么关系?扩展:hbase和hive是什么关系? Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的.那么,到底什么是Hive,我们先看看Hive官网Wiki是如何介绍Hive的(https://cwiki.apache.org/c…

最近工作需要,要看HDInsight部分,这里要做笔记.自然是官网资料最权威,所以内容都从这里搬过来:https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-introduction/ Hadoop on HDInsight 搞大数据,都知道Hadoop,那么HDInsight和Hadoop啥关系呢?HDInsight是M$基于Azure的一个软件架构,主要做大数据分析.管理用的,它使用了HDP(Hort…

SSIS(SQL Server Integration Service)是Microsoft 从SQL Server2005 以后发布的,现在一直跟随每个SQL server版本.它是Microsoft BI 解决方案的一大利器,我们一般认为SSIS就是ETL(Extract Transform Load)工具,一般用来导入数据到数据库.SSIS比普通的ETL更进一步,它是可视化的,用Visual Studio来开发,包文件(*.dtsx)采用的是XML格式. SSIS提供控制流和数据流.控制流…

SSIS(SQL Server Integration Service)是从MS SQL 2005开始引入的,是一种ETL(Extract Transform Load)工具,SSIS比普通的ETL更进一步,它是可视化的,用Visual Studio来开发,包文件(*.dtsx)采用的是XML格式. 对于SSIS的研究其实去年就已经开始,但是由于它的不稳定性所以一直没敢大规模的使用它.公司一个实验室的项目,我开始尝试了一下SSIS的数据采集的强大功能,根据系统的需求,有大量的地方使用到数据的导入…

谈谈对BI的理解,从BI的定义.基本技术.专业名词.实例应用及扩展等方面进行重新描述,巩固对BI的理解. 一.BI的定义 BI是Business Intelligence的英文缩写,中文解释为商务智能,用来帮助企业更好地利用数据提高决策质量的技术集合,是从大量的数据中钻取信息与知识的过程.简单讲就是业务.数据.数据价值应用的过程.用图解的方式可以理解为下图: 图(1) 这样不难看出,传统的交易系统完成的是Business到Data的过程,而BI要做的事情是在Data的基础上,让Data产生价值,…

ODS和DW 根据Bill.Inmon的定义,“数据仓库是面向主题的.集成的.稳定的.随时间变化的,主要用于决策支持的数据库系统”  : ODS (Operational Data Store)操作型数据存储,ODS具备数据仓库的部分特征和OLTP系统的部分特征,它是“集成的.当前或接近当前的.不断变化的”数据,一般不保留数据的变动轨迹,是数据仓库体系结构中的一个可选部分: ODS DW 主要是和源系统表结构相同,表结构随着源系统变化 面向主题的表模型,模型相对稳定 一般只保留最新数据或较短时间…

Hive体系结构: 是建立在hadoop之上的数据仓库基础架构. 和数据库相似,只不过数据库侧重于一些事务性的一些操作,比如修改,删除,查询,在数据库这块发生的比较多.数据仓库主要侧重于查询.对于相同的数据量在数据库中查询就比较慢一些,在数据仓库中查询的效率就比较快. 数据仓库是面向于查询的,并且处理的数据量要远远高于数据库处理的数据量. 传统的数据仓库产品,依然有数据存储的瓶颈,那么在这个瓶颈下查询的速度慢了,那么就不适用了,我们的hadoop是处理海量数据的,所以我们可以在上面建立数据仓库.…

Oracle按不同时间分组统计 Oracle按不同时间分组统计的sql 如下表table1: 日期(exportDate) 数量(amount) -------------- ----------- 14-2月 -08 20 10-3月 -08 2 14-4月 -08 6 14-6月 -08 75 24-10月-09 23 14-11月-09 45 04-8月 -10 5 04-9月 -10 44 04-10月-10 88 注意:为了显示更直观,如下查询已皆按相应分组排序 1.按年份分组 sel…

https://blog.csdn.net/fhzh520/article/details/52637545 目录 算法与数据结构(Algorithms and Data structures) 应用程序接口(API) 应用程序框架(Application Frameworks) 模板引擎(Application Templates) 人工智能(Artificial Intelligence) 程序集与装配件(Assembly Manipulation) 资源(Assets) 验证与授权(Aut…

最近在人人网上看到一篇非常好的文章,转载分享给大家. 原文链接:http://blog.renren.com/share/252753054/5619469778/3其文谈对BI的理解,杜绝“假”“大”“空”的言辞,从BI的定义.基本技术.专业名词.实例应用及扩展等方面进行重新描述,巩固对BI的理解.一.BI的定义BI是Business Intelligence的英文缩写,中文解释为商务智能,用来帮助企业更好地利用数据提高决策质量的技术集合,是从大量的数据中钻取信息与知识的过程.简单讲就是业务.…

KSQL是基于Kafka的Streams API进行构建的流式SQL引擎,KSQL降低了进入流处理的门槛,提供了一个简单的.完全交互式的SQL接口,用于处理Kafka的数据. KSQL是一套基于Apache 2.0许可开源的.分布式的.可扩展的.可靠的和实时的组件.支持多种流式操作,包括聚合(aggregate).连接(join).时间窗口(window).会话(session)等等.KSQL的两个核心概念是流(Stream)和表(Table)[参见:http://www.cnblogs.com…

kettle开源项目部署文档 1.kettle简介 kettle是一款国外开源的ETL(Extract Transform Load)工具,纯java编写,可以在Windows.Linux.Unix上运行,绿色无需安装,被设计用来抽取.转换.装入和加载数据,可以行象的理解为将各种数据放入到一个壶里面后以一种指定的格式流出来. kettle中有两种脚本文件,transformation(.ktr)和job(.kjb),transformation完成针对数据的基础转换,job则完成整个工作流程的控…

常见的Hadoop十大应用误解 1.        (误解) Hadoop什么都可以做 (正解) 当一个新技术出来时,我们都会去思考它在各个不同产业的应用,而对于平台的新技术来说,我们思考之后常会出现这样的结论 “这个好像什么都能做”, 然而,更深入的去想,你就会发现“好像什么都需要重头做”. 对于Hadoop,我常喜欢举Database来当例子. 三十年前数据库(Database)刚出来时,上面并没有什么现成的应用方案(Application),所以厂商在销售的过程中常需要花很多的时间去告诉客…

Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的.那么,到底什么是Hive,我们先看看Hive官网Wiki是如何介绍Hive的(https://cwiki.apache.org/confluence/display/Hive/Home): The Apache Hive data warehouse software facilitates querying and managing large datasets residing in dis…

Django 中使用数据库的 9 个小技巧. 1. 过滤器聚合 在 Django 2.0 之前,如果你想得到“用户总数”.“活跃用户总数”等信息时,你不得不使用条件表达式. Django 2.0 中,通过在聚合函数中添加一个过滤器使这种问题变得更加简单.容易处理: 怎么样? 看起来很简洁明了吧. 如果你使用的是 PostgreSQL 的话,若要进行这种查询,查询程序如下: 可以看到,在第二个查询语句中,使用 FILTER(WHERE) 过滤语句. 2. 将查询结果变为 namedtuples 形…

一.基本概念 官网含义:https://cwiki.apache.org/confluence/display/Hive/Home The Apache Hive™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax. Built on top of Apache…

ETL分别是“Extract”.“ Transform” .“Load”三个单词的首字母缩写也就是“抽取”.“转换”.“装载”,但我们日常往往简称其为数据抽取. ETL是BI/DW(商务智能/数据仓库)的核心和灵魂,按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据仓库转化的过程,是实施数据仓库的重要步骤. ETL包含了三方面: “抽取”:将数据从各种原始的业务系统中读取出来,这是所有工作的前提. “转换”:按照预先设计好的规则将抽取得数据进行转换,使本来异构的数据格式能统一起…

Apache HiveThe Apache Hive™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax. Built on top of Apache Hadoop™, Hive provides the following features: Tools to…

一.BI简介 BI全称是business intelligence,直译过来就是商业智能.BI表示的是一个体系,一套完整的解决方案.主要用于数据的整合.分析.挖掘等,为帮助企业决策而提供如报表.预测分析等功能. 二.BI体系结构 我们先看一张BI系统的体系结构图 从下往上看: 1.在大数据背景下,我们会有很多数据源,如RDBMS数据库的业务数据.业务日志或者从其它数据持有者购买而来的外部数据等. 2.数据源的数据需要经过一系列的抽取.转换.加载等过程(ETL),从而进入我们构建的数据仓库中. 3…

一.了解数据倾斜 数据倾斜的原理: 在执行shuffle操作的时候,按照key,来进行values的数据的输出,拉取和聚合.同一个key的values,一定是分配到一个Reduce task进行处理. 假如多个key对应的values,总共是90万,但是可能某个key对应了88万条数据,key-88万条values,分配到一个task上面去执行. 另外两个task,可能各分配到了1万条数据,可能是数百个key,对应一万条数据. 数据倾斜的现象: 发生数据倾斜的两种表现: 1.你的大部分的task…

第五章 数据构建 在数据处理过程,我们经常会遇到这样的情况:大多数时候,用户最初输入的数据会含有大量无意义的.杂乱的信息,需要经过提炼.收集.汇总等一系列手段,才能产生有意义和用户可识别的数据内容:当数据长时间使用后,因为删除.更新操作的缘故,会在磁盘上产生大量数据碎片,这些数据碎片影响到正常的数据读写,为此需要做定时的数据整理工作,来保证一个高效的数据存取环境:有时候,出于便利和效率的需要,我们需要把多个表的不同字段组合到一起,形成一个宽表,来方便我们分析调用,或者能够清晰.直观地展示给客户:…

IBM Cognos Data Manager 数据集市的构建利器 本文详细的介绍了 Cognos 最新版本 10.2 的数据集市构建器 Data Manager 的使用,对于希望系统了解 Cognos Data Manager,以及 IBM 数据集市构建方法,并且掌握 Cognos 最新版本安全性的读者有非常实用的指导意义. 廖 显, IBM 商业智能与绩效管理 资深技术顾问 /业务分析架构师, IBM 廖显,目前在 IBM(中国)有限公司软件部负责西区企业业务分析与性能管理技术咨询,曾就职于…

1        引言数据仓库建设中的ETL(Extract, Transform, Load)是数据抽取.转换和装载到模型的过程,整个过程基本是通过控制用SQL语句编写的存储过程和函数的方式来实现对数据的直接操作,SQL语句的效率将直接影响到数据仓库后台的性能. 目前,国内的大中型企业基本都具有四年以上计算机信息系统应用经验,积累了大量可分析的业务数据,这些信息系统中的数据需要通过搭建数据仓库平台才能得到科学的分析,这也是近几年数据仓库系统建设成为IT领域热门话题的原因. 2        优…

ETL是什么 ETL是Extract Transform Load三个英文单词的缩写 中文意思就是抽取.转换.载入.说到ETL就必须提到数据仓库. 先说下背景知识: 信息是现代企业的重要资源,是企业运用科学管理.决策分析的基础. 眼下.大多数企业花费大量的资金和时间来构建联机事务处理OLTP的业务系统和办公自己主动化系统(比如电信行业的各种运营支撑系统.购物站点系统).用来记录事务处理的各种相关数据. 据统计,数据量每2-3年时间就会成倍增长,这些数据蕴含着巨大的商业价值,而企业所关注的通常仅仅…

Flume官方文档 Usage: bin/flume-ng <command> [options]... commands: help display this help text agent run a Flume agent global options: --conf,-c <conf> use configs in <conf> directory -Dproperty=value sets a Java system property value agent…

1.数据倾斜的原理 2.数据倾斜的现象 3.数据倾斜的产生原因与定位 在执行shuffle操作的时候,大家都知道,我们之前讲解过shuffle的原理. 是按照key,来进行values的数据的输出.拉取和聚合的. 同一个key的values,一定是分配到一个reduce task进行处理的. 多个key对应的values,总共是90万. 但是问题是,可能某个key对应了88万数据,key-88万values,分配到一个task上去面去执行. 另外两个task,可能各分配到了1万数据,可能是数百个…

一.BI的定义 BI是Business Intelligence的英文缩写,中文解释为商务智能,用来帮助企业更好地利用数据提高决策质量的技术集合,是从大量的数据中钻取信息与知识的过程.简单讲就是业务.数据.数据价值应用的过程.用图解的方式可以理解为下图: 图(1) 这样不难看出,传统的交易系统完成的是Business到Data的过程,而BI要做的事情是在Data的基础上,让Data产生价值,这个产生价值的过程就是Business Intelligence analyse的过程. 如何实现Busi…

sparksql  hive https://databricks.com/blog/2014/07/01/shark-spark-sql-hive-on-spark-and-the-future-of-sql-on-spark.html https://cwiki.apache.org/confluence/display/Hive/Home [服务数仓,支持sql强标准] Apache Hive The Apache Hive™ data warehouse software facilit…

上周因为在处理很多数据源集成的事情一直没有更新系列文章,在这周后开始规律更新.在维度建模中我们已经了解数据仓库中的维度建模方法以及基本要素,在这篇文章中我们将学习了解数据仓库的ETL过程以及实用的ETL工具. 一.什么是ETL? 构建数据仓库的核心是建模,在数据仓库的构建中,ETL贯穿于项目始终,它是整个数据仓库的生命线.从数据源中抽取数据,然后对这些数据进行转化,最终加载到目标数据库或者数据仓库中去,这也就是我们通常所说的 ETL 过程(Extract,Transform,Load). 通常数…