Hive介绍 http://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3114180.htmlHive的数据类型和数据模型 http://www.cnblogs.com/sharpxiajun/archive/2013/06/03/3114560.htmlHive内表与外表详述 http://www.aboutyun.com/thread-7458-1-1.htmlHive基础之分区和桶 http://my.oschina.net/leejun…

以下是阅读<Hive编程指南>后整理的一些零散知识点: 1. 有时候用户需要频繁执行一些命令,例如设置系统属性,或增加对于Hadoop的分布式内存,加入自定的Hive扩展的Jave包(JAR文件),我们可以将这些命令加入hiverc文件里,这样每当CLI(command-line interface命令行界面)启动时,在'hive>'提示符出现前先执行这个hiverc文件. 2. Hive脚本(.hql后缀文件)注释用--. 3. 在Hive内使用Hadoop的dfs命令,直接在Hive…

---恢复内容开始--- 转载:Hive 性能优化 介绍 首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题? 数据量大不是问题,数据倾斜是个问题. jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,耗时很长.原因是map reduce作业初始化的时间是比较长的. sum,count,max,min等UDAF,不怕数据倾斜问题,hadoop在map端的汇总合并优化,使数据倾斜不成问题. count(distinct ),在…

HIVE JOIN:http://blog.csdn.net/yfkiss/article/details/8073608 HIVE资料: 一条记录map阶段输出KV,shuffle sort,输出KV,最后reduce输出结果 https://skydrive.live.com/?mkt=zh-CN#!/view.aspx?cid=D04547F5707AF6F9&resid=D04547F5707AF6F9%21107&app=PowerPoint RCFILE:http://www.…

Eclipse相关的问题第二季开始了,这些问题都是我平时遇到的,然后记录下来备忘,帮助到别人最好不过了. 1.Unable to execute dex: GC overhead limit exceeded 换机器,新安装Eclipse运行Android程序出现Unable to execute dex: GC overhead limit exceeded,并且较频繁地卡住.实际上是Eclipse设定的内存过小了,大家可以找到eclipse.ini(一般为安装路径下) 我这里的是这样设置的,…

1.Spark On Yarn(HDFS HA)详细配置过程 2.Hive安装与配置详解…

Hive语句: Join应该把大表放到最后 左连接时,左表中出现的JOIN字段都保留,右表没有连接上的都为空.对于带WHERE条件的JOIN语句,例如: 1 SELECT a.val, b.val FROM a LEFT OUTER JOIN b ON (a.key=b.key) 2 WHERE a.ds='2009-07-07' AND b.ds='2009-07-07' 执行顺序是,首先完成2表JOIN,然后再通过WHERE条件进行过滤,这样在JOIN过程中可能会输出大量结果,再对这些结果进…

1).Hive中Select Top N的实现 Hive中使用 Order by + Limit 可以很容易地实现Select Top N. 但是在Hive中Order by只能使用1个Reduce,如果表的数据量很大,那么Order by就会力不从心.相对的,Sort by可以启动多个Reduce,每个Reduce做局部排序. 从执行计划explain中可以看出Sort by Limit N启动了两个MR Job.第一个Job是在每个Reduce中做局部排序,然后分别取Top N.假设启动了M…

内存不够: set mapreduce.map.memory.mb=4096;set mapreduce.map.java.opts=-Xmx3280m; set mapreduce.reduce.memory.mb=4096;set mapreduce.reduce.java.opts=-Xmx3280m; 或者设置每一个任务的最大数据处理量: set hive.exec.reducers.bytes.per.reducer=500000000; 或者设置任务数目: set mapred.re…

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析.另外一个是Windows注册表文件. #hive debug命令nuhup hive --service hiveserver2 --debug & 1>/dev/null 2&g…