Hive 最常见的几个面试题 1.hive 的使用, 内外部表的区别,分区作用, UDF 和 Hive 优化(1)hive 使用:仓库.工具(2)hive 内部表:加载数据到 hive 所在的 hdfs 目录,删除时,元数据和数据文件都删除 外部表:不加载数据到 hive 所在的 hdfs 目录,删除时,只删除表结构.(3)分区作用:防止数据倾斜(4)UDF 函数:用户自定义的函数 (主要解决格式,计算问题 ),需要继承 UDF 类java 代码实现class TestUDFHive exten…

Hive 笔试题 考试时间: 姓名:____________ 考试成绩:____________ 考试时长:180 分钟 注意事项: 1. 自主答题,不能参考任何除本试卷外的其它资料. 2. 总成绩共 200 分,共 20 题,每题 10 分,注意条理清楚.简明扼要.重点突出. 1. Hive 的架构设计与运行流程,及其各模块的主要作用是什么,请画出架构图 2. Hive 的数据模型组成,及各组成模块的应用场景,请简要描述 3. Hive 支持的文件格式和压缩格式,及其各自的特点? 4. Hiv…

最近参加了一次鹅厂音乐Android工程师面试,这里凭记忆记录了一些一面的面试题,希望能帮到正在面试的你! 1.Java调用函数传入实际参数时,是值传递还是引用传递? 2.单例模式的DCL方式,为什么需要第二次判空? 单例模式的DCL是一种比较好的单例实现方式,面试中被问及的频率非常高,考察的方式也多种多样.根据本题的提问,这里简单整理了一下: public class Test { private volatile static Test instance; private Test() {…

1. Hive数据倾斜原因: key分布不均匀 业务数据本身的特性 SQL语句造成数据倾斜解决方法hive设置hive.map.aggr=true和hive.groupby.skewindata=true有数据倾斜的时候进行负载均衡,当选项设定为true,生成的查询计划会有两个MR Job.第一个MR Job中,Map的输出结果集合会随机分布到Reduce中,每个Reduce做部分聚合操作,并输出结果,这样处理的结果是相同Group By Key有可能被分发到不同的Reduce中,从而达到负载均…

转自:http://blog.csdn.net/ningguixin/article/details/12852051 有一张很大的表:TRLOG该表大概有2T左右TRLOG:CREATE TABLE TRLOG(PLATFORM string,USER_ID int,CLICK_TIME string,CLICK_URL string)row format delimitedfields terminated by '\t'; 数据:PLATFORM USER_ID CLICK_TIME CL…

需要找到每个学生最好的课程和成绩,最差的课程和成绩,以及各科的平均分 文本数据如下: name scores张三 语文:,数学:,英语:,历史:,政治:,物理:,化学:,地理:,生物: 李四 语文:,数学:,英语:,历史:,政治:,物理:,化学:,地理:,生物: 王五 语文:,数学:,英语:,历史:,政治:,物理:,化学:,地理:,生物: 朱六 语文:,数学:,英语:,历史:,政治:,物理:,化学:,地理:,生物: 钱二 语文:,数学:,英语:,历史:,政治:,物理:,化学:,地理:,生物: 段…

有一张很大的表:TRLOG该表大概有2T左右TRLOG:CREATE TABLE TRLOG(PLATFORM string,USER_ID int,CLICK_TIME string,CLICK_URL string)row format delimitedfields terminated by '\t'; 数据:PLATFORM USER_ID CLICK_TIME CLICK_URLWEB 12332321 2013-03-21 13:48:31.324 /home/WEB 123323…

使用 Hive或者自定义 MR 实现如下逻辑 product_no lac_id moment start_time user_id county_id staytime city_id 13429100031 22554 8 2013-03-11 08:55:19.151754088 571 571 282 571 13429100082 22540 8 2013-03-11 08:58:20.152622488 571 571 270 571 13429100082 22691 8 2013…

1.grep console java 开发的过程中,日志都会输出到console,输出的内容是非常多的,所以需要有一个工具可以方便的查找日志,或者可以非常明显显示我们关注的内容,grep console就是这样的一个工具. 安装完成后,在console中右键就能打开. 2.MyBatis Log Plugin Mybatis现在是java中操作数据库的首选,在开发的时候,我们都会把Mybatis的脚本直接输出在console中,但是默认的情况下,输出的脚本不是一个可以直接执行的.>MyBati…

1.Hive表关联查询,如何解决数据倾斜的问题?(☆☆☆☆☆)   1)倾斜原因:map输出数据按key Hash的分配到reduce中,由于key分布不均匀.业务数据本身的特.建表时考虑不周.等原因造成的reduce 上的数据量差异过大.   (1)key分布不均匀;   (2)业务数据本身的特性;   (3)建表时考虑不周;   (4)某些SQL语句本身就有数据倾斜;   如何避免:对于key为空产生的数据倾斜,可以对其赋予一个随机值.   2)解决方案   (1)参数调节:     hiv…