Hive优化目标

在有限的资源下,执行效率更高

常见问题:

  • 数据倾斜
  • map数设置
  • reduce数设置
  • 其他

Hive执行

  • HQL --> Job --> Map/Reduce

执行计划

  • explain [extended] hql

样例

  • select col,count(1) from test2 group by col;
  • explain select col,count(1) from test2 group by col;

Hive表优化

分区

set hive.exec.dynamic.partition=true;

set hive.exec.dynamic.partition.mode=nonstrict;

静态分区

动态分区

分桶

set hive.enforce.bucketing=true;

set hive.enforce.sorting=true;

数据

相同数据尽量聚集在一起

Hive Job优化

并行化执行

  • 每个查询被hive转化成多个阶段,有些阶段关联性不大,则可以并行化执行,减少执行时间

    set hive.exec.parallel= true;

    set hive.exec.parallel.thread.numbe=8;

  • 本地化执行

    job的输入数据大小必须小于参数:hive.exec.mode.local.auto.inputbytes.max(默认128MB)

    job的map数必须小于参数:hive.exec.mode.local.auto.tasks.max(默认4)

    job的reduce数必须为0或者1

    set hive.exec.mode.local.auto=true;

    当一个job满足如下条件才能真正使用本地模式:

job合并输入小文件

set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat

合并文件数由mapred.max.split.size限制的大小决定

job合并输出小文件

set hive.merge.smallfiles.avgsize=256000000;当输出文件平均小于该值,启动新job合并文件

set hive.merge.size.per.task=64000000;合并之后的文件大小

JVM重利用

set mapred.job.reuse.jvm.num.tasks=20;

JVM重利用可以使得JOB长时间保留slot,直到作业结束,这在对于有较多任务和较多小文件的任务是非常有意义的,减少执行时间。当然这个值不能设置过大,因为有些作业会有reduce任务,如果reduce任务没有完成,则map任务占用的slot不能释放,其他的作业可能就需要等待。

压缩数据

set hive.exec.compress.output=true;

set mapred.output.compreession.codec=org.apache.hadoop.io.compress.GzipCodec;

set mapred.output.compression.type=BLOCK;

set hive.exec.compress.intermediate=true;

set hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;

set hive.intermediate.compression.type=BLOCK;

中间压缩就是处理hive查询的多个job之间的数据,对于中间压缩,最好选择一个节省cpu耗时的压缩方式

hive查询最终的输出也可以压缩

Hive Map优化

  • set mapred.map.tasks =10; 无效

    (1)默认map个数

    default_num=total_size/block_size;

    (2)期望大小

    goal_num=mapred.map.tasks;

    (3)设置处理的文件大小

    split_size=max(mapred.min.split.size,block_size);

    split_num=total_size/split_size;

    (4)计算的map个数

    compute_map_num=min(split_num,max(default_num,goal_num))

    经过以上的分析,在设置map个数的时候,可以简答的总结为以下几点:

    增大mapred.min.split.size的值

    如果想增加map个数,则设置mapred.map.tasks为一个较大的值

    如果想减小map个数,则设置mapred.min.split.size为一个较大的值

    情况1:输入文件size巨大,但不是小文件

    情况2:输入文件数量巨大,且都是小文件,就是单个文件的size小于blockSize。这种情况通过增大mapred.min.split.size不可行,需要使用combineFileInputFormat将多个input path合并成一个InputSplit送给mapper处理,从而减少mapper的数量。

map端聚合

set hive.map.aggr=true;

推测执行

mapred.map.tasks.apeculative.execution

Hive Shuffle优化

Map端

  • io.sort.mb
  • io.sort.spill.percent
  • min.num.spill.for.combine
  • io.sort.factor
  • io.sort.record.percent

Reduce端

  • mapred.reduce.parallel.copies
  • mapred.reduce.copy.backoff
  • io.sort.factor
  • mapred.job.shuffle.input.buffer.percent
  • mapred.job.shuffle.input.buffer.percent
  • mapred.job.shuffle.input.buffer.percent

Hive Reduce优化

需要reduce操作的查询

  • group by,join,distribute by,cluster by...
  • order by比较特殊,只需要一个reduce
  • sum,count,distinct...

聚合函数

高级查询

推测执行

  • mapred.reduce.tasks.speculative.execution
  • hive.mapred.reduce.tasks.speculative.execution

Reduce优化

  • numRTasks = min[maxReducers,input.size/perReducer]
  • maxReducers=hive.exec.reducers.max
  • perReducer = hive.exec.reducers.bytes.per.reducer
  • hive.exec.reducers.max 默认 :999
  • hive.exec.reducers.bytes.per.reducer 默认:1G
  • set mapred.reduce.tasks=10;直接设置
  • 计算公式

Hive查询操作优化

join优化

  • 关联操作中有一张表非常小
  • 不等值的链接操作
  • set hive.auto.current.join=true;
  • hive.mapjoin.smalltable.filesize默认值是25mb
  • select /+mapjoin(A)/ f.a,f.b from A t join B f on (f.a=t.a)
  • hive.optimize.skewjoin=true;如果是Join过程出现倾斜,应该设置为true
  • set hive.skewjoin.key=100000; 这个是join的键对应的记录条数超过这个值则会进行优化
  • mapjoin

简单总结下,mapjoin的使用场景:

  • Bucket join
  • 两个表以相同方式划分桶
  • 两个表的桶个数是倍数关系
  • crete table order(cid int,price float) clustered by(cid) into 32 buckets;
  • crete table customer(id int,first string) clustered by(id) into 32 buckets;
  • select price from order t join customer s on t.cid=s.id

join 优化前

select m.cid,u.id from order m join customer u on m.cid=u.id where m.dt='2013-12-12';

join优化后

select m.cid,u.id from (select cid from order where dt='2013-12-12')m join customer u on m.cid=u.id;

group by 优化

hive.groupby.skewindata=true;如果是group by 过程出现倾斜 应该设置为true

set hive.groupby.mapaggr.checkinterval=100000;--这个是group的键对应的记录条数超过这个值则会进行优化

count distinct 优化

优化前

优化后

select count(1) from (select distinct id from tablename) tmp;
select count(1) from (select id from tablename group by id) tmp;

优化前

select a,sum(b),count(distinct c),count(distinct d) from test group by a

优化后

select a,
sum(b) as b,
count(c) as c,
count(d) as d
from(
select a,
0 as b,
c,
null as d
from test
group by a,c
union all
select a
,0 as b
,null as c
,d
from test
group by a,d
union all
select a
,b
,null as c
,null as d
from test
)tmp1
group by a
;

Hive SQL 优化面试题整理的更多相关文章

  1. 深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存(企业Hadoop应用核心产品)

    一.本课程是怎么样的一门课程(全面介绍)    1.1.课程的背景       作为企业Hadoop应用的核心产品,Hive承载着FaceBook.淘宝等大佬 95%以上的离线统计,很多企业里的离线统 ...

  2. Hive SQL优化思路

    Hive的优化主要分为:配置优化.SQL语句优化.任务优化等方案.其中在开发过程中主要涉及到的可能是SQL优化这块. 优化的核心思想是: 减少数据量(例如分区.列剪裁) 避免数据倾斜(例如加参数.Ke ...

  3. SQL优化(面试题)

    因为现在面试经常需要问的需要SQL优化,问的具体操作步骤时候的常见做法,所以网上总结这些操作步骤: SQL优化的具体操作: 1.在表中建立索引,优先考虑where.group by使用到的字段. 2. ...

  4. hive SQL优化之distribute by和sort by

    近期在优化hiveSQL. 以下是一段排序,分组后取每组第一行记录的SQL INSERT OVERWRITE TABLE t_wa_funnel_distinct_temp PARTITION (pt ...

  5. 常见的SQL优化面试题

    1.在表中建立索引,优先考虑where.group by使用到的字段. 2.查询条件中,一定不要使用select *,因为会返回过多无用的字段会降低查询效率.应该使用具体的字段代替*,只返回使用到的字 ...

  6. 不会看 Explain执行计划,劝你简历别写熟悉 SQL优化

    昨天中午在食堂,和部门的技术大牛们坐在一桌吃饭,作为一个卑微技术渣仔默默的吃着饭,听大佬们高谈阔论,研究各种高端技术,我TM也想说话可实在插不上嘴. 聊着聊着突然说到他上午面试了一个工作6年的程序员, ...

  7. Hive使用Calcite CBO优化流程及SQL优化实战

    目录 Hive SQL执行流程 Hive debug简单介绍 Hive SQL执行流程 Hive 使用Calcite优化 Hive Calcite优化流程 Hive Calcite使用细则 Hive向 ...

  8. 数据库性能调优——sql语句优化(转载及整理) —— 篇1

    一.问题的提出                    在应用系统开发初期,由于开发数据库数据比较少,对于查询SQL语句,复杂视图的的编写等体会不出SQL语句各种写法的性能优劣,但是如果将应用系统提交实 ...

  9. sql优化点整理

    此文是我最早开始sql优化至今整理的小知识点和经常遇到的问题,弄懂这些对优化大型的sql会有不少帮助 ---------------------------------使用了多余的外连接------- ...

随机推荐

  1. PHP idate() 函数

    ------------恢复内容开始------------ 实例 格式化本地时间/日期为整数.测试所有不同的格式: <?phpecho idate("B") . " ...

  2. PHP popen() 函数

    定义和用法 popen() 函数使用 command 参数打开进程文件指针. 如果出错,该函数返回 FALSE. 语法 popen(command,mode) 参数 描述 command 必需.规定要 ...

  3. PHP mysqli_sqlstate() 函数

    返回最后一个 MySQL 操作的 SQLSTATE 错误代码: <?php 高佣联盟 www.cgewang.com // 假定数据库用户名:root,密码:123456,数据库:RUNOOB ...

  4. 关于ORACLE索引的几种扫描方式

    ------------恢复内容开始------------ ------------恢复内容开始------------ 一条sql执行的效率因执行计划的差异而影响,经常说这条sql走索引了,那条s ...

  5. PHP开发者该知道的多进程消费队列

    引言 最近开发一个小功能,用到了队列mcq,启动一个进程消费队列数据,后边发现一个进程处理不过来了,又加了一个进程,过了段时间又处理不过来了… 这种方式每次都要修改crontab,如果进程挂掉了,不会 ...

  6. 【小白学AI】线性回归与逻辑回归(似然参数估计)

    文章转自[机器学习炼丹术] 线性回归解决的是回归问题,逻辑回归相当于是线性回归的基础上,来解决分类问题. 1 公式 线性回归(Linear Regression)是什么相比不用多说了.格式是这个样子的 ...

  7. java动态代理——jvm指令集基本概念和方法字节码结构的进一步探究及proxy源码分析四

    前文地址 https://www.cnblogs.com/tera/p/13336627.html 本系列文章主要是博主在学习spring aop的过程中了解到其使用了java动态代理,本着究根问底的 ...

  8. jersey简单总结与demo

    参考链接:https://www.iteye.com/blog/dyygusi-2148029?from=singlemessage&isappinstalled=0 测试代码: https: ...

  9. 【编写程序中经常犯的一些错误】 Python | 面向对象(一)

    [编写程序中经常犯的一些错误]Python | 面向对象(一) 在学习Python的面向对象这一部分时,经常出现以下错误: 这是错误范例,请仔细甄别: class Person: def __int_ ...

  10. Python嫌多(线程/进程)太慢? 嫌Scrapy太麻烦?没事,异步高调走起!——瓜子二手车

    基本概念了解: 很多人学习python,不知道从何学起.很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手.很多已经做案例的人,却不知道如何去学习更加高深的知识.那么针对这三类人,我 ...