0. 说明

  在 Hive 中,数据库是一个文件夹,表也是文件夹

  partition,是一个字段,是文件

  前提:在 Hive 进行 where 子句查询的时候,会将条件语句和全表进行比对,搜索出所需的数据,性能极差,partition 就是为了避免全表扫描

  bucket(桶表)

  避免多级分区导致分区目录过多,以指定字段进行 hash 分桶

  新型数据结构,以文件段的形式在分区表内部按照指定字段进行分隔

  重要特性:优化 join 的速度


1. 分区

  1.1 创建非分区表 user_nopar

    create table user_nopar
(id int, name string, age int, province string, city string)
row format delimited
fields terminated by '\t';

  1.2 加载数据

load data local inpath '/home/centos/files/user_nopar.txt' into table user_nopar;

  1.3 创建分区表 user_par

    create table user_par(id int, name string, age int)
partitioned by(province string, city string)
row format delimited
fields terminated by '\t';

  1.4 手动添加分区

  alter table user_par add partition(province='beijing',city='beijing');

  1.5 将数据加载到指定分区(分区可以不存在)

  load data local inpath '/home/centos/files/customers.txt' 
  into table user_par
  partition (province='shanxi',city='taiyuan');

  1.6 将表清空

    truncate table user_par;

  1.7 设置动态分区非严格模式,无需指定静态分区

  set hive.exec.dynamic.partition.mode=nonstrict;

  1.8 插入数据动态指定分区

insert into user_par
partition(province,city)
select * from user_nopar;

  (PS: 在动态插入分区字段时注意,字段顺序必须要和分区顺序保持一致,和字段名称无关)

  1.9 删除分区

alter table  user_par2 drop partition(province='sichuan');

  1.10 insert 数据到分区表

insert into user_par2 partition(province='USA', city='NewYork') select 10,'jerry',30;

  1.11 查看指定表的分区

  show partitions user_par2;

  1.12 建立分区的依据

  1. 以日期或时间进行分区 比如 year, month, and day
  2. 以位置进行分区 比如 country, territory, state, and city
  3. 以业务逻辑进行分区

2. 分桶

  2.1 创建桶表

create table user_bucket(id int, name string, age int) CLUSTERED BY (id) INTO 2 BUCKETS row format delimited fields terminated by '\t';

  2.2 在桶表中转储数据

  insert into user_bucket select id, name , age from user_par2;

  2.3 查看 HDFS 中桶表的数据结构

  2.4 将桶表和分区表一同使用建立新表 user_new, 分区在前

create table user_new(id int, name string, age int)
partitioned by (province string, city string)
CLUSTERED BY (id) INTO 2 BUCKETS
row format delimited
fields terminated by '\t';

  2.5 通过 load 加载数据

  load 并不会修改表中的数据结构,在桶表中的体现,就是没有将数据进行分段

load data local inpath '/home/centos/files/customers.txt' into table user_new partition (province='sichaun',city='chengdu');

  2.6 insert 数据

insert into user_new partition(province='USA', city='NewYork') select 10,'jerry',30;

  2.7 指定分桶字段

  通过 join 字段进行桶字段的确定,在以下场景中分桶字段 a => no , b => uid

SELECT a.no, a.name, b.oname, b.oprice from customers a inner join orders b on a.no=b.uid;

3. 内部表 & 外部表

  3.1 内部表

  删除内部表的同时也会删除元数据,删除真实数据
  MANAGED_TABLE 也叫托管表,是默认表类型

  3.2 外部表

  删除外部表的同时只删除元数据,不删除真实数据
  场景:为了防止 drop 或者 truncate 表的时候数据丢失的问题
  创建 external table

    create external table user_external(id int, name string, age int);

    insert into user_external select id,name,age from user_par;

[Hive_8] Hive 设计优化的更多相关文章

  1. HBase最佳实践-列族设计优化

    本文转自hbase.收藏学习下. 随着大数据的越来越普及,HBase也变得越来越流行.会用HBase现在已经变的并不困难,然而,怎么把它用的更好却并不简单.那怎么定义'用的好'呢?很简单,在保证系统稳 ...

  2. Hive性能优化

    1.概述 继续<那些年使用Hive踩过的坑>一文中的剩余部分,本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题.下面开始本篇文章的优化介绍. 2.介绍 首先 ...

  3. 《Java程序性能优化》学习笔记 设计优化

    豆瓣读书:http://book.douban.com/subject/19969386/ 第一章 Java性能调优概述 1.性能的参考指标 执行时间: CPU时间: 内存分配: 磁盘吞吐量: 网络吞 ...

  4. Web交互设计优化的简易check list

    Web交互设计优化的简易check list 00 | 时间: 2011-02-11 | 28,842 Views 交互设计, 用户研究   “优化已有产品的体验”,这是用户体验相关岗位职责中常见的描 ...

  5. (数字IC)低功耗设计入门(六)——门级电路低功耗设计优化

    三.门级电路低功耗设计优化 (1)门级电路的功耗优化综述 门级电路的功耗优化(Gate Level Power Optimization,简称GLPO)是从已经映射的门级网表开始,对设计进行功耗的优化 ...

  6. Hive篇---Hive使用优化

    一.前述 本节主要描述Hive的优化使用,Hive的优化着重强调一个 把Hive SQL 当做Mapreduce程序去优化 二.主要优化点 1.Hive运行方式:本地模式集群模式 本地模式开启本地模式 ...

  7. Hive性能优化上的一些总结

    https://blog.csdn.net/mrlevo520/article/details/76339075 1.介绍 首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题? 数据 ...

  8. 《Java程序性能优化》之设计优化

    豆瓣读书:http://book.douban.com/subject/19969386/ 第一章 Java性能调优概述 1.性能的参考指标 执行时间: CPU时间: 内存分配: 磁盘吞吐量: 网络吞 ...

  9. 关于hive的优化

    首先hive本质就是mapreduce,那么优化就从mapreduce开始入手. 然而mapreduce的执行快慢又和map和reduce的个数有关,所以我们先从这里下手,调整并发度. 关于map的优 ...

随机推荐

  1. mysql服务器架构

    mysql是最广泛使用的开源数据库之一,作为后端开发人员,或多或少都会和mysql打交道,本篇文章会从sql查询语句的执行过程,来介绍mysql的服务器架构, 查询的过程大致分为从客户端到服务器,在服 ...

  2. VRF在区块链中的应用

    最近区块链领域流行了一种"怪病",许多区块链项目或者设计方案都加入了一个叫做VRFs的算法.那么, (1) 什么是VRFs? (2) VRFs在区块链中解决了什么问题? 本文旨在介 ...

  3. DRF之项目搭建

    DRF,全称Django Restful Framework,是一个基于Django的Restful接口框架,是主要用来做API接口的,为前端提供数据的接口.在前面一片博客中,我们构建了一个vue的项 ...

  4. htmlUnit加持,网络小蜘蛛的超级进化

    前言 前段时间写了个小说线上采集阅读(猛戳这里:https://www.cnblogs.com/huanzi-qch/p/9817831.html),当我们去采集起点网的小说目录时发现目录数据没有在h ...

  5. IdentityServer4 中文文档 -15- (快速入门)添加 JavaScript 客户端

    IdentityServer4 中文文档 -15- (快速入门)添加 JavaScript 客户端 原文:http://docs.identityserver.io/en/release/quicks ...

  6. [转]MySQL查询缓存清空

    本文转自:https://www.cnblogs.com/wangyiwei/p/7765457.html 可以通过下面的SQL查看当前查询缓存相关参数状态:   SHOW VARIABLES LIK ...

  7. c#使用js上传图片

    前几天朋友说用js上传图片过去遇到点问题,于是自己也想写一个demo这里就把自己挖的坑填了. 话不多说上代码 前台就一个file控件加按钮 <!DOCTYPE html> <html ...

  8. Android Studio 杀掉当前进程

    android.os.Process.killProcess( android.os.Process.myPid());

  9. springMVC_04controller四种配置总结

    一.通过url对应bean,加粗部分为必须有的 <bean class=" org.springframework.web.servlet.handler.BeanNameUrlHan ...

  10. QueryRunner使用之可变条件的处理

    在三层架构的Dao层中,需要通过不确定的条件,从数据库查询结果. 可以利用List集合作为容器将条件存储起来. 实际开发中的代码: public List<Hotel> searchByF ...