hive学习笔记之五：分桶

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: <hive学习笔记>系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶 HiveQL基础内置函数 Sqoop 基础UDF 用户自定义聚合函数(UDAF) UDTF 本篇概览本文是<hive学习笔记>的第五篇,前文学习了分区表,很容易发现分区表的问题: 分区字段…

hive学习笔记之一：基本数据类型

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: <hive学习笔记>系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶 HiveQL基础内置函数 Sqoop 基础UDF 用户自定义聚合函数(UDAF) UDTF 关于hive学习笔记系列 <hive学习笔记>系列保持了作者一贯的风格,即通过实战学习和了解: 作…

hive学习笔记之三：内部表和外部表

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: <hive学习笔记>系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶 HiveQL基础内置函数 Sqoop 基础UDF 用户自定义聚合函数(UDAF) UDTF 本篇概览本文是<hive学习笔记>系列的第三篇,要学习的是各种类型的表及其特点,主要内容如下:…

hive学习笔记之四：分区表

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: <hive学习笔记>系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶 HiveQL基础内置函数 Sqoop 基础UDF 用户自定义聚合函数(UDAF) UDTF 本篇概览本文是<hive学习笔记>系列的第四篇,要学习的是hive的分区表,简单来说hive的分…

hive学习笔记之六：HiveQL基础

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: <hive学习笔记>系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶 HiveQL基础内置函数 Sqoop 基础UDF 用户自定义聚合函数(UDAF) UDTF 本篇概览本文是<hive学习笔记>系列的第六篇,前面的文章咱们对数据类型.表结构有了基本了解,接…

hive学习笔记之七：内置函数

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: <hive学习笔记>系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶 HiveQL基础内置函数 Sqoop 基础UDF 用户自定义聚合函数(UDAF) UDTF 本篇概览本文是<hive学习笔记>系列的第七篇,前文熟悉了HiveQL的常用语句,接下来把常用的…

hive学习笔记之九：基础UDF

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: <hive学习笔记>系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶 HiveQL基础内置函数 Sqoop 基础UDF 用户自定义聚合函数(UDAF) UDTF 本篇概览本文是<hive学习笔记>的第九篇,前面学习的内置函数尽管已经很丰富,但未必能满足各种场…

Hive动态分区和分桶（八）

Hive动态分区和分桶 1.Hive动态分区 1.hive的动态分区介绍 hive的静态分区需要用户在插入数据的时候必须手动指定hive的分区字段值,但是这样的话会导致用户的操作复杂度提高,而且在使用的时候会导致数据只能插入到某一个指定分区,无法让数据散列分布,因此更好的方式是当数据在进行插入的时候,根据数据的某一个字段或某几个字段值动态的将数据插入到不同的目录中,此时,引入动态分区. 2.hive的动态分区配置 --hive设置hive动态分区开启 set hive.exec.dynami…

hive学习笔记之十：用户自定义聚合函数(UDAF)

欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos 本篇概览本文是<hive学习笔记>的第十篇,前文实践过UDF的开发.部署.使用,那个UDF适用于一进一出的场景,例如将每条记录的指定字段转为大写: 除了一进一出,在使用group by的SQL中,多进一出也是常见场景,例如hive自带的avg.sum都是多进一出,这个场景的自定义函数叫做用户自定义聚合函数(User Defiend Aggregat…

hive学习笔记之十一：UDTF

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: 本篇概览本文是<hive学习笔记>系列的第十一篇,截至目前,一进一出的UDF.多进一出的UDAF咱们都学习过了,最后还有一进多出的UDTF留在本篇了,这也是本篇的主要内容: 一进多出的UDTF,名为用户自定义表生成函数(User-Defined Table-Generating Funct…

【Hive学习之五】Hive 参数&动态分区&分桶

环境虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 hadoop-3.1.1 apache-hive-3.1.1 一.Hive 参数 1.Hive 参数类型hive当中的参数.变量,都是以命名空间开头: 通过${}方式进行引用,其中system.env下的变量必须以前缀开头: 在Hive CLI查看参数 #显示所有参数 hive>set; #查看单个参数 hive> set hive.cli.print.h…

Hive学习笔记——Hive中的分桶

对于每一个表(table)或者分区, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分.Hive也是针对某一列进行桶的组织.Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中. 把表(或者分区)组织成桶(Bucket)有两个理由: (1)获得更高的查询处理效率.桶为表加上了额外的结构,Hive 在处理有些查询时能利用这个结构.具体而言,连接两个在(包含连接列的)相同列上划分了桶的表,可以使用 Map 端连接 (Map-side join)高效的实现.比…

【大数据】Hive学习笔记

第1章 Hive基本概念 1.1 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计. Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能. 本质是:将HQL转化成MapReduce程序 1)Hive处理的数据存储在HDFS 2)Hive分析数据底层的实现是MapReduce 3)执行程序运行在Yarn上 1.2 Hive的优缺点 1.2.1 优点 1) 操作接口采用类SQL语法,提供快速开发的能力(简单.容易上…

hive学习笔记

html,body,div,span,applet,object,iframe,h1,h2,h3,h4,h5,h6,p,blockquote,pre,a,abbr,acronym,address,big,cite,code,del,dfn,em,img,ins,kbd,q,s,samp,small,strike,strong,sub,sup,tt,var,b,u,i,center,dl,dt,dd,ol,ul,li,fieldset,form,label,legend,table,caption…

hive 学习笔记——表的入门操作和命令

1.受控表(managed table)包括内部表.分区表.桶表: 1.1.分区表创建分区表: create table banji(id INT,name STRING) partitioned by(grade INT) row format delimited fields terminated by '\t'; create table member(id INT,name STRING) partitioned by(year INT,month INT) row format de…

Hive学习笔记一

1. Load的使用 //在1.x版本中定义long数据类型会报错(用bigint代替) create table t_load_stu(name string,age bigint) row format delimited fields terminated by ','; 1.1本地在本地导入数据,本地数据不会删除(相当于复制) //overwrite覆盖表中所有的数据 load data local inpath 文件路径 [overwrite] into table 表名 eg:loa…

hive学习笔记-表操作

Hive数据类型基本数据类型 tinyint,smallint,int,biging,float,double,decimal,char,varchar,string,binary,boolean,timestamp,date, 引用数据类型 Array:同样数据类型组合的数组,使用array[1]訪问 MAP:Key-value键值对,通过键进行訪问,使用map['key']訪问 STRUCT:结构体类型,用来存储不同数据类型的数据,是用struct.key訪问类型不区分大写和小写 Hiv…

Hive学习笔记简版

一.概述 1. Hive是Apache提供的基于Hadoop的数据仓库管理工具2. Hive提供了类SQL语言来操作Hadoop,底层会将SQL转化为MapReduce来执行,所以效率会比较低3. Hive适应于离线处理4. 要求安装Hive的节点要先安装Hadoop,解压完成之后,在启动Hive的时候自动去找环境变量中的HADOOP_HOME 二.数据仓库和数据库比较数据库数据仓库数据量 <=GB >=TB数据种类单一 - 结构化多样 - 结构化.半结构化.非结构化数据来源相对单一…

Hive学习笔记六

目录查询一.基本查询 1.全表和特定列查询 2.列别名 3.算术运算符 4.常用函数 5.Limit语句二.Where语句 1.比较运算符(Between/In/ Is Null) 2.Like和RLike 3.逻辑运算符(And/Or/Not) 三.分组 1.Group By语句 2.Having语句四.Join语句 1.等值Join 2.表的别名 3.内连接 4.左外连接 5.右外连接 6.满外连接 7.多表连接 8.笛卡尔积 9.连接谓词中不支持or 五.排序 1.全局排序(Ord…

Hive学习笔记（四）-- hive的桶表

桶表抽样查询查看hdfs上对应的文件内容一个两个桶,第一个桶和第三个桶的数据 task = 4 4 / 2 = 2,一共是两个桶第1个桶,第1+2个桶…

Hive学习笔记（一）

摘要: Hive 是建立在 Hadoop 上的数据仓库基础构架.它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储.查询和分析存储在 Hadoop 中的大规模数据的机制.Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据.同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作.1. HIVE结构 Hive 是建…

Hive学习笔记【转载】

本文转载自:http://blog.csdn.net/haojun186/article/details/7977565 1. HIVE结构 Hive 是建立在 Hadoop 上的数据仓库基础构架.它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储.查询和分析存储在 Hadoop 中的大规模数据的机制.Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据.同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 map…

hive学习笔记——表的基本的操作

1.hive的数据加载方式 1.1.load data 这中方式一般用于初始化的时候 load data [local] inpath '...' [overwrite] into table t1 [partition(...)] -- 如果有local是从linux磁盘加载,如果没带local是从hdfs的某个目录移动到hive中 -- 带上overwrite会覆盖掉表中原来的数据 -- partition 加载到指定分区 1.2.使用查询语句向表中插入数据 insert overwrite…

【hive学习笔记之五：分桶】的更多相关文章