初始Hive
Hive
背景
引入原因
对存在HDFS上的文件或HBase中的表进行查询时,是要手工写一推MapReduce代码
对于统计任务,只能由懂MapReduce的程序员才能搞定
耗时耗力,更多精力没有有效的释放出来
Hive基于一个统一的查询分析层,通过SQL语句的方式对HDFS上的数据进行查询、统计和分析
Hive是什么
HIve是一个SQL解析引擎,将SQL语句转译成MR Job,然后在Hadoop平台上运行,达到快速开发的目的
Hive中的表是纯逻辑表,只是表的定义等,既表的元数据,本质就是Hadoop的目录/文件,达到了元数据和数据存储分离的目的
Hive本身不存储数据,它完全依赖HDFS和MapReduce
Hive的内容是读多写少,不支持对数据的改写和删除
Hive中没有定义专门的数据格式,由用户指定,需要指定三个属性:
列分割符
\n
行分隔符
空格
\t
\001
读取文件数据的方法
TextFile
SequenceFile(二进制)
hadoop提供的一种二进制文件,<Key,Value>形式序列化到文件中,Java Writeable接口进行序列化和反序列化
RcFile:是Hive专门推出的,一种面向列的数据格式
为什么选择Hive
WordCount
MR:一推代码
Hive:sql
select word , count(*) from (select explode(split(sentence. ' ')) word from article) t group by word
Hive中的SQL与传统SQL区别
项 | HQL | SQL |
---|---|---|
数据存储 | HDFS、HBase | Local FS |
数据格式 | 用户自定义 | 系统决定 |
数据更新 | 不支持(把之前的数据覆盖) | 支持 |
索引 | 有(0.8版之后增加) | 有 |
执行 | MapReduce | Executor |
执行延迟 | 高 | 低 |
可扩展性 | 高(UDF,UDAF,UDTF) | 低 |
数据规模 | 大(数据大于TB) | 小 |
数据检查 | 读时模式 | 写时模式 |
UDF,UDAF,UDTF都是函数
UDF:用户自定义普通函数
直接应用于select语句,通常查询的时候,需要对字段做一些格式化处理(大小写转换)
特点:一对一
-- 添加jar包(Java开发UDF)
add jar /root/badou/hadoop/hive_test/hiveudf-1.0-SNAPSHOT.jar;
-- 创建函数
create temporary function upper_func as 'Upercase';
-- 使用该函数
select title , upper_func(title) from test.movie limit 10;
-- 查询结果
title TITLE
Toy Story (1995) TOY STORY (1995)
Jumanji (1995) JUMANJI (1995)
Grumpier Old Men (1995) GRUMPIER OLD MEN (1995)
Waiting to Exhale (1995) WAITING TO EXHALE (1995)
Father of the Bride Part II (1995) FATHER OF THE BRIDE PART II (1995)
Heat (1995) HEAT (1995)
Sabrina (1995) SABRINA (1995)
Tom and Huck (1995) TOM AND HUCK (1995)
Sudden Death (1995) SUDDEN DEATH (1995)UDAF:用户自定义聚合函数
特点:多对一
UDTF:用户自定义表生成函数
特点:一对多
读时模式、写时模式
读时模式
只有hive读的时候才会检查、解析字段和schema
优点:load数据时非常快,因为在写的过程中是不需要解析数据
写时模式
优点:读的时候会得到优化
缺点:写的慢,需要建立一些索引、压缩、数据一致性、字段检查等等
Hive体系架构
用户接口
语句转换driver
把用户的cmd进行编译、优化并且生产对应的MR任务进行执行,driver时hive的核心
数据存储
实际数据(HDFS)+ 元数据(通常metadata的存储的metastore是一个独立的关系型数据库),默认的metastore是deby:本地的数据库(单用户模式),建议使用mysql:多用户模式(本地+远程)
Hive数据模型
Table:内部表(所有的处理都由Hive完成,创建过程和加载过程,是两个独立过程,但也可以在同一个语句中完成,实际的数据会移动到数据仓库的目录中,如果数据表删除,那么实际数据也会删除)
External Table:外部表(如果数据表删除,那么实际数据也删除了)
Partition:分区
partition是辅助查询,缩小查询范围,加快数据的检索速度和对数据按照一定的规格和条件进行管理
Bucket:分桶(分库,采样)
set hive.enforce.bucketing = true; -- 开启分库功能
-- 插入数据
from test.rating
insert overwrite table rating_b
select userid , movieid , rating ;
-- 采样数据
select * from rating_b tablesample(bucket 3 out of 16 on userid) limit 20例子:select * from student tablesample(bucket 1 out 2 on id);
tablesample是抽样语句,语法:TABLESAMPLE(BUCKET x OUT OF y)
y:必须是table总bucket数的倍数或者因子。hive根据y的大小,决定抽样的比例。例如,table总共分了64份,当y=32时,抽取(64/32)2个bucket的数据,当y=128时,抽取(64/128)1/2个bucket的数据。
x:表示从哪个bucket开始抽取。例如,table总bucket数为32,tablesample(bucket 3 out of 16),表示总共抽取(32/16)2个bucket的数据,分别为第3个bucket和第(3+16)19个bucket的数据
Hive数据类型
类型 | 说明 |
---|---|
tinyint | |
smallint | |
int | |
bigint | |
float | |
double | |
string | |
binary(hive0.8.0以上才可用) | |
timestamp(hive0.8.0以上才可用) | |
array<data_type> | |
map<primitive_type,data_type> | |
struct<col_name:data_type[comment col_comment],.............> | |
uniontype<data_type,data_type,..........> |
Hive数据管理
hive表本质就是hadoop的目录/文件
hive默认表存放路径一般是在你工作目录的hive目录里面,按表名做文件夹分开,如果你有分区表的话,分区值是字文件夹,可以直接在其它的M/R job里直接应用这部分数据
item | name | HDFS |
---|---|---|
Table | mobile_user | /lib/mobile_user |
Partition | action=insight , day=20131023 | /libs/mobile_user/action=insight/day=20131023 |
Bucket | clusted by user into 32 buckets | /libs/mobile_user/action=insight/day=20131023/part-00000 |
初始Hive的更多相关文章
- 云计算系列——HIVE1.2.1 环境搭建
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过 ...
- 【hive】——Hive初始了解
1.没有接触,不知道这个事物是什么,所以不会产生任何问题.2.接触了,但是不知道他是什么,反正我每天都在用.3.有一定的了解,不够透彻.那么hive,1.我们对它了解多少?2.它到底是什么?3.hiv ...
- Hive初始
一.Hive概念 二.为什么要是用Hive 三.Hive优缺点 四.hive架构 一.Hive概念 Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的 ...
- 安装Hive(独立模式 使用mysql连接)
安装Hive(独立模式 使用mysql连接) 1.默认安装了java+hadoop 2.下载对应hadoop版本的安装包 3.解压安装包 tar zxvf apache-hive-1.2.1-bin. ...
- 一步一步安装hive
安装hive 1.下载hive-0.11.0.tar.gz,解压; 2.下载mysql-connector-java-5.1.29-bin.jar并放到hive/lib/下: 3.配置hive/con ...
- Hadoop之Hive(2)--配置Hive Metastore
Hive metastore服务以关系性数据库的方式存储Hive tables和partitions的metadata,并且提供给客户端访问这些数据的metastore service的API.下面介 ...
- hadoop学习记录(四)hadoop2.6 hive配置
一.安装mysql 1安装服务器 sudo apt-get install mysql-server 2安装mysql客户端 sudo apt-get install mysql-client sud ...
- ubuntu中为hive配置远程MYSQL database
一.安装mysql $ sudo apt-get install mysql-server 启动守护进程 $ sudo service mysql start 二.配置mysql服务与连接器 1.安装 ...
- hive UDAF源代码分析
sss /** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license a ...
随机推荐
- 20172325 2018-2019-1 《Java程序设计》第二周学习总结
20172325 2018-2019-1 <Java程序设计>第二周学习总结 教材学习内容总结 3.1集合 集合是一种聚集.组织了其他对象的对象.集合可以分为两大类:线性集合和非线性集合. ...
- The server time zone value 'Öйú±ê׼ʱ¼ä' is unrecognized or represents more than one time zone问题解决
从错误即可知道是时区的错误,因此只要将时区设置为你当前系统时区即可 因此使用root用户登录mysql,按照如下图所示操作即可. 把时区设置为所在地时区(即东八区的时区)后,再连接数据库就可以了
- Spring IOC(八)bean 的创建
Spring IOC(八)bean 的创建 Spring 系列目录(https://www.cnblogs.com/binarylei/p/10198698.html) 参考: 每天用心记录一点点.内 ...
- Centos7 开启vsftpd
Centos 1.开启DNS 可yum install (操作后要关闭) # vi /etc/resolv.conf# (INSERT)nameserver 8.8.8.8# (INSERT)表示按I ...
- MySQL中varchar与char区别
MySQL中varchar与char区别(转) MySQL中varchar最大长度是多少? 一. varchar存储规则: 4.0版本以下,varchar(20),指的是20字节,如果存放UTF8汉字 ...
- 设计服务类网站原型模板分享——Fortyseven
Fortyseven是一个设计服务网站,设计理念是帮助企业设计出赚钱的品牌和网站.该网站图文排版配色都很不错,很有欧美复古风,多采用大图结合文案排版. 本原型由国产Mockplus(原型工具)和iDo ...
- linux 和 主机通信的另类方法
偶然发现,linux可以从github上直接下载代码.这样就能用windows写好代码,直接给linux来跑了.很方便. 当然是因为我还不会配置网络来让linux和windows通信.弄了一个下午也没 ...
- Ajax复习
1.标准请求响应时浏览器的动作(同步操作) 1.1 浏览器请求什么资源,跟随显示什么资源 2.ajax:异步请求: 2.1 局部刷新,通过异步请求,请求到服务器资源数据后,通过脚本修改页面中部分内容 ...
- shell for if
#!/bin/bash ..} do ];then j="${i}" else j="${i}" fi echo $j >> venn.log ec ...
- php 制作验证码不显示的问题
php制作验证码的代码,这里就不多说了,网上有很多的,这里说一些可能遇到的问题. 1. 首先是检查自己的php.ini文件,是否支持gd库. 2.保证代码没有出问题. 3.检查字体文件路径是否正确. ...