hive学习笔记-表操作

Hive数据类型

基本数据类型

tinyint,smallint,int,biging,float,double,decimal,char,varchar,string,binary,boolean,timestamp,date,

引用数据类型

Array：同样数据类型组合的数组,使用array[1]訪问

MAP：Key-value键值对，通过键进行訪问，使用map['key']訪问

STRUCT：结构体类型，用来存储不同数据类型的数据，是用struct.key訪问

类型不区分大写和小写



Hive使用的文件

textfile：文本格式

SequenceFile：序列化文件(存储的是二进制)

RcFile：列是文件存储格式



Hive基本使用表

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name data_type [COMMENT col_comment],...)] [PARTITIONED BY(col_name data_type [COMMENT col_comment],...)] [CLUSTERED BY (col_name,col_name2,...) SORTED BY(col_name [ASC|DESC],...)] INTO num_buckets
BUCKETS]

[

 [ROW FORMAT row_format][STORED AS file_format] | STORED BY 'storage.handler.class.name' [WITH SERDEPROPERTIES(...)]

]

[LOCATION hdfs_path]

           

[AS select_statement]



EXTERNAL:是内部还是外部表

PARTITIONER BY :依据指定列进行分区

CLUSTERED BY:依照某一个字段将同样数据聚到同一个reduce中

BUCKETS:分桶，依据哈希值进行分桶

LOCATION：创建表，其文件在在集群的位置

AS：查询值同一时候加入到表中



样例：

CREATE TABLE IF NOT EXISTS employees(

name string,

salary float,

subordinates array<string>,

deductions map<string,float>,

address struct<street:string,city:string,state:string,zip:int>

)row format delimited fields terminated by '\t' collection items terminated by ',' map keys terminated by ':' lines terminated by '\n' stored as textfile location '/data/';




查看表结构：

desc table_name;

具体信息

desc extended table_name;

格式化后的具体信息

desc formatted table_name;



删除表

drop table table_name;



外部表与内部表的差别：

假设内部表，在删除表之后会将表数据从HDFS中删除，而外部表仅仅删除表的元数据信息，并不会删除表中的数据。

查询字段，假设是array类型能够通过下标

select subordinates[1] from employees;

查询假设是map，使用col_name['key']

查询假设是struct。使用col_name.steet



show tables    显示当前数据库中的表

desc [extended | formatted] table_name    显示表的结构

show create table tablename    显示创建表的语句

drop table tablename    删除表

create table test1 like test2    复制表结构，可是表中数据并没有载入过来

create table test4 as select name,addr from test5    依据test5的name和addr创建test4表。而且将test5中name和addr数据内容载入到test4中（select中不能查*）



hive不同文件读取：

stored as testfile

直接查看HDFS

通过hdfs dfs -test查看



stored as sequencefile

通过hdfs dfs -test查看



stored as rcfile

hive -service rcfilecat path



stored as inputformat 'class' outputformat 'class'



四种基本的差别是inputformat 和 outputformat不同



hive中载入jar包（当次会话实用，假设多次须要加到lib文件夹下）

add jar path/..jar



Hive使用SerDe

SerDe是Serializer和Deserializer的缩写即序列化与反序列化

Hive读写数据的顺序

HDFS->inputfileformat-> <key,vlaue> -> deserializer -> row对象

row对象 -> serializer -> <key,value> ->outputFileFormat -> HDFS文件



Hive分区

为了避免查询过程中消耗非常长时间进行查找整个表，能够使用分区。查找特定分区中的内容，从而节省时间。

分区语句

create table tablename(

name string

....

)

partitioned by(col_name type,...)    这个分区字段和上面定义的字段不同。定义分区字段能够有多个用于分区后在对内容进行分区，相当于一级分区二级分区，注意和顺序有关的

事实上分区就是在HDFS下相应表中创建文件夹，这样以后查询的时候直接去相应文件夹下进行查找

加入分区语法：

alter table table_name add [if not exists] partition(col_name=par_con)

注意这样的加入分区方法前提是在创建表的时候已经创建了col_name分区

删除分区

alter table table_name drop [if exists] partition(col_name=par_com)

查看分区

show partitions table_name

数据载入到分区：

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE table_name [partition(dt=..,hour=..)]



Hive分桶

对于某个表或者某个分区。hive进一步的组织成桶，也就是说桶是更细粒度范围的划分

hive针对某一列进行分桶

hive採用对列进行hash取值。然后使用该值对桶的个数取余的方式决定该条记录放在哪个桶中

与分区一样都是为了提高查询的效率



查找

select [ALL|DISTINCT] col_name frwom table_name [where col_name=..]