hive元数据
本文介绍Hive元数据库中一些重要的表结构及用途,方便Impala、SparkSQL、Hive等组件访问元数据库的理解。
1、存储Hive版本的元数据表(VERSION)
该表比较简单,但很重要。
VER_ID |
SCHEMA_VERSION |
VERSION_COMMENT |
ID主键 |
Hive版本 |
版本说明 |
1 |
1.1.0 |
Set by MetaStore |
如果该表出现问题,根本进入不了Hive-Cli。比如该表不存在,当启动Hive-Cli时候,就会报错”Table ‘hive.version’ doesn’t exist”。
2、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS)
DBS:该表存储Hive中所有数据库的基本信息,字段如下:
表字段 |
说明 |
示例数据 |
DB_ID |
数据库ID |
1 |
DESC |
数据库描述 |
Default Hive database |
DB_LOCATION_URI |
数据HDFS路径 |
hdfs://193.168.1.75:9000/test-warehouse |
NAME |
数据库名 |
default |
OWNER_NAME |
数据库所有者用户名 |
public |
OWNER_TYPE |
所有者角色 |
ROLE |
DATABASE_PARAMS:该表存储数据库的相关参数,在CREATE DATABASE时候用WITH DBPROPERTIES(property_name=property_value, …)指定的参数。
表字段 |
说明 |
示例数据 |
DB_ID |
数据库ID |
1 |
PARAM_KEY |
参数名 |
createdby |
PARAM_VALUE |
参数值 |
root |
DBS和DATABASE_PARAMS这两张表通过DB_ID字段关联。
3、Hive表和视图相关的元数据表
主要有TBLS、TABLE_PARAMS、TBL_PRIVS,这三张表通过TBL_ID关联。
TBLS:该表中存储Hive表,视图,索引表的基本信息
表字段 |
说明 |
示例数据 |
TBL_ID |
表ID |
21 |
CREATE_TIME |
创建时间 |
1447675704 |
DB_ID |
数据库ID |
1 |
LAST_ACCESS_TIME |
上次访问时间 |
1447675704 |
OWNER |
所有者 |
root |
RETENTION |
保留字段 |
0 |
SD_ID |
序列化配置信息 |
41,对应SDS表中的SD_ID |
TBL_NAME |
表名 |
ex_detail_ufdr_30streaming |
TBL_TYPE |
表类型 |
EXTERNAL_TABLE |
VIEW_EXPANDED_TEXT |
视图的详细HQL语句 |
|
VIEW_ORIGINAL_TEXT |
视图的原始HQL语句 |
TABLE_PARAMS:该表存储表/视图的属性信息
表字段 |
说明 |
示例数据 |
TBL_ID |
表ID |
1 |
PARAM_KEY |
属性名 |
totalSize,numRows,EXTERNAL |
PARAM_VALUE |
属性值 |
970107336、21231028、TRUE |
TBL_PRIVS:该表存储表/视图的授权信息
表字段 |
说明 |
示例数据 |
TBL_GRANT_ID |
授权ID |
1 |
CREATE_TIME |
授权时间 |
1436320455 |
GRANT_OPTION |
0 |
|
GRANTOR |
授权执行用户 |
root |
GRANTOR_TYPE |
授权者类型 |
USER |
PRINCIPAL_NAME |
被授权用户 |
username |
PRINCIPAL_TYPE |
被授权用户类型 |
USER |
TBL_PRIV |
权限 |
Select、Alter |
TBL_ID |
表ID |
21,对应TBLS表的TBL_ID |
4、Hive文件存储信息相关的元数据表
主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS,由于HDFS支持的文件格式很多,而建Hive表时候也可以指定各种文件格式,Hive在将HQL解析成MapReduce时候,需要知道去哪里,使用哪种格式去读写HDFS文件,而这些信息就保存在这几张表中。
SDS:
该表保存文件存储的基本信息,如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。TBLS表中的SD_ID与该表关联,可以获取Hive表的存储信息。
表字段 |
说明 |
示例数据 |
SD_ID |
存储信息ID |
41 |
CD_ID |
字段信息ID |
21,对应CDS表 |
INPUT_FORMAT |
文件输入格式 |
org.apache.hadoop.mapred.TextInputFormat |
IS_COMPRESSED |
是否压缩 |
0 |
IS_STOREDASSUBDIRECTORIES |
是否以子目录存储 |
0 |
LOCATION |
HDFS路径 |
hdfs://193.168.1.75:9000/detail_ufdr_streaming_test |
NUM_BUCKETS |
分桶数量 |
0 |
OUTPUT_FORMAT |
文件输出格式 |
org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat |
SERDE_ID |
序列化类ID |
41,对应SERDES表 |
SD_PARAMS: 该表存储Hive存储的属性信息,在创建表时候使用STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。
表字段 |
说明 |
示例数据 |
SD_ID |
存储配置ID |
41 |
PARAM_KEY |
存储属性名 |
|
PARAM_VALUE |
存储属性值 |
SERDES:该表存储序列化使用的类信息
表字段 |
说明 |
示例数据 |
SERDE_ID |
序列化类配置ID |
41 |
NAME |
序列化类别名 |
NULL |
SLIB |
序列化类 |
org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe |
SERDE_PARAMS:该表存储序列化的一些属性、格式信息,比如:行、列分隔符
表字段 |
说明 |
示例数据 |
SERDE_ID |
序列化类配置ID |
41 |
PARAM_KEY |
属性名 |
field.delim |
PARAM_VALUE |
属性值 |
| |
5、Hive表字段相关的元数据表
主要涉及COLUMNS_V2
COLUMNS_V2:该表存储表对应的字段信息
表字段 |
说明 |
示例数据 |
CD_ID |
字段信息ID |
21 |
COMMENT |
字段注释 |
NULL |
COLUMN_NAME |
字段名 |
air_port_duration |
TYPE_NAME |
字段类型 |
bigint |
INTEGER_IDX |
字段顺序 |
119 |
6、Hive表分分区相关的元数据表
主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS
PARTITIONS:该表存储表分区的基本信息
表字段 |
说明 |
示例数据 |
PART_ID |
分区ID |
21 |
CREATE_TIME |
分区创建时间 |
1450861405 |
LAST_ACCESS_TIME |
最后一次访问时间 |
0 |
PART_NAME |
分区名 |
hour=15/last_msisdn=0 |
SD_ID |
分区存储ID |
43 |
TBL_ID |
表ID |
22 |
LINK_TARGET_ID |
NULL |
PARTITION_KEYS:该表存储分区的字段信息
表字段 |
说明 |
示例数据 |
TBL_ID |
表ID |
22 |
PKEY_COMMENT |
分区字段说明 |
NULL |
PKEY_NAME |
分区字段名 |
hour |
PKEY_TYPE |
分区字段类型 |
int |
INTEGER_IDX |
分区字段顺序 |
0 |
PARTITION_KEY_VALS:该表存储分区字段值
表字段 |
说明 |
示例数据 |
PART_ID |
分区ID |
21 |
PART_KEY_VAL |
分区字段值 |
0 |
INTEGER_IDX |
分区字段值顺序 |
1 |
PARTITION_PARAMS:该表存储分区的属性信息
表字段 |
说明 |
示例数据 |
PART_ID |
分区ID |
21 |
PARAM_KEY |
分区属性名 |
numFiles,numRows |
PARAM_VALUE |
分区属性值 |
1,502195 |
6、其他不常用的元数据表
DB_PRIVS
数据库权限信息表。通过GRANT语句对数据库授权后,将会在这里存储。
IDXS
索引表,存储Hive索引相关的元数据
INDEX_PARAMS
索引相关的属性信息
TBL_COL_STATS
表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里
TBL_COL_PRIVS
表字段的授权信息
PART_PRIVS
分区的授权信息
PART_COL_PRIVS
分区字段的权限信息
PART_COL_STATS
分区字段的统计信息
FUNCS
用户注册的函数信息
FUNC_RU
用户注册函数的资源信息
hive元数据的更多相关文章
- 如何监听对 HIVE 元数据的操作
目录 简介 HIVE 基本操作 获取 HIVE 源码 编译 HIVE 源码 启动 HIVE 停止 HIVE 监听对 HIVE 元数据的操作 参考文档 简介 公司有个元数据管理平台,会定期同步 HIVE ...
- hive元数据研究
hive的元数据存放在关系型数据库中,元数据中存储了hive中所有表格的信息,包括表格的名字,表格的字段,字段的类型,注释.这些信息分散的存放在各个表中,给定一个hive中的表格名字,查询这个表中含有 ...
- spark on yarn模式下配置spark-sql访问hive元数据
spark on yarn模式下配置spark-sql访问hive元数据 目的:在spark on yarn模式下,执行spark-sql访问hive的元数据.并对比一下spark-sql 和hive ...
- Hive元数据启动失败,端口被占用
org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0. ...
- hive 元数据解析
在使用Hive进行开发时,我们往往需要获得一个已存在hive表的建表语句(DDL),然而hive本身并没有提供这样一个工具. 要想还原建表DDL就必须从元数据入手,我们知道,hive的元数据并不存放在 ...
- Hive实现自增序列及常见的Hive元数据问题处理
Hive实现自增序列 在利用数据仓库进行数据处理时,通常有这样一个业务场景,为一个Hive表新增一列自增字段(比如事实表和维度表之间的"代理主键").虽然Hive不像RDBMS如m ...
- Hive——元数据表含义
Hive--元数据表含义 1.VERSION -- 查询版本信息 Field Type Comment VER_ID bigint(20) ID主键 SCHEMA_VERSION va ...
- 大数据学习(11)—— Hive元数据服务模式搭建
这一篇介绍Hive的安装及操作.版本是Hive3.1.2. 调整部署节点 在Hadoop篇里,我用了5台虚拟机来搭建集群,但是我的电脑只有8G内存,虚拟机启动之后卡到没法操作,把自己坑惨了. Hive ...
- Hive元数据找回
如果不小心删除了了hive的元数据文件(/user/hive/warehouse),只要先前core-site.xml文件中设置了fs.trash.interval属性就可以找回.hdfs会为用户创建 ...
- impala系列: 同步Hive元数据和收集统计信息
---====================-- Impala 获取hive 的 metadata ---====================Impala 通常和Hive共用同一个metadat ...
随机推荐
- 查找担保圈-step7-提取未被包含过组的成员,得出结论
USE [test] GO /****** Object: StoredProcedure [dbo].[p05_get_group_member_cleared] Script Date: 2019 ...
- 使用winsw包装服务将nginx包装为Windows服务
**Nginx本身在Windows上并不支持以服务的形式运行,官方文件中有提到.http://nginx.org/en/docs/windows.html,所以在Windows下使用winsw将Ngi ...
- Nginx的一些常用配置
#定义Nginx运行的用户和用户组 #user nobody; #nginx进程数,建议设置为等于CPU总核心数. worker_processes 1; #全局错误日志定义类型,[ debug | ...
- 石子合并(直线版+环形版)&(朴素写法+四边形优化+GarsiaWachs算法)
石子合并-直线版 (点击此处查看题目) 朴素写法 最简单常见的写法就是通过枚举分割点,求出每个区间合并的最小花费,从而得到整个区间的最小花费,时间复杂度为O(n^3),核心代码如下: ; i < ...
- phpQuery简介
接上一篇,使用 Snoopy 抓取回来网页之后,需要解析网页中的元素,但是对于 https://www.cnblogs.com/hellowzd/p/5163276.html
- Contains Duplicate III -leetcode
Contains Duplicate III Given an array of integers, find out whether there are two distinct indices i ...
- @Autowired注解与@Qualifier注解搭配使用----解决多实现选择注入问题
问题:当一个接口实现由两个实现类时,只使用@Autowired注解,会报错,如下图所示 实现类1 实现类2 controller中注入 然后启动服务报错,如下所示: Exception encount ...
- 并不对劲的2-SAT
说明 板板题链接 这个人讲得很清楚 WAWAWAWA 建的边"不完整",比如当限制是"x为1时y一定为1"时,连x->y的边时,忘记连y'->x'的 ...
- 美国cst时间和夏令时
美国6 PM CST相当于北京时间几点? 换算北京时间是:8:00,上午8点,日期是第二天.(换算公式:18点+14小时=第二天8点) 6 PM CST:6:00 PM Central Standar ...
- R安装包的问题
package 'tswge' is not available (for R version 3.5.1) install.packages('tswge', repos="http:// ...