hive内部表与外部表区别详细介绍
问题导读:
1.创建内部表与外部表的区别是什么?
2.external关键字的作用是什么?
3.外部表与内部表的区别是什么?
4.删除表的时候,内部表与外部表有什么区别?
5.load data local inpath '/home/wyp/data/wyp.txt' into table wyp;的过程是什么样子的?
6.磁盘,hdfs,hive表他们之间的过程是什么样子的?
好了,进入正题。今天我们要探讨的话题是Hive的里面的表与外部表两个概念,以及如何在Hive里面创建表和外部表,它们之间有什么区别等话题。在本博客的 让你彻底明白hive数据存储各种模式文章里面我们谈到了Hive的数据存储模式,里面简单的说到Hive中表以及外部表的简单概念,相信很多读者对这些概念还不是很了解,今天就给大家科普一下,希望对大家有所帮助。
相信很多用户都用过关系型数据库,我们可以在关系型数据库里面创建表(create table),这里要讨论的表和关系型数据库中的表在概念上很类似。我们可以用下面的语句在Hive里面创建一个表:
- hive> create table wyp(id int,
- > name string,
- > age int,
- > tele string)
- > ROW FORMAT DELIMITED
- > FIELDS TERMINATED BY '\t'
- > STORED AS TEXTFILE;
- OK
- Time taken: 0.759 seconds
复制代码
这样我们就在Hive里面创建了一张普通的表,现在我们给这个表导入数据:
- hive> load data local inpath '/home/wyp/data/wyp.txt' into table wyp;
- Copying data from file:/home/wyp/data/wyp.txt
- Copying file: file:/home/hdfs/wyp.txt
- Loading data to table default.wyp
- Table default.wyp stats: [num_partitions: 0, num_files: 1,
- num_rows: 0, total_size: 67, raw_data_size: 0]
- OK
- Time taken: 3.289 seconds
- hive> select * from wyp;
- OK
- 1 wyp 25 13188888888888
- 2 test 30 13888888888888
- 3 zs 34 899314121
- Time taken: 0.41 seconds, Fetched: 3 row(s)
复制代码
注意:/home/wyp/data/路径是Linux本地文件系统路径;而/home/hdfs/是HDFS文件系统上面的路径!从上面的输出我们可以看到数据是先从本地的/home/wyp/data/文件夹下复制到HDFS上的/home/hdfs/wyp.txt(这个是Hive中的配置导致的)文件中!最后Hive将从HDFS上把数据移动到wyp表中!移到表中的数据到底存放在HDFS的什么地方?其实在Hive的${HIVE_HOME}/conf/hive-site.xml配置文件的hive.metastore.warehouse.dir属性指向的就是Hive表数据存放的路径(在我的店电脑里面配置是/user/hive/warehouse),而Hive每创建一个表都会在hive.metastore.warehouse.dir指向的目录下以表名创建一个文件夹,所有属于这个表的数据都存放在这个文件夹里面。所以,刚刚导入到wyp表的数据都存放在/user/hive/warehouse/wyp/文件夹中,我们可以去看看:
- hive> dfs -ls /user/hive/warehouse/wyp ;
- Found 1 items
- -rw-r--r-- 3 wyp supergroup 67 2014-01-14 22:23 /user/hive/warehouse/wyp/wyp.txt
复制代码
看到没,上面的命令就是显示HDFS上的/user/hive/warehouse/wyp中的所有内容。如果需要删除wyp表,可以用下面的命令:
- hive> drop table wyp;
- Moved: 'hdfs://mycluster/user/hive/warehouse/wyp' to
- trash at: hdfs://mycluster/user/hdfs/.Trash/Current
- OK
- Time taken: 2.503 seconds
复制代码
从上面的输出Moved: ‘hdfs://mycluster/user/hive/warehouse/wyp’ to trash at: hdfs://mycluster/user/hdfs/.Trash/Current我们可以得知,原来属于wyp表的数据被移到hdfs://mycluster/user/hdfs/.Trash/Current文件夹中(如果你的Hadoop没有取用垃圾箱机制,那么drop table wyp命令将会把属于wyp表的所有数据全部删除!),其实就是删掉了属于wyp表的数据。记住这些,因为这些和外部表有很大的不同。同时,属于表wyp的元数据也全部删除了!
我们再来创建一个外部表:
- hive> create external table exter_table(
- > id int,
- > name string,
- > age int,
- > tel string)
- > location '/home/wyp/external';
- OK
- Time taken: 0.098 seconds
复制代码
仔细观察一下创建表和外部表的区别,仔细的同学们一个会发现创建外部表多了external关键字说明以及location ‘/home/wyp/external’。是的,你说对了!如果你需要创建外部表,需要在创建表的时候加上external关键字,同时指定外部表存放数据的路径(当然,你也可以不指定外部表的存放路径,这样Hive将在HDFS上的/user/hive/warehouse/文件夹下以外部表的表名创建一个文件夹,并将属于这个表的数据存放在这里):
- hive> load data local inpath '/home/wyp/data/wyp.txt' into table exter_table;
- Copying data from file:/home/wyp/data/wyp.txt
- Copying file: file:/home/hdfs/wyp.txt
- Loading data to table default.exter_table
- Table default.exter_table stats: [num_partitions: 0, num_files:
- 1, num_rows: 0, total_size: 67, raw_data_size: 0]
- OK
- Time taken: 0.456 seconds
复制代码
和上面的导入数据到表一样,将本地的数据导入到外部表,数据也是从本地文件系统复制到HDFS中/home/hdfs/wyp.txt文件中,但是,最后数据不是移动到外部表的/user/hive/warehouse/exter_table文件夹中(除非你创建表的时候没有指定数据的存放路径)!大家可以去HDFS上看看!对于外部表,数据是被移动到创建表时指定的目录(本例是存放在/home/wyp/external文件夹中)!如果你要删除外部表,看看下面的操作:
- hive> drop table exter_table;
- OK
- Time taken: 0.093 seconds
复制代码
和上面删除Hive的表对比可以发现,没有输出将数据从一个地方移到任一个地方!那是不是删除外部表的的时候数据直接被删除掉呢?答案不是这样的:
- hive> dfs -ls /home/wyp/external;
- Found 1 items
- -rw-r--r-- 3 wyp supergroup 67 2014-01-14 23:21 /home/wyp/external/wyp.txt
复制代码
你会发现删除外部表的时候,数据并没有被删除,这是和删除表的数据完全不一样的!
最后归纳一下Hive中表与外部表的区别:
1、在导入数据到外部表,数据并没有移动到自己的数据仓库目录下,也就是说外部表中的数据并不是由它自己来管理的!而表则不一样;
2、在删除表的时候,Hive将会把属于表的元数据和数据全部删掉;而删除外部表的时候,Hive仅仅删除外部表的元数据,数据是不会删除的!
那么,应该如何选择使用哪种表呢?在大多数情况没有太多的区别,因此选择只是个人喜好的问题。但是作为一个经验,如果所有处理都需要由Hive完成,那么你应该创建表,否则使用外部表!
hive内部表与外部表区别详细介绍的更多相关文章
- hive 内部表和外部表的区别和理解
1. 内部表 create table test (name string , age string) location '/input/table_data'; 注:hive默认创建的是内部表 此时 ...
- hive 内部表与外部表的区别
hive 内部表: hive> create table soyo55(name STRING,addr STRING,money STRING) row format delimited fi ...
- Hive内部表与外部表的区别
1.未被external修饰的是内部表[managed table],被external修饰的为外部表[external table]. 2.内部表数据由Hive自身管理,外部表数据由HDFS管理. ...
- 【转】Hive内部表、外部表
hive内部表.外部表区别自不用说,可实际用的时候还是要小心. 1. 内部表: create table tt (name string , age string) location '/input/ ...
- hive内部表、外部表
hive内部表.外部表区别自不用说,可实际用的时候还是要小心. Hive的数据分为表数据和元数据,表数据是Hive中表格(table)具有的数据:而元数据是用来存储表的名字,表的列和分区及其属性,表的 ...
- 大数据学习day26----hive01----1hive的简介 2 hive的安装(hive的两种连接方式,后台启动,标准输出,错误输出)3. 数据库的基本操作 4. 建表(内部表和外部表的创建以及应用场景,数据导入,学生、分数sql练习)5.分区表 6加载数据的方式
1. hive的简介(具体见文档) Hive是分析处理结构化数据的工具 本质:将hive sql转化成MapReduce程序或者spark程序 Hive处理的数据一般存储在HDFS上,其分析数据底 ...
- 一起学Hive——创建内部表、外部表、分区表和分桶表及导入数据
Hive本身并不存储数据,而是将数据存储在Hadoop的HDFS中,表名对应HDFS中的目录/文件.根据数据的不同存储方式,将Hive表分为外部表.内部表.分区表和分桶表四种数据模型.每种数据模型各有 ...
- hive内部表、外部表、分区
hive内部表.外部表.分区 内部表(managed table) 默认创建的是内部表(managed table),存储位置在hive.metastore.warehouse.dir设置,默认位置是 ...
- Hive创建内部表、外部表
使用hive需要hive环境 启动Hive 进入HIVE_HOME/bin,启动hive ./hive 内部表 建表 hive> create table fz > (id int,nam ...
随机推荐
- React Native 混合开发与实现
关于 微信公众号:前端呼啦圈(Love-FED) 我的博客:劳卜的博客 知乎专栏:前端呼啦圈 前言 随着 React 的盛行,其移动开发框架 React Native 也收到了广大开发者的青睐,以下简 ...
- eclipse安装STS插件遇到的问题
eclipse安装STS插件 第一次接触springboot,对于用惯了eclipse写代码的人来说,接受IDEA确实还要多花点时间去改变下,因为IDEA确实会节省下不必要的写代码时间.废话少说,直接 ...
- Rootkit与后门隐藏技术
目录 简介 linux虚拟文件系统VFS rootkit的功能 隐藏文件 基本方法 高级方法 系统调用流程 hook sys_getdents sys_getdents的调用树 最底层的方法 隐藏进程 ...
- AutoCAD二次开发(.Net)之创建图层Layer
//https://blog.csdn.net/qq_21489689?t=1[CommandMethod("CREATELY")] public void CreateLayer ...
- T-SQL基础语句
存储过程允许标准组件式编程(模块化设计) 存储过程能够实现快速的执行速度 存储过程能够减少网络流量 存储过程可被作为一种安全机制充分利用 在SQL Server 的系列版本中存储过程分为两类:系统提供 ...
- ASP.NET 一个页上需要显示多个验证码
1.后台获取验证字节流,以字符串的形式返回到前端. public ActionResult GetValidateGraphic() { var validate = new ValidateCode ...
- Gradle——创建简单的项目
项目 & 任务 Gradle 的一切都是基于项目和任务的. 构建由一个或多个项目组成.项目的概念很抽象,它取决于你要用Gradle 做什么 .项目可以是 一个 Jar 库或者一个 web 程序 ...
- 在Keras中使用VGG进行物体识别(直接使用)
https://blog.csdn.net/baimafujinji/article/details/80700263
- [Python] 将视频转成ASCII符号形式、生成GIF图片
一.简要说明 简述:本文主要展示将视频转成ASCII符号形式展示出来,带音频. 运行环境:Win10/Python3.5. 主要模块: PIL.numpy.shutil. [PIL]: 图像处理 [n ...
- Node.js安装详细步骤教程(Windows版)
什么是Node.js? 简单的说 Node.js 就是运行在服务端的 JavaScript. Node.js是一个基于 Chrome V8 引擎的 JavaScript 运行环境: Node.js使用 ...