Hive中如何快速的复制一张分区表(包括数据)
Hive中有时候会遇到复制表的需求,复制表指的是复制表结构和数据。
如果是针对非分区表,那很简单,可以使用CREATE TABLE new_table AS SELECT * FROM old_table;
那么如果是分区表呢?
首先想到的办法可能是:
先创建一张和old_table结构相同的new_table,包括分区;可以使用CREATE TABLE new_table LIKE old_table;
接下来使用动态分区,把old_table的数据INSERT到new_table中。
这个方法当然可以,但可能不是最快的。
其实可以这样做:
1. CREATE TABLE new_table LIKE old_table;
2. 使用hadoop fs -cp 命令,把old_table对应的HDFS目录的文件夹全部拷贝到new_table对应的HDFS目录下;
3. 使用MSCK REPAIR TABLE new_table;修复新表的分区元数据;
看例子:
有一张分区表t1,只有两个分区,每个分区中都有一条数据,如下:
hive> show partitions t1;
OK
pt=2015-09-11
pt=2015-09-12
Time taken: 0.11 seconds, Fetched: 2 row(s)
hive> desc t1;
OK
id string
pt string
# Partition Information
# col_name data_type comment
pt string
Time taken: 0.123 seconds, Fetched: 7 row(s)
hive> select * from t1;
OK
X 2015-09-11
Y 2015-09-12
Time taken: 0.095 seconds, Fetched: 2 row(s)
hive>
创建一张相同表结构的新表t2;
hive> create table t2 like t1;
OK
Time taken: 0.162 seconds
hive> desc t2;
OK
id string
pt string
# Partition Information
# col_name data_type comment
pt string
Time taken: 0.139 seconds, Fetched: 7 row(s)
hive> show partitions t2;
OK
Time taken: 0.082 seconds
使用hadoop fs -cp命令把t1对应HDFS目录的所有文件夹复制到t2对应的HDFS目录下:
[liuxiaowen@dev ~]$ hadoop fs -cp /hivedata/warehouse/liuxiaowen.db/t1/* /hivedata/warehouse/liuxiaowen.db/t2/
[liuxiaowen@dev ~]$ hadoop fs -ls /hivedata/warehouse/liuxiaowen.db/t2/
Found 2 items
drwxr-xr-x - liuxiaowen liuxiaowen 0 2015-09-11 17:17 /hivedata/warehouse/liuxiaowen.db/t2/pt=2015-09-11
drwxr-xr-x - liuxiaowen liuxiaowen 0 2015-09-11 17:17 /hivedata/warehouse/liuxiaowen.db/t2/pt=2015-09-12
在Hive用使用MSCK REPAIR TABLE t2;修复新表t2的分区元数据;
hive> show partitions t2;
OK
Time taken: 0.082 seconds
hive> MSCK REPAIR TABLE t2;
OK
Partitions not in metastore: t2:pt=2015-09-11 t2:pt=2015-09-12
Repair: Added partition to metastore t2:pt=2015-09-11
Repair: Added partition to metastore t2:pt=2015-09-12
Time taken: 0.249 seconds, Fetched: 3 row(s)
hive> show partitions t2;
OK
pt=2015-09-11
pt=2015-09-12
Time taken: 0.068 seconds, Fetched: 2 row(s)
hive> select * from t2;
OK
X 2015-09-11
Y 2015-09-12
Time taken: 0.123 seconds, Fetched: 2 row(s)
hive>
OK,新表t2已经复制好了,它和t1有着相同的表结构,分区结构,分区以及数据。
--------------------- 本文来自 mnasd 的CSDN 博客 ,全文地址请点击:https://blog.csdn.net/mnasd/article/details/81736162
Hive中如何快速的复制一张分区表(包括数据)的更多相关文章
- hdfs数据到hive中,以及hdfs数据隐身理解
hdfs数据到hive中: 假设hdfs中已存在好了数据,路径是hdfs:/localhost:9000/user/user_w/hive_g2park/user_center_enterprise_ ...
- 使用sqoop将mysql数据导入到hive中
首先准备工具环境:hadoop2.7+mysql5.7+sqoop1.4+hive3.1 准备一张数据库表: 接下来就可以操作了... 一.将MySQL数据导入到hdfs 首先我测试将zhaopin表 ...
- hive中的null
在处理流水增量表的时候,出现了一个判定的失误. select a.a1,a.a2 from ( select a.a1 ,,) as diff ,a.a2 from a lefter join b o ...
- mysql复制表结构和表数据
我们知道,在SQL Server中,如果要复制表结构和表数据的话,可以使用select into语句. select * into yanggb1 from yanggb; 但是在MySQL中是不支持 ...
- hive 修复元数据命令 & 如何快速复制一张hive的分区表
hive 元数据修复命令 msck repair table xxx; 也可以用于分区表的快速复制 例如你需要从线上往线下导一张分区表,但是网又没有连通,你需要如何操作呢? 1.复制建表语句 2.从线 ...
- SQLSERVER中如何快速比较两张表的不一样
SQLSERVER中如何快速比较两张表的不一样 不知不觉要写2014年的最后一篇博文了~ 一般来说,如何检测两张表的内容是否一致,体现在复制的时候发布端和订阅端的两端的数据上面 我这里罗列了一些如何从 ...
- hive sql 查询一张表的数据不在另一张表中
有时,我们需要对比两张表的数据,找到在其中一张表,不在另一张表中的数据 hql 如下: SELECT * FROM (SELECT id FROM a WHERE dt = '2019-03-17' ...
- 2020-08-08:有一批气象观测站,现需要获取这些站点的观测数据,并存储到 Hive 中。但是气象局只提供了 api 查询,每次只能查询单个观测点。那么如果能够方便快速地获取到所有的观测点的数据?
福哥答案2020-08-08: 参考答案:A.通过shell 或python 等调用api,结果先暂存本地,最后将本地文件上传到 Hive 中.B.通过 datax 的 httpReader 和 hd ...
- hive中rcfile格式(收藏文)
首先声明,此文是属于纯粹收藏文,感觉讲的很不错. 本文介绍了Facebook公司数据分析系统中的RCFile存储结构,该结构集行存储和列存储的优点于一身,在MapReduce环境下的大规模数据分析中扮 ...
随机推荐
- membership DB生成 & dll 强命名 & 证书生成
UPD(Membership)数据库安装1.使用 Aspnet_regsql.exe 安装数据库 在 C:\WINDOWS\Microsoft.NET\Framework\\aspnet_regsql ...
- 浅谈Trie树
Trie树,也叫字典树.顾名思义,它就是一个字典 字典是干什么的?查找单词!(英文字典哦) 个人认为字典树这个名字起得特别好,因为它真的跟字典特别像,一会r你就知道了. 注:trie的中文翻译就是单词 ...
- java应用零停机,时间索引重建(reindex)
一个field的设置是不能被修改的,如果要修改一个Field,那么应该重新按照新的mapping,建立一个index,然后将数据批量查询出来,重新用bulk api写入index中 批量查询的时候,建 ...
- 10.6-uC/OS-III内部任务(统计任务 OS_StatTask())
1.这个任务能够统计总的CPU使用率(0到100%),每个任务的CPU使用率( 0到100%),每个任务的堆栈使用量. 2.统计任务在uC/OS-III中是可选的,当设置OS_CFG.H中的OS_CF ...
- 配置svn用户及密码
配置账户及密码 格式: user=passwd 配置新的账户 [root@mysql conf]# vim passwd 创建两个账户 [root@mysql conf]# egrep -v &q ...
- python的类变量和对象变量[转]
原文章:https://www.cnblogs.com/gtarcoder/p/5005897.html __dict__里存着{"属性名":属性值}. python是一种解释性的 ...
- Centos7配置JAVA_HOME
Centos7配置JAVA_HOME http://blog.csdn.net/zzpzheng/article/details/73613838 在Centos7上,通过yum install ja ...
- 以太坊abi
什么是abi ABI是Application Binary Interface的缩写,字面意思 应用二进制接口,可以通俗的理解为合约的接口说明.当合约被编译后,那么它的abi也就确定了. 我们来看看一 ...
- centos 下python升级
https://www.cnblogs.com/leon-zyl/p/8422699.html
- Mac 安装HTMLTestRunner模块
1.下载HTMLTestRunner.py文件 下载地址http://tungwaiyip.info/software/HTMLTestRunner.html 将下载的文件放在lib下: /Libra ...