Hive中有时候会遇到复制表的需求,复制表指的是复制表结构和数据。

如果是针对非分区表,那很简单,可以使用CREATE TABLE new_table AS SELECT * FROM old_table;

那么如果是分区表呢?

首先想到的办法可能是:

先创建一张和old_table结构相同的new_table,包括分区;可以使用CREATE TABLE new_table LIKE old_table;

接下来使用动态分区,把old_table的数据INSERT到new_table中。

这个方法当然可以,但可能不是最快的。

其实可以这样做:

1. CREATE TABLE new_table LIKE old_table;

2. 使用hadoop fs -cp 命令,把old_table对应的HDFS目录的文件夹全部拷贝到new_table对应的HDFS目录下;

3. 使用MSCK REPAIR TABLE new_table;修复新表的分区元数据;

看例子:

有一张分区表t1,只有两个分区,每个分区中都有一条数据,如下:

hive> show partitions t1;
    OK
    pt=2015-09-11
    pt=2015-09-12
    Time taken: 0.11 seconds, Fetched: 2 row(s)
    hive> desc t1;
    OK
    id string
    pt string
     
    # Partition Information
    # col_name data_type comment
     
    pt string
    Time taken: 0.123 seconds, Fetched: 7 row(s)
    hive> select * from t1;
    OK
    X 2015-09-11
    Y 2015-09-12
    Time taken: 0.095 seconds, Fetched: 2 row(s)
    hive>

创建一张相同表结构的新表t2;

hive> create table t2 like t1;
    OK
    Time taken: 0.162 seconds
    hive> desc t2;
    OK
    id string
    pt string
     
    # Partition Information
    # col_name data_type comment
     
    pt string
    Time taken: 0.139 seconds, Fetched: 7 row(s)
    hive> show partitions t2;
    OK
    Time taken: 0.082 seconds

使用hadoop fs -cp命令把t1对应HDFS目录的所有文件夹复制到t2对应的HDFS目录下:

[liuxiaowen@dev ~]$ hadoop fs -cp /hivedata/warehouse/liuxiaowen.db/t1/* /hivedata/warehouse/liuxiaowen.db/t2/
    [liuxiaowen@dev ~]$ hadoop fs -ls /hivedata/warehouse/liuxiaowen.db/t2/
    Found 2 items
    drwxr-xr-x - liuxiaowen liuxiaowen 0 2015-09-11 17:17 /hivedata/warehouse/liuxiaowen.db/t2/pt=2015-09-11
    drwxr-xr-x - liuxiaowen liuxiaowen 0 2015-09-11 17:17 /hivedata/warehouse/liuxiaowen.db/t2/pt=2015-09-12

在Hive用使用MSCK REPAIR TABLE t2;修复新表t2的分区元数据;

hive> show partitions t2;
    OK
    Time taken: 0.082 seconds
    hive> MSCK REPAIR TABLE t2;
    OK
    Partitions not in metastore: t2:pt=2015-09-11 t2:pt=2015-09-12
    Repair: Added partition to metastore t2:pt=2015-09-11
    Repair: Added partition to metastore t2:pt=2015-09-12
    Time taken: 0.249 seconds, Fetched: 3 row(s)
    hive> show partitions t2;
    OK
    pt=2015-09-11
    pt=2015-09-12
    Time taken: 0.068 seconds, Fetched: 2 row(s)
    hive> select * from t2;
    OK
    X 2015-09-11
    Y 2015-09-12
    Time taken: 0.123 seconds, Fetched: 2 row(s)
    hive>

OK,新表t2已经复制好了,它和t1有着相同的表结构,分区结构,分区以及数据。

--------------------- 本文来自 mnasd 的CSDN 博客 ,全文地址请点击:https://blog.csdn.net/mnasd/article/details/81736162

Hive中如何快速的复制一张分区表(包括数据)的更多相关文章

  1. hdfs数据到hive中,以及hdfs数据隐身理解

    hdfs数据到hive中: 假设hdfs中已存在好了数据,路径是hdfs:/localhost:9000/user/user_w/hive_g2park/user_center_enterprise_ ...

  2. 使用sqoop将mysql数据导入到hive中

    首先准备工具环境:hadoop2.7+mysql5.7+sqoop1.4+hive3.1 准备一张数据库表: 接下来就可以操作了... 一.将MySQL数据导入到hdfs 首先我测试将zhaopin表 ...

  3. hive中的null

    在处理流水增量表的时候,出现了一个判定的失误. select a.a1,a.a2 from ( select a.a1 ,,) as diff ,a.a2 from a lefter join b o ...

  4. mysql复制表结构和表数据

    我们知道,在SQL Server中,如果要复制表结构和表数据的话,可以使用select into语句. select * into yanggb1 from yanggb; 但是在MySQL中是不支持 ...

  5. hive 修复元数据命令 & 如何快速复制一张hive的分区表

    hive 元数据修复命令 msck repair table xxx; 也可以用于分区表的快速复制 例如你需要从线上往线下导一张分区表,但是网又没有连通,你需要如何操作呢? 1.复制建表语句 2.从线 ...

  6. SQLSERVER中如何快速比较两张表的不一样

    SQLSERVER中如何快速比较两张表的不一样 不知不觉要写2014年的最后一篇博文了~ 一般来说,如何检测两张表的内容是否一致,体现在复制的时候发布端和订阅端的两端的数据上面 我这里罗列了一些如何从 ...

  7. hive sql 查询一张表的数据不在另一张表中

    有时,我们需要对比两张表的数据,找到在其中一张表,不在另一张表中的数据 hql 如下: SELECT * FROM (SELECT id FROM a WHERE dt = '2019-03-17' ...

  8. 2020-08-08:有一批气象观测站,现需要获取这些站点的观测数据,并存储到 Hive 中。但是气象局只提供了 api 查询,每次只能查询单个观测点。那么如果能够方便快速地获取到所有的观测点的数据?

    福哥答案2020-08-08: 参考答案:A.通过shell 或python 等调用api,结果先暂存本地,最后将本地文件上传到 Hive 中.B.通过 datax 的 httpReader 和 hd ...

  9. hive中rcfile格式(收藏文)

    首先声明,此文是属于纯粹收藏文,感觉讲的很不错. 本文介绍了Facebook公司数据分析系统中的RCFile存储结构,该结构集行存储和列存储的优点于一身,在MapReduce环境下的大规模数据分析中扮 ...

随机推荐

  1. tomcat停止和启动脚本

    日常重启tomcat比较麻烦,所以写了2个脚本,在脚本后输入tomcat名称即可 启动或重启tomcat #!/bin/sh TOMCAT_HOME=/usr/java/$1 if [ ! -n &q ...

  2. opencv 替换图像中的一部分

    首先选取图像中的Roi区域,然后对Roi区域进行赋值,那么原图像相应的区域也跟着变化了: dst = src.clone(); cv::Mat Roi(dst, cv::Rect(x, y, cut_ ...

  3. springMVC(一): 整体请求过程概述

    首先用户发送请求,DispatcherServlet实现了Servlet接口 获取url请求对应的处理方法,遍历handlerMappings列表,获取对象HandlerExecutionChain( ...

  4. LeetCode-37.Sudok Solver

    Write a program to solve a Sudoku puzzle by filling the empty cells. A sudoku solution must satisfy  ...

  5. 误删除innodb ibdata数据文件

    今天在群里看到有人说不熟悉innodb把ibdata(数据文件)和ib_logfile(事务日志)文件误删除了.不知道怎么解决.当时我也不知道怎么办.后来查阅相关资料.终找到解决方法.其实恢复也挺简单 ...

  6. mysql 数据表操作 目录

    mysql 数据表操作 存储引擎介绍 mysql 使用存储引擎 mysql 数据表的增删改查 mysql 数据类型 mysql 约束条件

  7. Java Swing界面编程(18)---单行文本输入组件:JTextField

    版权声明:本文为博主原创文章.未经博主同意不得转载. https://blog.csdn.net/xuejiawei123/article/details/27565407 下面的程序与上一例有一点差 ...

  8. Android使用SpannableString设置多样式文本

    Android将一行文本设置为多种样式时,可以使用 SpannableString 来实现 private void setTips(){ String big = "大字深色"; ...

  9. 339A

    #include <iostream> #include <string> #include <algorithm> using namespace std; #d ...

  10. iot-hub运行在虚拟上

    ng  build gradlew build java -jar iot-hub-0.0.1-SNAPSHOT.jar 后台运行  nohup java -jar iot-dm-0.0.1-SNAP ...