今天我们再谈谈Hive中的三种不同的数据导出方式。

依据导出的地方不一样,将这些方式分为三种:

(1)、导出到本地文件系统。

(2)、导出到HDFS中;

(3)、导出到Hive的还有一个表中。

为了避免单纯的文字,我将一步一步地用命令进行说明。





一、导出到本地文件系统

  1.   
  2. hive> insert overwrite local directory '/home/wyp/wyp'
  3. > select * from wyp;

复制代码

这条HQL的执行须要启用Mapreduce完毕,执行完这条语句之后,将会在本地文件系统的/home/wyp/wyp文件夹下生成文件,这个文件是Reduce产生的结果(这里生成的文件名称是000000_0)。我们能够看看这个文件的内容:

  1. [wyp@master ~/wyp]$ vim 000000_0
  2. 5^Awyp1^A23^A131212121212
  3. 6^Awyp2^A24^A134535353535
  4. 7^Awyp3^A25^A132453535353
  5. 8^Awyp4^A26^A154243434355
  6. 1^Awyp^A25^A13188888888888
  7. 2^Atest^A30^A13888888888888
  8. 3^Azs^A34^A899314121

复制代码

能够看出。这就是wyp表中的全部数据。数据中的列与列之间的分隔符是^A(ascii码是\00001)。



和导入数据到Hive不一样。不能用insert into来将数据导出:

  1.   
  2. hive> insert into local directory '/home/wyp/wyp'
  3. > select * from wyp;
  4. NoViableAltException(79@[])
  5. at org.apache.hadoop.hive.ql.parse.HiveParser_SelectClauseParser.selectClause(HiveParser_SelectClauseParser.java:683)
  6. at org.apache.hadoop.hive.ql.parse.HiveParser.selectClause(HiveParser.java:30667)
  7. at org.apache.hadoop.hive.ql.parse.HiveParser.regular_body(HiveParser.java:28421)
  8. at org.apache.hadoop.hive.ql.parse.HiveParser.queryStatement(HiveParser.java:28306)
  9. at org.apache.hadoop.hive.ql.parse.HiveParser.queryStatementExpression(HiveParser.java:28100)
  10. at org.apache.hadoop.hive.ql.parse.HiveParser.execStatement(HiveParser.java:1213)
  11. at org.apache.hadoop.hive.ql.parse.HiveParser.statement(HiveParser.java:928)
  12. at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:190)
  13. at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:418)
  14. at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:337)
  15. at org.apache.hadoop.hive.ql.Driver.run(Driver.java:902)
  16. at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:259)
  17. at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:216)
  18. at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:413)
  19. at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:756)
  20. at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614)
  21. at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  22. at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
  23. at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
  24. at java.lang.reflect.Method.invoke(Method.java:597)
  25. at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
  26. FAILED: ParseException line 1:12 missing TABLE at 'local' near 'local' in select clause
  27. line 1:18 cannot recognize input near 'directory' ''/home/wyp/wyp'' 'select' in select clause

复制代码

二、导出到HDFS中

和导入数据到本地文件系统一样的简单,能够用以下的语句实现:

  1.   
  2. hive> insert overwrite directory '/home/wyp/hdfs'
  3. > select * from wyp;

复制代码

将会在HDFS的/home/wyp/hdfs文件夹下保存导出来的数据。

注意,和导出文件到本地文件系统的HQL少一个local,数据的存放路径就不一样了。



三、导出到Hive的还有一个表中



这也是Hive的数据导入方式,例如以下操作:

  1.  
  2. hive> insert into table test
  3. > partition (age='25')
  4. > select id, name, tel
  5. > from wyp;
  6. #####################################################################
  7. 这里输出了一堆Mapreduce任务信息。这里省略
  8. #####################################################################
  9. Total MapReduce CPU Time Spent: 1 seconds 310 msec
  10. OK
  11. Time taken: 19.125 seconds
  12. hive> select * from test;
  13. OK
  14. 5       wyp1    131212121212    25
  15. 6       wyp2    134535353535    25
  16. 7       wyp3    132453535353    25
  17. 8       wyp4    154243434355    25
  18. 1       wyp     13188888888888  25
  19. 2       test    13888888888888  25
  20. 3       zs      899314121       25
  21. Time taken: 0.126 seconds, Fetched: 7 row(s)

复制代码

细心的读者可能会问,怎么导入数据到文件里,数据的列之间为什么不是wyp表设定的列分隔符呢?事实上在Hive 0.11.0版本号之间,数据的导出是不能指定列之间的分隔符的,仅仅能用默认的列分隔符,也就是上面的^A来切割。这样导出来的数据非常不直观。看起来非常不方便!

假设你用的Hive版本号是0.11.0。那么你能够在导出数据的时候来指定列之间的分隔符。



以下具体介绍:

在Hive0.11.0版本号新引进了一个新的特性,也就是当用户将Hive查询结果输出到文件,用户能够指定列的切割符,而在之前的版本号是不能指定列之间的分隔符。这样给我们带来了非常大的不变,在Hive0.11.0之前版本号我们通常是这样用的:

  1. hive> insert overwrite local directory '/home/wyp/Documents/result'
  2. hive> select * from test;

复制代码

保存的文件列之间是用^A(\x01)来切割

  1. 196^A242^A3
  2. 186^A302^A3
  3. 22^A377^A1
  4. 244^A51^A2

复制代码

注意,上面是为了显示方便。而将\x01写作^A,在实际的文本编辑器我们是看不到^A的,而是一个奇怪的符号。

如今我们能够用Hive0.11.0版本号新引进了一个新的特性,指定输出结果列之间的分隔符:

  1. hive> insert overwrite local directory '/home/wyp/Documents/result'
  2. hive> row format delimited
  3. hive> fields terminated by '\t'
  4. hive> select * from test;

复制代码

再次看出输出的结果

  1. 196        242        3
  2. 186        302        3
  3. 22        377        1
  4. 244        51        2

复制代码

结果好看多了。假设是map类型能够用以下语句来切割map的key和value

  1. hive> insert overwrite local directory './test-04'
  2. hive> row format delimited
  3. hive> FIELDS TERMINATED BY '\t'
  4. hive> COLLECTION ITEMS TERMINATED BY ','
  5. hive> MAP KEYS TERMINATED BY ':'
  6. hive> select * from src;

复制代码

依据上面内容。我们来进一步操作:

  1. hive> insert overwrite local directory '/home/yangping.wu/local'
  2. > row format delimited
  3. > fields terminated by '\t'
  4. > select * from wyp;

复制代码

  1. [wyp@master ~/local]$ vim 000000_0
  2. 5       wyp1    23      131212121212
  3. 6       wyp2    24      134535353535
  4. 7       wyp3    25      132453535353
  5. 8       wyp4    26      154243434355
  6. 1       wyp     25      13188888888888
  7. 2       test    30      13888888888888
  8. 3       zs      34      899314121

复制代码

事实上。我们还能够用hive的-e和-f參数来导出数据。当中-e 表示后面直接接带双引號的sql语句;而-f是接一个文件,文件的内容为一个sql语句,例如以下:

  1.   
  2. [wyp@master ~/local][        DISCUZ_CODE_26        ]nbsp; hive -e "select * from wyp" >> local/wyp.txt
  3. [wyp@master ~/local][        DISCUZ_CODE_26        ]nbsp; cat wyp.txt
  4. 5       wyp1    23      131212121212
  5. 6       wyp2    24      134535353535
  6. 7       wyp3    25      132453535353
  7. 8       wyp4    26      154243434355
  8. 1       wyp     25      13188888888888
  9. 2       test    30      13888888888888
  10. 3       zs      34      899314121

复制代码

得到的结果也是用\t切割的。也能够用-f參数实现:

  1. [wyp@master ~/local]$ cat wyp.sql
  2. select * from wyp
  3. [wyp@master ~/local]$ hive -f wyp.sql >> local/wyp2.txt

复制代码

上述语句得到的结果也是\t切割的。

Hive总结(八)Hive数据导出三种方式的更多相关文章

  1. hive 数据导出三种方式

    今天我们再谈谈Hive中的三种不同的数据导出方式.根据导出的地方不一样,将这些方式分为三种:(1).导出到本地文件系统:(2).导出到HDFS中:(3).导出到Hive的另一个表中.为了避免单纯的文字 ...

  2. Linux就这个范儿 第15章 七种武器 linux 同步IO: sync、fsync与fdatasync Linux中的内存大页面huge page/large page David Cutler Linux读写内存数据的三种方式

    Linux就这个范儿 第15章 七种武器  linux 同步IO: sync.fsync与fdatasync   Linux中的内存大页面huge page/large page  David Cut ...

  3. ios网络学习------4 UIWebView的加载本地数据的三种方式

    ios网络学习------4 UIWebView的加载本地数据的三种方式 分类: IOS2014-06-27 12:56 959人阅读 评论(0) 收藏 举报 UIWebView是IOS内置的浏览器, ...

  4. Linux就这个范儿 第18章 这里也是鼓乐笙箫 Linux读写内存数据的三种方式

    Linux就这个范儿 第18章  这里也是鼓乐笙箫  Linux读写内存数据的三种方式 P703 Linux读写内存数据的三种方式 1.read  ,write方式会在用户空间和内核空间不断拷贝数据, ...

  5. MATLAB 显示输出数据的三种方式

    MATLAB 显示输出数据的三种方式 ,转载 https://blog.csdn.net/qq_35318838/article/details/78780412 1.改变数据格式 当数据重复再命令行 ...

  6. ajax数据提交数据的三种方式和jquery的事件委托

    ajax数据提交数据的三种方式 1.只是字符串或数字 $.ajax({ url: 'http//www.baidu.com', type: 'GET/POST', data: {'k1':'v1'}, ...

  7. Struts2(四.注册时检查用户名是否存在及Action获取数据的三种方式)

    一.功能 1.用户注册页面 <%@ page language="java" contentType="text/html; charset=UTF-8" ...

  8. iOS --- UIWebView的加载本地数据的三种方式

    UIWebView是IOS内置的浏览器,可以浏览网页,打开文档  html/htm  pdf   docx  txt等格式的文件.  safari浏览器就是通过UIWebView做的. 服务器将MIM ...

  9. android sqlite使用之模糊查询数据库数据的三种方式

    android应用开发中常常需要记录一下数据,而在查询的时候如何实现模糊查询呢?很少有文章来做这样的介绍,所以这里简单的介绍下三种sqlite的模糊查询方式,直接上代码把: package com.e ...

随机推荐

  1. dynamic web module和对应的TOMCAT 版本

    大致因为java的web系统有多种类型,比如静态的和动态的,然后动态的java web project要设置dynamic web module,也就是动态网页模型,他必须要和对应的服务器搭配好了才能 ...

  2. GitHub上README.md的简单介绍

    1.编辑README文件 大标题(一级标题):在文本下面加等于号,那么上方的文字就变成了大标题,等于号的个数无限制,但一定要大于0 大标题 ==== 中标题(二级标题):在文本下面加下划线,那么上方的 ...

  3. Day6------------磁盘用满的两种情况

    1.文件包含元数据和写入的内容 元数据:存在硬盘中的inode ls -i /etc/passwd.bak 查看inode df -i 查看inode 2.磁盘用满的两种情况 1).内容太多 2).空 ...

  4. ExtJs常用布局--layout详解(含实例)

    序言: 笔者用的ExtJs版本:ext-3.2.0 ExtJs常见的布局方式有:border.form.absolute.column.accordion.table.fit.card.anchor ...

  5. oracle 各个版本下载地址

    Oracle9i Database Release 2 Enterprise/Standard/Personal Edition for Windows NT/2000/XP http://downl ...

  6. python之鸭子类型

    python不支持多态,也不用支持多态,python是一种多态语言,崇尚鸭子类型. 在程序设计中,鸭子类型是动态类型的一种风格,不是由继承特定的类或实现特定的接口,而是当前的方法和属性的集合决定,鸭子 ...

  7. UVA101 【The Blocks Problem】

    一个大模拟!!! 总的来说就是碰到move就要把a上面的全部放回原处. 如果碰到onto就要把b上面的全部放到原处. 因为move是只移动a一个,所以a上面的要归位,而pile是移一堆,所以不用. o ...

  8. Laravel 禁用指定 URL POST 请求的 csrf 检查

    由于在 chrome 插件中使用了跨域请求,所以需要禁用掉 laravel 默认的 post csrf 检查. 配置方法: 在 app/Http/Middleware/VerifyCsrfToken. ...

  9. poj2823 单调队列初步

    什么是单调队列:头元素一直是队列当中的最大值,队列中的值按照递减顺序排列,可以从末尾插入一个元素,或从两段删除元素 1.插入元素,为了保证队列的单调性(这里假设为递减性),在插入元素v时要将对位的元素 ...

  10. iOS学习笔记之Block

    写在前面 学习iOS开发的过程中,在很多场合都遇到了Block.说实话,虽然自己依葫芦画瓢的将Block"拿来"用着,但这种"拿来主义"与学习时应持有的探索精神 ...