hive RegexSerDe View
EXTERNALkeyword它允许用户创建一个外部表。在表中的同时施工指定的路径中的实际数据(LOCATION)。Hive 创建内部表时。会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径,不正确数据的位置做不论什么改变。在删除表的时候,内部表的元数据和数据会被一起删除。而外部表仅仅删除元数据,不删除数据
1. LIKE 同意用户复制现有的表结构,可是不复制数据
2. hive中RegexSerDe的使用
RegexSerDe是hive自带的一种序列化/反序列化的方式,主要用来处理正則表達式。
CREATETABLE test_serde(
c0string,
c1string,
c2string)
ROWFORMAT
SERDE'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITHSERDEPROPERTIES
('input.regex' = '([^ ]*) ([^ ]*) ([^ ]*)',
'output.format.string'= '%1$s %2$s %3$s')
STOREDAS TEXTFILE;
3. 表名和列名不区分大写和小写
4. 建立外部表指定数据存储路径
Create externaltable exter_trl(
Id int,
Name string,
Age int,
Tel string
Location ‘/user/data/trl/external’;
)
1、在导入数据到外部表。数据并没有移动到自己的数据仓库文件夹下,也就是说外部表中的数据并非由它自己来管理的!
而表则不一样;
2、在删除表的时候。Hive将会把属于表的元数据和数据所有删掉。而删除外部表的时候。Hive只删除外部表的元数据,数据是不会删除的。
那么,应该怎样选择使用哪种表呢?在大多数情况没有太多的差别,因此选择仅仅是个人喜好的问题。
可是作为一个经验,假设全部处理都须要由Hive完毕,那么你应该创建表,否则使用外部表.。
5.按指定的分区载入数据
Loaddata inpath
'/user/data/clickstat_gp_fatdt0/0' OVERWRITEINTO TABLE c02_clickstat_fatdt1
PARTITION(dt='20140820');
5. 建表的同步指定hdfs的路劲
CREATE EXTERNALTABLE page_view(viewTime INT, userid BIGINT,
page_url STRING,referrer_url STRING,
ip STRINGCOMMENT 'IP Address of the User',
country STRINGCOMMENT 'country of origination')
COMMENT 'This isthe staging page view table'
ROW FORMATDELIMITED FIELDS TERMINATED BY '\054'
STORED ASTEXTFILE
LOCATION'<hdfs_location>';
6. HIVE VIEW(视图降低复杂查询 )
CREATE VIEW test_trlAS
SELECT * FROM t1JOIN t2
ON (t1.id=t2.id)WHERE t1.name='trl';
版权声明:本文博主原创文章,博客,未经同意不得转载。
hive RegexSerDe View的更多相关文章
- 【Hive学习之六】Hive Lateral View &视图&索引
环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 hadoop-3.1.1 apache-hive-3.1.1 ...
- hive lateral view 与 explode详解
ref:https://blog.csdn.net/bitcarmanlee/article/details/51926530 1.explode hive wiki对于expolde的解释如下: e ...
- Hive lateral view explode
select 'hello', x from dual lateral view explode(array(1,2,3,4,5)) vt as x 结果是: hello 1 hello 2 ...
- Hive Lateral View
一.简介 1.Lateral View 用于和UDTF函数[explode,split]结合来使用. 2.首先通过UDTF函数将数据拆分成多行,再将多行结果组合成一个支持别名的虚拟表. 3.主要解决在 ...
- Hadoop学习笔记—17.Hive框架学习
一.Hive:一个牛逼的数据仓库 1.1 神马是Hive? Hive 是建立在 Hadoop 基础上的数据仓库基础构架.它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储. ...
- 【hive】——Hive基本操作
阅读本文章可以带着下面问题:1.与传统数据库对比,找出他们的区别2.熟练写出增删改查(面试必备) 创建表:hive> CREATE TABLE pokes (foo INT, bar STRIN ...
- hive内部表、外部表、分区表、视图
1.Table 内部表 1).与数据库中的Table在概念上是类似的 2).每一个Table在Hive中都有一个相应的目录存储数据 3).所有的Table数据(不包括 External Table) ...
- 【转】Kylin实践之使用Hive视图
http://blog.csdn.net/yu616568/article/details/50548967 为什么需要使用视图 Kylin在使用的过程中使用hive作为cube的输入,但是有些情况下 ...
- Hive常用命令
本位为转载,原地址为:http://www.cnblogs.com/BlueBreeze/p/4232421.html #创建新表 hive> CREATE TABLE t_hive (a in ...
随机推荐
- activity_main.xml: java.lang.NullPointerException
1.错误描写叙述 eclipse.buildId=4.4.0.I20140606-1215 java.version=1.7.0_67 java.vendor=Oracle Corporation B ...
- Linux pipe功能
1. 功能说明 pipe(管道建设): 1) 头 #include<unistd.h> 2) 定义函数: int pipe(int filedes[2]); 3) 函数说明: pipe() ...
- cocostudio——js 3 final控件事件
近期试用了下cocos ide,然后引擎用的cocos2dx js 3 final,须要build runtime一下,以下是cocos studio相关的一些事件: 加入事件侦听: // butto ...
- GridView的RowDataBound事件中获取当前行内容的几种方法
1. Cells[x].Txt. 从列单元格的文本值获取.这种方法简单高率,最为常用,但是功能单纯.此法存在几个缺点: (1)无法获取到设置了隐藏属性的数据列的值,所取到的值为“”(空). ...
- 《数字图像处理原理与实践(MATLAB版)》一书之代码Part2
本文系<数字图像处理原理与实践(MATLAB版)>一书之代码系列的Part2(P43~80),代码运行结果请參见原书配图,建议下载代码前阅读下文: 关于<数字图像处理原理与实践(MA ...
- hdu4956 Poor Hanamichi
解决暴力的直接方法.一个直接的推论x%11方法. 打表可以发现,以解决不同的情况都不会在很大程度上会出现. 所以从l暴力开始枚举.找到的第一个错误值输出要. 如果它超过r同样在美国发现-1. #inc ...
- extern int *a与extern int a[]
extern int *a与int a[] Table of Contents 1. 问题: 2. 解答: 1 问题: 以下的声明取自某个源文件: int a[10]; int *b=a; 但在还有一 ...
- MongoDB--Getting Started with Java Driver
原文链接 http://docs.mongodb.org/ecosystem/tutorial/getting-started-with-java-driver/ 介绍 本文的目的是让你对怎样使用M ...
- 使用GraceNote Web API发展Mac发现音乐信息的应用
好久没有写博客,最近各种忙,特别忙里忙,今晚难得清闲.写最近完成下一个博客任务的摘要:使用GraceNote的Web API开发一个查询的音乐信息的应用,事实上,并在这些功能的前GraceNote S ...
- Javascript异步数据的同步处理方法
数据处理方法封装 var DataWatch=(function(){ var gWatch={},cursor= 0,callback_key = 'callback',gMap={}; var c ...