HiveQ与传统SQL差异
1. hive内连接支持什么格式?
• SQL中对两表内联可以写成:
select * from dual a,dual b where a.key =
b.key;
或者:
SELECT t1.a1 as c1, t2.b1 as c2FROM t1,
t2 WHERE t1.a2 = t2.b2
•
Hive中应为
select * from dual a join dual b
on a.key = b.key;
2.
分号符号的使用
• 分号是SQL语句结束标记,在HiveQL中也是,但是在HiveQL中,对分号的识别没有那么智慧,例如:
select
concat(key,concat(';',key)) from dual;
• 但HiveQL在解析语句时提示:
FAILED: Parse Error: line 0:-1 mismatched
input '<EOF>' expecting ) in function specification
解决的办法是,使用分号的八进制的ASCII码进行转义,那么上述语句应写成:
select
concat(key,concat('\073',key)) from dual;
3.
is [not] null的使用
•
SQL中null代表空值.
• 在HiveQL中String类型的字段若是空(empty)字符串, 即长度为0, 那么对它进行IS NULL的判断结果是False.
4.
Hive不支持使用insert语句将现有数据插入现有表或分区中
• Insert仅支持覆盖重写整个表或分区的操作,例如:
INSERT OVERWRITE TABLE t1 SELECT * FROM t2;
• 使用load语句插入新数据。
5.
Hive不支持Insert into表values(),Update,Delete操作
因为数据时存储在hdfs中,所以不支持这些操作,同时hive就不需要很复杂的锁机制来读写数据。
6.
hive支持嵌入mapreduce程序,来处理复杂逻辑
• 例如:
FROM (
MAP doctext USING 'python wc_mapper.py' AS (word,
cnt)
FROM
docs
CLUSTER
BY word
) a
REDUCE word, cnt USING 'python
wc_reduce.py';
--doctext: 是输入
--word, cnt: 是map程序的输出
--CLUSTER BY: 将wordhash后,又作为reduce程序的输入
• 并且map程序、reduce程序可以单独使用,如:
FROM (
FROM
session_table
SELECT
sessionid, tstamp, data
DISTRIBUTE
BY sessionid SORT BY tstamp
) a
REDUCE sessionid, tstamp, data
USING 'session_reducer.sh';
7.
hive支持将转换后的数据直接写入不同的表,还能写入分区,hdfs,和本地目录
• FROM t1
INSERT
OVERWRITE TABLE
t2
SELECT
t3.c2, count(1)
FROM
t3
WHERE
t3.c1 <= 20
GROUP
BY t3.c2
• INSERT OVERWRITE DIRECTORY '/output_dir'
SELECT
t3.c2, avg(t3.c1)
FROM
t3
WHERE
t3.c1 > 20 AND t3.c1 <= 30
GROUP
BY t3.c2
• INSERT OVERWRITE LOCAL DIRECTORY '/home/dir'
SELECT
t3.c2, sum(t3.c1)
FROM
t3
WHERE
t3.c1 > 30
GROUP
BY t3.c2; FROM t1
HiveQ与传统SQL差异的更多相关文章
- sql差异
类别 MS SQL Server My SQL PG SQL Oracle Access 自增 identity(1,1) auto_increment ALTER TABLE 'tableNam ...
- Docker概念学习系列之Docker与传统虚拟机差异(4)
不多说,直接上干货! 见[博主]撰写的https://mp.weixin.qq.com/s/YihjPONUcUi4b_7RC8oLYw 传统虚拟化是在硬件层面实现虚拟化,需要有额外的虚拟机管理应 ...
- mysql 和 sqlserver sql差异比较
mysql:select * from table_name limit 100,200;--取出从100到200的数据 获取时间:mysql:now() mysql tinyint(0,1) → b ...
- Mysql 和 SQLServer 使用SQL差异比较
查询前100条数据 #mysql ; #sqlserver * from table_name ; 从数据库.表 定位表 #mysql写法:库名.表名 select password from Inf ...
- hive(II)--sql考查的高频问题
在了解别人hive能力水平的时候,不管是别人问我还是我了解别人,有一些都是必然会问的东西.问的问题也大都大同小异.这里总结一下我遇到的那些hive方面面试可能涉及的问题 1.行转列(列转行) 当我们建 ...
- SQL Server 虚拟化(1)——虚拟化简介
本文属于SQL Server虚拟化系列 前言: 现代系统中,虚拟化越来越普遍,如果缺乏对虚拟化工作原理的理解,那么DBA在解决性能问题比如降低资源争用.提高备份还原速度等操作时就会出现盲点.所以基于本 ...
- [转]Azure 表存储和 Windows Azure SQL Database - 比较与对照
本文转自:https://msdn.microsoft.com/library/azure/jj553018 更新时间: 2014年10月 作者:Valery Mizonov 和 Seth Manhe ...
- 5G时代,为什么NoSQL和SQL存在短板?
01 介绍 当今的通信服务提供商(CSP)需要能够在处理海量复杂的数据的同时,不会下降或者减慢网路响应速度和可靠性.5G时代,设备和用户数量呈指数级增长,这对业务支持服务(BSS)提出了新需求,也成为 ...
- SQL Azure (16) 创建PaaS SQL Azure V12数据库
<Windows Azure Platform 系列文章目录> 本文介绍的是国内由世纪互联运维的Azure China 最新的Azure PaaS SQL Database(SQL Azu ...
随机推荐
- SQL 时间差函数
SELECT DateDiff(DAY,T.ActualEndDate,GetDate()) FROM JCW_CheckTask T WHERE T.status = 2
- Qt Clipboard剪贴板简单使用
设置剪贴板的内容 QClipboard *clipboard = QApplication::clipboard(); clipboard->setText("contents&quo ...
- Maven打包可执行Jar包方式
第一步:pom.xm中的build标签下加入maven插件配置,打包生成可执行jar包方式Maven中的打包方式更换为 <packaging>jar</packaging> b ...
- 本地日志数据实时接入到hadoop集群的数据接入方案
1. 概述 本手册主要介绍了,一个将传统数据接入到Hadoop集群的数据接入方案和实施方法.供数据接入和集群运维人员参考. 1.1. 整体方案 Flume作为日志收集工具,监控一个文件目录或者一个文 ...
- Xcode 工程文件打开不出来, cannot be opened because the project file cannot be parsed.
svn更新代码后,打开xcode工程文件,会出现 xxx..xcodeproj cannot be opened because the project file cannot be parsed ...
- 无密码通过ssh执行rsync
默认情况下,在执行rsync命令时通常需要我们输入密码.但有时我们并不希望如此,那么如何实现无密码执行rsync呢? 1. 测试通过ssh可以执行rsync(需要密码) 执行rsync,确保你帐户的密 ...
- [转]SQL:JOIN用法
JOIN连接组合两个表中的字段记录,包括三种: INNER JOIN运算式:连接组合两个表中的字段记录. LEFT JOIN运算式:连接组合两个表中的字段记录,并将包含了LEFT JOIN左边表中的全 ...
- lecture7-序列模型及递归神经网络RNN(转载)
Hinton 第七课 .这里先说下RNN有recurrent neural network 和 recursive neural network两种,是不一样的,前者指的是一种人工神经网络,后者指的是 ...
- Codeforces Round #308 (Div. 2) A B C 水 数学
A. Vanya and Table time limit per test 2 seconds memory limit per test 256 megabytes input standard ...
- HDU 4497 数论+组合数学
题目链接: http://acm.hdu.edu.cn/showproblem.php?pid=4497 解题思路:将满足条件的一组x,z,y都除以G,得到x‘,y',z',满足条件gcd(x',y' ...