show create table 表名; -- 可以查看表的DDL语句 describe 表名; -- 查看表的字段信息 explain dependency select count(1) from 表名; -- 可以查看表的分区依赖关系 show partitions 表名; -- 表的分区情况 show functions; describe function concat_ws; -- 查看函数,包括udf…

[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子$ cat customers.txt 1 Ali us 2 Bsb ca 3 Carls mx $ hive hive> > CREATE TABLE IF NOT EXISTS customers( > cust_id string, > name string, > country string > ) > ROW FORMAT DELIMITED FIELDS TERMI…

1.小.大表 join 在小表和大表进行join时,将小表放在前边,效率会高.hive会将小表进行缓存. 2.mapjoin 使用mapjoin将小表放入内存,在map端和大表逐一匹配.从而省去reduce. 样例: select /*+MAPJOIN(b)*/ a.a1,a.a2,b.b2 from tablea a JOIN tableb b ON a.a1=b.b1 在0.7版本号后.也能够用配置来自己主动优化 set hive.auto.convert.join=true;…

在这里介绍两个IDE的便捷开发的小知识. 一) 本地调试 由于salesforce代码只能提交以后才能调试,所以很多时候调试代码很麻烦.新版增加了一个特性:即可以在本地调试相关的代码或者查看相关代码运行结果. 1.IDE中window-->show view-->other; 2.找到Force.com目录,选择Execute Anonymous,点击OK. 以上为显示样式以及测试程序,上方可以选择正在活动的项目,可以选择log的种类以及级别,左侧代码区,点击Execute Anonymous…

一.导出到本地 导出查询结果到本地: INSERT OVERWRITE LOCAL DIRECTORY "/tmp/hive-result/t_visit_video" SELECT * FROM t_visit_video ; 导出到的本地路径不必已经存在,会自动创建父目录,导出的查询结果会是一个文件夹,文件夹下存放着本次查询的结果,如果结果集比较大的话会分块存放. 每个数据块还会有一个CRC校验文件,此文件为隐藏文件,用于校验此块的数据有效性. 但是当查看导出的数据文件时发现悲剧了…

聚合函数 count计数 count(*):不全都是NULL.就加1:count(1):当仅仅要有一列是NULL就不会加1:count(col):当col列不为空就会加1 sum求和 sum(可转成数字的值)返回bigint.比方求和后加1,1必须转化成为bigint类型,sum(col)+cast(1 as bigint) avg求平均值 avg(可转化成数字的值)返回double distinct不同值的个数 count(distinct col) Order by 依照某些字段排序,后面能…

在做spark开发过程中,时不时的就有可能遇到租户的hive库目录下的文件个数超出了最大限制问题. 一般情况下通过hive的参数设置: val conf = new SparkConf().setAppName("MySparkJob") //.setMaster("local[1]").setMaster("spark://172.21.7.10:7077").setJars(List("xxx.jar")).set(&qu…

这些子查询在oracle和mysql等数据库中都能执行,但是在hive中却不支持,但是我们可以把这些查询语句改为join操作: -- 1.子查询 select * from A a where a.update_time = (select min(b.update_time) from A b) -- 2.in操作 select * from A a where a.dept = 'IT' and a.num ') 改为join操作如下: select t2.* from (select mi…

hive (UserMovieRating)> create table if not exists Users(                      > UserID int comment 'user id',                      > Gender string comment 'user sex',                      > Age int comment '1:Under 18,18:18-24,25:25-34,35:35-…

最近请教了一下大佬怎么求序列内第k大查询,自己又捣鼓了一下,虽然还没有懂得区间第k大查询,不过姑且做一个记录先吧 因为每个元素大小可能很大而元素之间不连续,所以我们先离散化处理一下,程序中的ori[ ]代表原序列,离散化后每个key对应一个值,mem[ ]存的是key对应的值:mem[i]代表离散化后 i 代表的值,a[i]代表离散化后有几个i对应的值(mem[i]的个数) 离散化之后建树,sum中存的是有序的元素总个数具体可以看程序,那么如何查询?我们查询线段树的sum,若tree[lid].…