Hive笔记之collect_list/collect_set（列转行）

【Hive笔记之collect_list/collect_set（列转行）】的更多相关文章

Hive笔记之collect_list/collect_set（列转行）

Hive中collect相关的函数有collect_list和collect_set. 它们都是将分组中的某列转为一个数组返回,不同的是collect_list不去重而collect_set去重. 做简单的实验加深理解,创建一张实验用表,存放用户每天点播视频的记录: create table t_visit_video ( username string, video_name string ) partitioned by (day string) row format delimited f…

hive行转列，列转行

实例一:来源: https://www.cnblogs.com/kimbo/p/6208973.html 行转列 (对某列拆分,一列拆多行) 使用函数:lateral view explode(split(column, ',')) num eg: 如表:t_row_to_column_tmp 数据如下,对tag列进行拆分结果: 列转行 (根据主键,进行多行合并一列) 使用函数:concat_ws(',',collect_set(column)) 说明:collect_list 不去重,c…

Hive(八)【行转列、列转行】

目录一.行转列相关函数 concat concat_ws collect_set collect_list 需求需求分析数据准备写SQL 二.列转行相关函数 split explode lateral view 需求需求分析数据准备写SQL 一.行转列相关函数 concat CONCAT(string A/col, string B/col-):对字符串按次序进行拼接返回类 concat_ws concat_ws(string SEP, string A, string B…

大数据学习day28-----hive03------1. null值处理，子串，拼接，类型转换 2.行转列，列转行 3. 窗口函数（over，lead,lag等函数） 4.rank（行号函数）5. json解析函数 6.jdbc连接hive，企业级调优

1. null值处理,子串,拼接,类型转换 (1) 空字段赋值(null值处理) 当表中的某个字段为null时,比如奖金,当你要统计一个人的总工资时,字段为null的值就无法处理,这个时候就可以使用NVL函数 NVL:给值为NULL的数据赋值,它的格式是NVL( string1, replace_with).它的功能是如果string1为NULL,则NVL函数返回replace_with的值,否则返回string1的值,如果两个参数都为NULL ,则返回NULL. 例: 创建dept表,并导入数…

hive SQL 行转列和列转行

一.行转列的使用 1.问题 hive如何将 a b 1a b 2a b 3c d 4c d 5c d 6 变为: a b 1,2,3c d 4,5,6 2.数据 test.txt a b 1 a b 2 a b 3 c d …

Hive之行转列与列转行

行转列原始数据: 需求: 把星座和血型一样的人归类到一起.结果如下: 射手座,A 大海|凤姐白羊座,A 孙悟空|猪八戒白羊座,B 宋宋实现: vi person_info.txt 孙悟空白羊座 A 大海射手座 A 宋宋白羊座 B 猪八戒白羊座 A 凤姐射手座 A create table person_info ( name string, constellation string, blood_type string ) row format delimited fields…

hive中的列转行和行转列

1.列转行 1.1 相关函数的说明: concat(string1,string,...) //连接括号内字符串,数量不限. concat_ws(separator,string1,string2,...) //连接括号内字符串,数量不限,连接符为separator. collect_set(col) //此函数只接受基本类型,主要是将字段的值进行去重汇总,产生array类型字段. 1.2 例子: 创建表:create table person_info( name string, conste…