Hive支持自定义map与reduce script.接下来我用一个简单的wordcount例子加以说明.使用Python开发(如果使用Java开发,请看这里). 开发环境: python:2.7.5 hive:2.3.0 hadoop:2.8.1 一.map与reduce脚本 map脚本(mapper.py) #!/usr/bin/python import sys import re while True: line = sys.stdin.readline().strip() if not
Hive行列转换 1.行转列 (根据主键,进行多行合并一列) 使用函数:concat_ws(‘,’,collect_set(column)) collect_list 不去重 collect_set 去重 column 的数据类型要求是 string 1.1.构建测试数据 vi row_to_col.txt a b 1 a b 2 a b 3 c d 4 c d 5 c d 6 1.2.建表 create table tmp_jia
数组 数组是值类型,因此改变副本的值,不会影响到本身 数组的定义:var 变量名 [元素数量] T 变量名(符合标识符要求即可) 元素数量(整型,可以是const中的值) T(可以是任意基本类型,包括数组本身,当类型为数组时,可以实现多维数组) var a [5]int 和 var a [10]int 是不同的类型 定义一个字符串数组,然后赋值: var team [3]string team[0] = "hammer" team[1] = "soldier" te