数字类型(Numeric Types) 整型 TINYINT(取值范围:-128 -- 127) SMALLINT(取值范围:-32,768 to 32,767) INT/INTEGER(取值范围: -2,147,483,648 to 2,147,483,647) BIGINT(取值范围: -9,223,372,036,854,775,808 to 9,223,372,036,854,775,807) 使用举例 数据类型 后缀 举例 TINYINT Y 100Y SMALLINT S 100S…

原 Hive作业优化 原 Hive学习六:HIVE日志分析(用户画像) 原 Hive学习五--日志案例分析 原 Hive学习三 原 Hive学习二 原 Hive学习一 博客来源,https://blog.csdn.net/youfashion/article/category/6190828,感谢博主. 学习博主的代码风格. Hive 1)Hive 是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库: 2)一种可以存储.查询和分析存储在Hadoop 中的大规模数…

表格创建: 语法 第一种建表的形式: 说明: temporary 临时表,在当前回话内,这张表有效,当回话结束,可以理解为程序结束,则程序终止. external 外部表, hdfs 上的表的文件,并非存储在默认的路径上的时候, EXTERNAL 表格和正常表格删除区别,external 只删除metastore 可以称为外部表,便于和其他数据库和程序交互,比如impala 等. 如果不加 IF NOT EXISTS 的时候,如果表存在,会报错,可以加上IF NOT EXISTS 加以避免. 注…

数据类型 Hive基本的数据类型: Hive集合数据类型: 另外还有一个复合数据类型,可以综合上面的数据类型组合到一起. ·          union: UNIONTYPE<data_type, data_type, ...> 类型说明 时间戳 支持传统的unix时间戳,可选的纳秒级精度. 支持的转换: l        整型数值类型:解读为以秒为单位的UNIX时间戳 l        浮动点数值类型:解读为以秒和小数精度为单位的UNIX时间戳. l        字符串:JDBC兼容的j…

如果入参是简单的数据类型,直接继承UDF,实现一个或者多个evaluate 方法. 具体流程如下: 1,实现大写字符转换成小写字符的UDF package com.example.hive.udf; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; public class Lower extends UDF { public Text evaluate(final Text s) { if…

方法1,建立临时表,利用hive的collect_set 进行去重. create table if not exists tubutest ( name1 string, name2 string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; select * from ods.wdtest; 1 1 1 1 1 2 1 2 1 3 2 3 2 3 2 4 select name1,collect_set…

hive 操作elasticsearch 一,从hive 表格向elasticsearch 导入数据 1,首先,创建elasticsearch 索引,索引如下 curl -XPUT '10.81.179.209:9200/zebra_info_demo?pretty' -H 'Content-Type: application/json' -d' { "settings": { "number_of_shards":5, "number_of_replic…

database 相当于一个目录或者命名空间,用来更好地进行表的管理 在hdfs 的目录位置大致如下: [root@iZbp12vtv76y9q3d633bh6Z /]# hadoop fs -ls /user/hive/warehouse/ Found 14 items drwxrwxrwx - admin supergroup 0 2018-04-16 11:14 /user/hive/warehouse/action.db drwxrwxrwx - hdfs supergroup 0 20…

1,case when 的利用,清洗诸如评分等的内容,用例如下. case when new.comment_grade = '五星商户' then 50 when new.comment_grade = '准五星商户' then 45 when new.comment_grade = '四星商户' then 40 when new.comment_grade = '准四星商户' then 35 when new.comment_grade = '三星商户' then 30 when new.c…

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: <hive学习笔记>系列导航 基本数据类型 复杂数据类型 内部表和外部表 分区表 分桶 HiveQL基础 内置函数 Sqoop 基础UDF 用户自定义聚合函数(UDAF) UDTF 关于hive学习笔记系列 <hive学习笔记>系列保持了作者一贯的风格,即通过实战学习和了解: 作…