《开源大数据分析引擎Impala实战》目录
当当网图书信息：
http://product.dangdang.com/23648533.html
《开源大数据分析引擎Impala实战》目录
第1章 Impala概述、安装与配置................................................................................ 1
1.1 Impala概述........................................................................................................................... 1
1.2 Cloudera Manager安装准备................................................................................................ 2
1.3 CM及CDH安装............................................................................................................... 10
1.4 Hive安装............................................................................................................................ 23
1.5 Impala安装......................................................................................................................... 26
第2章 Impala入门示例............................................................................................. 29
2.1 数据加载............................................................................................................................. 29
2.2 数据查询............................................................................................................................. 36
2.3 分区表................................................................................................................................. 37
2.4 外部分区表......................................................................................................................... 41
2.5 笛卡尔连接......................................................................................................................... 44
2.6 更新元数据......................................................................................................................... 45
第3章 Impala概念及架构......................................................................................... 47
3.1 Impala服务器组件............................................................................................................. 47
3.1.1 Impala Daemon....................................................................................................... 47
3.1.2 Impala Statestore.................................................................................................... 48
3.1.3 Impala Catalog........................................................................................................ 49
3.2 Impala应用编程................................................................................................................. 51
3.2.1 Impala SQL方言................................................................................................... 52
3.2.2 Impala编程接口概述............................................................................................ 52
3.3 与Hadoop生态系统集成.................................................................................................. 53
3.3.1 与Hive集成.......................................................................................................... 53
3.3.2 与HDFS集成........................................................................................................ 53
3.3.3 使用HBase............................................................................................................ 54
第4章 SQL语句....................................................................................................... 55
4.1 注释..................................................................................................................................... 55
4.2 数据类型............................................................................................................................. 56
4.2.1 BIGINT.................................................................................................................. 56
4.2.2 BOOLEAN............................................................................................................ 57
4.2.3 DOUBLE............................................................................................................... 58
4.2.4 FLOAT................................................................................................................... 59
4.2.5 INT......................................................................................................................... 59
4.2.6 REAL..................................................................................................................... 60
4.2.7 SMALLINT............................................................................................................ 60
4.2.8 STRING................................................................................................................. 61
4.2.9 TIMESTAMP......................................................................................................... 62
4.2.10 TINYINT.............................................................................................................. 66
4.3 常量..................................................................................................................................... 66
4.3.1 数值常量................................................................................................................ 66
4.3.2 字符串常量............................................................................................................ 67
4.3.3 布尔常量................................................................................................................ 67
4.3.4 时间戳常量............................................................................................................ 68
4.3.5 NULL..................................................................................................................... 68
4.4 SQL操作符........................................................................................................................ 70
4.4.1 BETWEEN 操作符............................................................................................... 70
4.4.2 比较操作符............................................................................................................ 71
4.4.3 IN操作符............................................................................................................... 72
4.4.4 IS NULL操作符................................................................................................... 72
4.4.5 LIKE操作符.......................................................................................................... 73
4.4.6 REGEXP操作符................................................................................................... 74
4.5 模式对象和对象名称......................................................................................................... 75
4.5.1 别名........................................................................................................................ 75
4.5.2 标示符.................................................................................................................... 76
4.5.3 数据库.................................................................................................................... 76
4.5.4 表............................................................................................................................ 77
4.5.5 视图........................................................................................................................ 78
4.5.6 函数........................................................................................................................ 83
4.6 SQL语句............................................................................................................................ 83
4.6.1 ALTER TABLE..................................................................................................... 84
4.6.2 ALTER VIEW....................................................................................................... 90
4.6.3 COMPUTE STATS................................................................................................ 92
4.6.4 CREATE DATABASE.......................................................................................... 95
4.6.5 CREATE FUNCTION........................................................................................... 96
4.6.6 CREATE TABLE.................................................................................................. 98
4.6.7 CREATE VIEW................................................................................................... 103
4.6.8 DESCRIBE.......................................................................................................... 104
4.6.9 DROP DATABASE............................................................................................ 106
4.6.10 DROP FUNCTION........................................................................................... 107
4.6.11 DROP TABLE................................................................................................... 107
4.6.12 DROP VIEW..................................................................................................... 108
4.6.13 EXPLAIN.......................................................................................................... 108
4.6.14 INSERT.............................................................................................................. 110
4.6.15 INVALIDATE METADATA........................................................................... 116
4.6.16 LOAD DATA.................................................................................................... 120
4.6.17 REFRESH.......................................................................................................... 124
4.6.18 SELECT............................................................................................................. 125
4.6.19 SHOW................................................................................................................ 143
4.6.20 USE.................................................................................................................... 147
4.7 内嵌函数........................................................................................................................... 148
4.7.1 数学函数.............................................................................................................. 150
4.7.2 类型转换函数...................................................................................................... 155
4.7.3 时间和日期函数.................................................................................................. 155
4.7.4 条件函数.............................................................................................................. 160
4.7.5 字符串函数.......................................................................................................... 161
4.7.6 特殊函数.............................................................................................................. 166
4.8 聚集函数........................................................................................................................... 167
4.8.1 AVG..................................................................................................................... 167
4.8.2 COUNT................................................................................................................ 168
4.8.3 GROUP_CONCAT............................................................................................. 169
4.8.4 MAX..................................................................................................................... 169
4.8.5 MIN...................................................................................................................... 170
4.8.6 NDV..................................................................................................................... 170
4.8.7 SUM..................................................................................................................... 171
4.9 用户自定义函数UDF...................................................................................................... 171
4.9.1 UDF概念............................................................................................................. 172
4.9.2 安装UDF开发包................................................................................................ 176
4.9.3 编写UDF............................................................................................................. 176
4.9.4 编写UDAF.......................................................................................................... 179
4.9.5 编译和部署UDF................................................................................................. 183
4.9.6 UDF性能............................................................................................................. 184
4.9.7 创建和使用UDF示例........................................................................................ 184
4.9.8 UDF 安全............................................................................................................ 193
4.9.9 Impala UDF的限制............................................................................................. 193
4.10 Impala SQL &Hive QL................................................................................................... 193
4.11 将SQL移植到Impala上.............................................................................................. 195
第5章 Impala shell................................................................................................. 201
5.1 命令行选项....................................................................................................................... 201
5.2 连接到Impalad................................................................................................................. 209
5.3 运行命令........................................................................................................................... 210
5.4 命令参考........................................................................................................................... 210
5.5 查询参数设置................................................................................................................... 211
第6章 Impala管理.................................................................................................. 228
6.1 准入控制和查询队列....................................................................................................... 228
6.1.1 准入控制概述...................................................................................................... 228
6.1.2 准入控制和YARN............................................................................................. 229
6.1.3 并发查询限制...................................................................................................... 229
6.1.4 准入控制和Impala客户端协同工作................................................................. 230
6.1.5 配置准入控制...................................................................................................... 230
6.1.6 使用准入控制指导原则...................................................................................... 236
6.2 使用YARN资源管理(CDH5)........................................................................................ 237
6.2.1 Llama进程........................................................................................................... 237
6.2.2 检查计算的资源和实际使用的资源.................................................................. 237
6.2.3 资源限制如何生效.............................................................................................. 238
6.2.4 启用Impala资源管理......................................................................................... 238
6.2.5 资源管理相关impala-shell参数......................................................................... 238
6.2.6 Impala资源管理的限制...................................................................................... 238
6.3 为进程，查询，会话设定超时限制............................................................................... 239
6.4 通过代理实现Impala高可用性...................................................................................... 240
6.5 管理磁盘空间................................................................................................................... 243
第7章 Impala存储.................................................................................................. 245
7.1 文件格式选择................................................................................................................... 245
7.2 Text.................................................................................................................................... 247
7.2.1 查询性能.............................................................................................................. 247
7.2.2 创建文本表.......................................................................................................... 248
7.2.3 数据文件.............................................................................................................. 249
7.2.4 加载数据.............................................................................................................. 249
7.2.5 LZO压缩............................................................................................................. 250
7.3 Parquet............................................................................................................................... 253
7.3.1 创建Parquet表.................................................................................................... 253
7.3.2 加载数据.............................................................................................................. 254
7.3.3 查询性能.............................................................................................................. 255
7.3.4 Snappy/Gzip压缩................................................................................................ 256
7.3.5 与其他组件交换Parquet数据文件.................................................................... 260
7.3.6 Parquet数据文件组织方式................................................................................. 260
7.4 Avro................................................................................................................................... 263
7.4.1 创建Avro表........................................................................................................ 263
7.4.2 使用Hive创建的Avro表.................................................................................. 265
7.4.3 通过JSON指定Avro模式................................................................................ 265
7.4.4 启用压缩.............................................................................................................. 265
7.4.5 模式进化.............................................................................................................. 266
7.5 RCFile................................................................................................................................ 268
7.5.1 创建RCFile表和加载数据................................................................................. 268
7.5.2 启用压缩.............................................................................................................. 269
7.6 SequenceFile...................................................................................................................... 270
7.6.1 创建和加载数据.................................................................................................. 270
7.6.2 启用压缩.............................................................................................................. 271
7.7 HBase................................................................................................................................ 272
7.7.1 支持的Hbase列类型.......................................................................................... 273
7.7.2 性能问题.............................................................................................................. 273
7.7.3 适用场景.............................................................................................................. 280
7.7.4 数据加载.............................................................................................................. 281
7.7.5 启用压缩.............................................................................................................. 281
7.7.6 限制...................................................................................................................... 282
7.7.7 示例...................................................................................................................... 282
第8章 Impala分区.................................................................................................. 284
8.1 分区技术适用场合........................................................................................................... 284
8.2 分区表相关SQL语句..................................................................................................... 285
8.3 分区修剪........................................................................................................................... 285
8.4 分区键列........................................................................................................................... 288
8.5 使用不同的文件格式....................................................................................................... 288
第9章 Impala性能优化........................................................................................... 290
9.1 最佳实践........................................................................................................................... 290
9.2 连接查询优化................................................................................................................... 291
9.3 使用统计信息................................................................................................................... 301
9.4 基准测试........................................................................................................................... 309
9.5 控制资源使用................................................................................................................... 309
9.6 性能测试........................................................................................................................... 310
9.7 使用EXPLAIN信息....................................................................................................... 311
9.8 使用PROFILE信息........................................................................................................ 312
第10章 Impala设计原则与应用案例....................................................................... 322
10.1 设计原则......................................................................................................................... 322
10.2 应用案例......................................................................................................................... 323
《开源大数据分析引擎Impala实战》目录的更多相关文章
- 《Spring Boot 入门及前后端分离项目实践》系列介绍
课程计划 课程地址点这里 本课程是一个 Spring Boot 技术栈的实战类课程,课程共分为 3 个部分,前面两个部分为基础环境准备和相关概念介绍,第三个部分是 Spring Boot 项目实践开发 ...
- 《Spring Boot 入门及前后端分离项目实践》目录
开篇词:SpringBoot入门及前后端分离项目实践导读 第02课:快速认识 Spring Boot 技术栈 第03课:开发环境搭建 第04课:快速构建 Spring Boot 应用 第05课:Spr ...
- 基于Vue的前后端分离项目实践
一.为什么需要前后端分离 1.1什么是前后端分离 前后端分离这个词刚在毕业(15年)那会就听说过,但是直到17年前都没有接触过前后端分离的项目.怎么理解前后端分离?直观的感觉就是前后端分开去做,即功 ...
- 实战！spring Boot security+JWT 前后端分离架构认证登录！
大家好,我是不才陈某~ 认证.授权是实战项目中必不可少的部分,而Spring Security则将作为首选安全组件,因此陈某新开了 <Spring Security 进阶> 这个专栏,写一 ...
- 基于Spring Boot架构的前后端完全分离项目API路径问题
最近的一个项目采用前后端完全分离的架构,前端组件:vue + vue-router + vuex + element-ui + axios,后端组件:Spring Boot + MyBatis.之所以 ...
- 喜大普奔，两个开源的 Spring Boot + Vue 前后端分离项目可以在线体验了
折腾了一周的域名备案昨天终于搞定了. 松哥第一时间想到赶紧把微人事和 V 部落部署上去,我知道很多小伙伴已经等不及了. 1. 也曾经上过线 其实这两个项目当时刚做好的时候,我就把它们部署到服务器上了, ...
- 两个开源的 Spring Boot + Vue 前后端分离项目
折腾了一周的域名备案昨天终于搞定了. 松哥第一时间想到赶紧把微人事和 V 部落部署上去,我知道很多小伙伴已经等不及了. 1. 也曾经上过线 其实这两个项目当时刚做好的时候,我就把它们部署到服务器上了, ...
- 七个开源的 Spring Boot 前后端分离项目，一定要收藏！
前后端分离已经在慢慢走进各公司的技术栈,根据松哥了解到的消息,不少公司都已经切换到这个技术栈上面了.即使贵司目前没有切换到这个技术栈上面,松哥也非常建议大家学习一下前后端分离开发,以免在公司干了两三年 ...
- 八个开源的 Spring Boot 前后端分离项目，一定要收藏！
八个开源的 Spring Boot 前后端分离项目 最近前后端分离已经在慢慢走进各公司的技术栈,不少公司都已经切换到这个技术栈上面了.即使贵司目前没有切换到这个技术栈上面,我们也非常建议大家学习一下前 ...
- 如何使用Spring Securiry实现前后端分离项目的登录功能
如果不是前后端分离项目,使用SpringSecurity做登录功能会很省心,只要简单的几项配置,便可以轻松完成登录成功失败的处理,当访问需要认证的页面时,可以自动重定向到登录页面.但是前后端分离的项目 ...
随机推荐
- 关于缺少nvToolsExt64_1.lib时的PhysX的处理
我本人之所以缺少这个文件是因为我的PhysX如果你的PhysX是从UE4源代码中提取的,那么可能会出现如下错误,提示找不到nvToolsExt64_1.lib(本机是64bit的操作系统) 那就执行u ...
- vbs 中文字符串
vbs 字符串包含中文字符,文件以UTF-8无BOM格式保存,就会出现“编译器错误: 未结束的字符串常量”错误,改以ANSI保存就没有这个问题
- Linux下的Hello world
总算正式开始学习Linux了. 先从Hello world入手. 1. 查看当前目录 lenovo@ubuntu:~$ pwd /home/lenovo 2. 新建test目录 lenovo@ubun ...
- docker 与 vmware 的区别
- apache commons math 示例代码
apache commons Math是一组偏向科学计算为主的函数,主要是针对线性代数,数学分析,概率和统计等方面. 我虽然是数学专业毕业,当年也是抱着<数学分析>啃,但是好久不用,这些概 ...
- SQL 语句格式
SELECT `menuid`, SUM(`num`)AS total, `storeid`, DATE_FORMAT(`dateline`,'%Y-%m-%d') days FROM loss WH ...
- Jquery 下实现 图片大图预览效果
<!DOCTYPE html> <html> <head> <meta charset="utf-8"> <meta http ...
- 第七章 Hibernate性能优化
一对一关联 实体类关系 一对多 多对多 一对一 Hibernate提供了两种映射一对一关联关系的方式:按照外键映射和按照主键映射.下面以员工账号和员工档案表为例,介绍这两种映射方式,并使用这两种映射方 ...
- Is the Information Reliable? -POJ2983差分约束
Time Limit: 3000MS Memory Limit: 131072K Description The galaxy war between the Empire Draco and the ...
- mariadb:InnoDB: Error: log file ./ib_logfile0 is of different size 0 5242880 bytes
mariadb 启动中 InnoDB: Error: log file ./ib_logfile0 is of different size 0 起因:线上正在运行的系统,因为需要调整性能,变更了my ...