Hive的执行生命周期
1.入口$HIVE_HOME/bin/ext/cli.sh
- 调用org.apache.hadoop.hive.cli.CliDriver类进行初始化过程
- 处理-e,-f,-h等信息,如果是-h,打印提示信息,并退出
- 读取hive的配置文件和$HIVE_HOME/bin/.hiverc文件,设置HiveConf
- 创建一个控制台,进入交互模式
2.读取命令processLine分割处理
- 在交互模式下,processLine方法读取命令行,以";"分割成多个命令
- 然后交给processCmd(cmd)处理
3.命令的预处理processCmd
根据输入命令的第一个记号(Token),分别进行处理
- Quit/Exit系统正常退出
- !开头的执行Linux操作系统命令
- source 开头的读取外部文件并执行文件中的命令
- list 列出缓存中的jar/file/archive
- 其他命令提交给CommandProcess处理
4.命令的预处理CommandProcess
根据输入命令的第一个记号,分别进行处理
- set 调用SetProcess类,设置hive的环境参数,并保存在该进程的HiveConf中
- dfs 调用DfsProcess类,调用hadoop的shell接口,执行hadoop的相关命令
- add 调用AddResourceProcess类,导入外部的资源,只对该进程有效
- delete 与add对应,删除资源
- 其他:提交给Driver类,进行下一步处理
5.命令的处理(Driver类的run方法)
- 编译器Compile:首先检查SQL中表和列是否存在,再利用第三方工具Antlr检查SQL语法是否正确,将正确的SQL解析成抽象语法树(AST),最后将AST编译成逻辑执行计划Logical Paln
- 优化器Optimizor:将逻辑执行计划转化成可以运行的物理执行计划Physical Plan,即MR任务执行,并对其进行优化
- 执行器Executor:调用genMapRed()方法执行优化后的MR任务
- 获取读写锁:对操作的表获取一个读写锁acquireReadWriteLocks
- 执行execute:将生成的Task提交hadoopAPI 处理,返回任务的执行时间和状态(成功or失败)
6.获取执行的结果
- 任务执行失败,抛出异常
- 执行成功后,调用Driver的GetReuslt方法,顺序打开每一个输出文件
- 获取每一行的输出,并打印到控制台
7.执行清理
- 清理hive执行过程中的中间文件和临时文件
- 退出该条命令的执行,返回控制台并等待下一条命令的输入
Hive的执行生命周期的更多相关文章
- 微信小程序onLaunch、onLoad执行生命周期
原文转载自:微信小程序onLaunch.onLoad执行生命周期 1.需求:先执行App的onLaunch添加验证权限等,再执行Page里的onLoad. 2.问题:还没有等onLaunch执行完成, ...
- HTML,javascript,image等加载,DOM解析,js执行生命周期
- .NET MVC执行过程 及 生命周期步骤
1.网址路由比对 2.执行Controller与Action 3.执行View并返回结果 Request 请求到来 IIS 根据请求特征将处理权移交给 ASP.NET UrlRoutingModule ...
- react教程 — 组件的生命周期 和 执行顺序
一.组件执行的生命周期: 参考 https://www.cnblogs.com/soyxiaobi/p/9559117.html 或 https://www.c ...
- React源码剖析系列 - 生命周期的管理艺术
目前,前端领域中 React 势头正盛,很少能够深入剖析内部实现机制和原理.本系列文章希望通过剖析 React 源码,理解其内部的实现原理,知其然更要知其所以然. 对于 React,其组件生命周期(C ...
- [转]: 两分钟彻底让你明白Android Activity生命周期(图文)!
转自:http://blog.csdn.net/android_tutor/article/details/5772285 大家好,今天给大家详解一下Android中Activity的生命周期,我在前 ...
- MVC网址路由与生命周期
这篇写得比较详细,所以我收藏一下. 转载自: http://www.cnblogs.com/Eleanore/archive/2012/11/23/2783061.html 一.网址路由 1.1 比 ...
- Android生命周期详细说明
提供两个关于Activity的生命周期模型图示帮助理解: 图1 图2 从图2所示的Activity生命周期不难看出, ...
- 1.3 ASP.NET MVC生命周期
ASP.NET MVC的执行生命周期主要分为三个阶段,分别是网址路由对比.执行控制器与动作.执行视图并返回结果.从ASP.NET MVC接受HTTP请求到返回HTTP响应的过程如下图所示.
随机推荐
- Xcode6 部署iphone4s出现的问题 No architectures to compile for
手贱升级到了Xcode6.结果一打开来就爆了各种错误换个警告; 各种百度和谷歌,终于搞定了,然后插上4S,结果还是报错. 解决: 1.找到 Build Settings 2.点击 Architectu ...
- iOS中navigationItem修改标题的颜色
UIColor * color = [UIColor redColor];//这里我们设置的是颜色,NSDictionary * dict = [NSDictionary dictionaryWith ...
- 服务器端IO模型的简单介绍及实现
https://mp.weixin.qq.com/s?src=3×tamp=1541726441&ver=1&signature=xPSye3v7miF7aVeLHb ...
- [LeetCode] 1.Two Sum - Swift
1. Two Sum Given an array of integers, return indices of the two numbers such that they add up to a ...
- python学习笔记(六)— 模块
一.os.sys模块 import os print(os.getcwd())#取当前工作目录,绝对路径 print(os.chdir("../"))#更改当前目录 print(o ...
- CF#301 C:Ice Cave(简单BFS)
C:Ice Cave 有一个m*n的地图,里面包含'.'表示完整的冰块,'X'表示有裂痕的冰块,当游戏者到达完整的冰块时,这个位置的冰块会变成有裂痕的冰块,如果到达有裂痕的冰块时,游戏者会进入下一关 ...
- javaScript 调用构造函数 Array() 时没有使用参数, length总是0
如果调用构造函数 Array() 时没有使用参数,那么返回的数组为空,length 字段为 0. 当调用构造函数时只传递给它一个数字参数,该构造函数将返回具有指定个数.元素为 undefined 的数 ...
- oracle入门(6)——PL/SQL常用语法
[本文介绍] 本文不是”语法大全“,只是记录下作项目里自己常用的一些语法.方便查询. [语法] [输出] (1)输出语法 DBMS_OUTPUT.PUT_LINE( ) [定义] (1)定义变 ...
- C++入门(2)
第一个程序,输入输出: #include <iostream> using namespace std; int main() { cout << "Hello, w ...
- zzUbuntu安装配置Qt环境
zz from http://blog.csdn.net/szstephenzhou/article/details/28407417 安装 QT4.8.6库+QT Creator 2.5.0 下载地 ...