1.入口$HIVE_HOME/bin/ext/cli.sh

  • 调用org.apache.hadoop.hive.cli.CliDriver类进行初始化过程
  • 处理-e,-f,-h等信息,如果是-h,打印提示信息,并退出
  • 读取hive的配置文件和$HIVE_HOME/bin/.hiverc文件,设置HiveConf
  • 创建一个控制台,进入交互模式

2.读取命令processLine分割处理

  • 在交互模式下,processLine方法读取命令行,以";"分割成多个命令
  • 然后交给processCmd(cmd)处理

3.命令的预处理processCmd

  根据输入命令的第一个记号(Token),分别进行处理

  • Quit/Exit系统正常退出
  • !开头的执行Linux操作系统命令
  • source 开头的读取外部文件并执行文件中的命令
  • list 列出缓存中的jar/file/archive
  • 其他命令提交给CommandProcess处理

4.命令的预处理CommandProcess

  根据输入命令的第一个记号,分别进行处理

  • set 调用SetProcess类,设置hive的环境参数,并保存在该进程的HiveConf中
  • dfs 调用DfsProcess类,调用hadoop的shell接口,执行hadoop的相关命令
  • add 调用AddResourceProcess类,导入外部的资源,只对该进程有效
  • delete 与add对应,删除资源
  • 其他:提交给Driver类,进行下一步处理

5.命令的处理(Driver类的run方法)

  • 编译器Compile:首先检查SQL中表和列是否存在,再利用第三方工具Antlr检查SQL语法是否正确,将正确的SQL解析成抽象语法树(AST),最后将AST编译成逻辑执行计划Logical Paln
  • 优化器Optimizor:将逻辑执行计划转化成可以运行的物理执行计划Physical Plan,即MR任务执行,并对其进行优化
  • 执行器Executor:调用genMapRed()方法执行优化后的MR任务
  • 获取读写锁:对操作的表获取一个读写锁acquireReadWriteLocks
  • 执行execute:将生成的Task提交hadoopAPI 处理,返回任务的执行时间和状态(成功or失败)

6.获取执行的结果

  • 任务执行失败,抛出异常
  • 执行成功后,调用Driver的GetReuslt方法,顺序打开每一个输出文件
  • 获取每一行的输出,并打印到控制台

7.执行清理

  • 清理hive执行过程中的中间文件和临时文件
  • 退出该条命令的执行,返回控制台并等待下一条命令的输入

Hive的执行生命周期的更多相关文章

  1. 微信小程序onLaunch、onLoad执行生命周期

    原文转载自:微信小程序onLaunch.onLoad执行生命周期 1.需求:先执行App的onLaunch添加验证权限等,再执行Page里的onLoad. 2.问题:还没有等onLaunch执行完成, ...

  2. HTML,javascript,image等加载,DOM解析,js执行生命周期

  3. .NET MVC执行过程 及 生命周期步骤

    1.网址路由比对 2.执行Controller与Action 3.执行View并返回结果 Request 请求到来 IIS 根据请求特征将处理权移交给 ASP.NET UrlRoutingModule ...

  4. react教程 — 组件的生命周期 和 执行顺序

    一.组件执行的生命周期:                  参考  https://www.cnblogs.com/soyxiaobi/p/9559117.html  或  https://www.c ...

  5. React源码剖析系列 - 生命周期的管理艺术

    目前,前端领域中 React 势头正盛,很少能够深入剖析内部实现机制和原理.本系列文章希望通过剖析 React 源码,理解其内部的实现原理,知其然更要知其所以然. 对于 React,其组件生命周期(C ...

  6. [转]: 两分钟彻底让你明白Android Activity生命周期(图文)!

    转自:http://blog.csdn.net/android_tutor/article/details/5772285 大家好,今天给大家详解一下Android中Activity的生命周期,我在前 ...

  7. MVC网址路由与生命周期

    这篇写得比较详细,所以我收藏一下. 转载自: http://www.cnblogs.com/Eleanore/archive/2012/11/23/2783061.html 一.网址路由 1.1  比 ...

  8. Android生命周期详细说明

    提供两个关于Activity的生命周期模型图示帮助理解:                                           图1 图2 从图2所示的Activity生命周期不难看出, ...

  9. 1.3 ASP.NET MVC生命周期

    ASP.NET MVC的执行生命周期主要分为三个阶段,分别是网址路由对比.执行控制器与动作.执行视图并返回结果.从ASP.NET MVC接受HTTP请求到返回HTTP响应的过程如下图所示.

随机推荐

  1. Zabbix添加web页面监控告警

    一,选择添加了web监控的主机 二,创建一个告警触发器 三,定义监控项 设置完毕假如网站down就会触发告警 怎么设置web监控以及触发告警action参考 Zabbix使用SMTP发送邮件报警并且制 ...

  2. mysqldump备份成压缩包

    可以直接应用mysqldump直接将mysql数据库中的表或者整个数据库备份成压缩格式的包 废话不多说了直接上代码吧 mysqldump -h localhost -uroot -pHb118114  ...

  3. Java SAX handle xml

    https://www.journaldev.com/1198/java-sax-parser-example Java SAX Parser Example   SAX Parser in java ...

  4. Zipline Beginner Tutorial

    Zipline Beginner Tutorial Basics Zipline is an open-source algorithmic trading simulator written in ...

  5. 吉哥系列故事——完美队形II---hdu4513(最长回文子串manacher)

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=4513 题意比最长回文串就多了一个前面的人要比后面的人低这个条件,所以在p[i]++的时候判断一下s[i ...

  6. centos7手动编译安装Libvirt常见问题

    由于功能需要,体验了手动编译安装Libvrt,还是碰到了不少问题,这里总结如下仅限于centos7: 1.configure: error: You must install the pciacces ...

  7. Python的15个坑

    1. 不要使用可变对象作为函数默认值 代码如下: In [1]: def append_to_list(value, def_list=[]):    ...:         def_list.ap ...

  8. 为你的CSDN博客添加CNZZ流量统计功能

    一.流量统计介绍 流量统计是指通过各种科学的方式,准确的纪录来访某一页面的访问者的流量信息,目前而言,必须具备可以统计. 1.简介 统计独立的访问者数量(独立用户.独立访客): 可以统计独立的IP地址 ...

  9. K-medodis聚类算法MATLAB

    国内博客,上介绍实现的K-medodis方法为: 与K-means算法类似.只是距离选择与聚类中心选择不同. 距离为曼哈顿距离 聚类中心选择为:依次把一个聚类中的每一个点当作当前类的聚类中心,求出代价 ...

  10. 除去DataTable中的空行!

    昨天向数据库中导入Excel数据时  由于空行 总是报错!下面附上两种去除空行的方法! 方法一.某行某列值为空时 DataView dv = dt.DefaultView;              ...