1.想了解HiveServer2的启动过程,则需要找到启动HiveServer2的入口,hive服务的启动命令为hive --service HiveServer2,通过分析$HIVE_HOME/bin下hive脚本可知,执行hive --service HiveServer2后正真调用的是$HIVE_HOME/bin/ext下的hiveserver2.sh脚本,而从hiveserver2.sh脚本可以看出,hive服务的入口为HiveServer2类,因此我们需要通过分析HiveServer2类来了解hive的启动过程。

2.入口方法

在HiveServer2类的入口方法为main方法,该方法中做了以下几件事:

1)设置加载hive配置的标识的值为true

2)构造ServerOptionsProcessor对象,并调用该对象的parse()方法解析参数

3)调用LogUtils.initHiveLog4j()方法初始化hive日志

4)基于命令解析结果获取执行器,并调用execute()方法启动HiveServer2服务

注:在执行以上四个步骤时,一旦捕获到异常就会执行System.exit(-1)退出程序。

了解了main()的大致逻辑,接下来分析每个步骤的具体实现。

1.ServerOptionsProcessor的parse()方法

在parse()方法中先会通过new GnuParser().parse()方法将参数解析为CommandLine对象,然后调用CommandLine的getOptionProperties()获取hive的配置,并将这些配置设置到系统属性中,最后根据参数选项选取对应的处理器,并返回对应的参数处理的response结果,主要包括5种情况:

1)当参数选项为H时,处理器为HelpOptionExecutor,即通过打印用法来执行--help选项;

2)当参数选项为deregister时,处理器为DeregisterOptionExecutor,即通过从特定版本的ZooKeeper中注销所有HiveServer2实例来执行--deregister选项;

3)当参数选项为listHAPeers时,处理器为ListHAPeersExecutor,

4)当参数选项为listHAPeers时,处理器为FailoverHS2InstanceExecutor

接下来直接查看StartOptionExecutor类的execute方法,如下所示:

该方法的核心是1305行startHiveServer2()方法,进入该方法,可以看到该方法里的所有逻辑都包含在一个while(true)中,这样做的目的是在HiveServer2失败后增加重试操作,那什么会结束该while循环呢?有两种情况,一种是在限制的次数内执行启动成功,一种是重试次数用完还未执行成功,重试次数为默认值为30秒,重试间隔时间为60秒,可通过配置进行修改,然后来看主要启动逻辑。

1)启动hive之前先清除hive缓存目录(/tmp/hive)

根据hive.start.cleanup.scratchdir的值判断是否需要清理,默认值为false。如果为true,则会根据hive.exec.scratchdir配置的临时目录的值,调用hdfs接口来删除该路径,如下图所示:

1)创建HiveServer2()实例

创建HIveServer2实例时会将loadHiveServer2Config的值设置为true,该值是标识是否加载hive配置。

2)初始化hive配置

a首先会初始化hive指标;

b创建CLIService实例

c创建ThriftHttpCLIService实例

d获取当前线程的配置单元对象。 如果未初始化,则创建一个新的。如果新配置在元数据配置中不同,或者所有者不同,则创建一个新的。

e如果配置HA模式,需要在zk上注册名称空间

3)调用HiveServer2的start()方法启动hive服务

a调用父类(CompositeService)的start()方法,包括启动CLIService和ThriftHttpCLIService服务

a如果我们支持动态服务发现,则将此HiveServer2实例的服务uri作为znode添加到Zookeeper

b启动策略同步器

c启动webServer

d如果未启用HA,则启动tez session

Hive源码分析(1)——HiveServer2启动过程的更多相关文章

  1. tomcat8 源码分析 | 组件及启动过程

    tomcat 8 源码分析 ,本文主要讲解tomcat拥有哪些组件,容器,又是如何启动的 推荐访问我的个人网站,排版更好看呦: https://chenmingyu.top/tomcat-source ...

  2. Netty源码分析之客户端启动过程

    一.先来看一下客户端示例代码. public class NettyClientTest { public void connect(int port, String host) throws Exc ...

  3. wxWidgets源码分析(1) - App启动过程

    目录 APP启动过程 wxApp入口定义 wxApp实例化准备 wxApp的实例化 wxApp运行 总结 APP启动过程 本文主要介绍wxWidgets应用程序的启动过程,从app.cpp入手. wx ...

  4. JVM源码分析之JVM启动流程

      原创申明:本文由公众号[猿灯塔]原创,转载请说明出处标注 “365篇原创计划”第十四篇. 今天呢!灯塔君跟大家讲: JVM源码分析之JVM启动流程 前言: 执行Java类的main方法,程序就能运 ...

  5. Spring源码分析之`BeanFactoryPostProcessor`调用过程

    前文传送门: Spring源码分析之预启动流程 Spring源码分析之BeanFactory体系结构 本文内容: AbstractApplicationContext#refresh前部分的一点小内容 ...

  6. Spring Ioc源码分析系列--Bean实例化过程(一)

    Spring Ioc源码分析系列--Bean实例化过程(一) 前言 上一篇文章Spring Ioc源码分析系列--Ioc容器注册BeanPostProcessor后置处理器以及事件消息处理已经完成了对 ...

  7. Tomcat源码分析之—具体启动流程分析

    从Tomcat启动调用栈可知,Bootstrap类的main方法为整个Tomcat的入口,在init初始化Bootstrap类的时候为设置Catalina的工作路径也就是Catalina_HOME信息 ...

  8. MyBatis 源码分析 - 映射文件解析过程

    1.简介 在上一篇文章中,我详细分析了 MyBatis 配置文件的解析过程.由于上一篇文章的篇幅比较大,加之映射文件解析过程也比较复杂的原因.所以我将映射文件解析过程的分析内容从上一篇文章中抽取出来, ...

  9. Spring Ioc源码分析系列--Bean实例化过程(二)

    Spring Ioc源码分析系列--Bean实例化过程(二) 前言 上篇文章Spring Ioc源码分析系列--Bean实例化过程(一)简单分析了getBean()方法,还记得分析了什么吗?不记得了才 ...

随机推荐

  1. Leetcode(257)-二叉树的所有路径

    给定一个二叉树,返回所有从根节点到叶子节点的路径. 说明: 叶子节点是指没有子节点的节点. 示例: 输入: 1 / \ 2 3 \ 5 输出: ["1->2->5", ...

  2. 6. Connection has already been closed 数据库连接被关闭

    生产上Tomcat出现 Connection has already been closed.问题,但是在uat测试是好的! 遇见两次: 1.某个程序dao中执行逻辑异常复杂,有时候需要执行一分多钟, ...

  3. Google Developer Profile

    Google Developer Profile https://google.dev/u/me https://google.dev/u/109030792841960772125 Google D ...

  4. 使用 Canvas 实现一个类似 Google 的可视化的页面错误反馈库

    使用 Canvas 实现一个类似 Google 的可视化的页面错误反馈库 iframe 嵌套 iframe iframe 包含 复制的 HTML 页面 和支持可以拖拽的工具栏 鼠标经过上面,智能识别 ...

  5. I ❤️ W3C : Secure Contexts

    I ️ W3C : Secure Contexts Secure Contexts W3C Candidate Recommendation, 15 September 2016 https://ww ...

  6. how to create react custom hooks with arguments

    how to create react custom hooks with arguments React Hooks & Custom Hooks // reusable custom ho ...

  7. front-end & web & best code editor

    front-end & web & best code editor 2019 VS Code https://designrevision.com/best-code-editor/ ...

  8. perl 打印简单的help文档

    更多 PrintHelp.pm #!/usr/bin/perl package PrintHelp; require Exporter; use v5.26; use strict; use utf8 ...

  9. 为什么说NGK公链的商用落地是可行的?

    互联网.大数据以及云计算的发展给人们的生活.工作带来了诸多便利,也让人们一次又一次感叹科技的进步.而NGK公链的诞生,更是让众人称之为传奇.其商用落地可行性,也让人惊叹.那么,为什么说NGK公链的商用 ...

  10. 简单梳理下 Vue3 的新特性

    在 Vue3 测试版刚刚发布的时候,我就学习了下 Composition API,但没想到正式版时隔一年多才出来,看了一下发现还是增加了不少新特性的,在这里我就将它们一一梳理一遍. 本文章只详细阐述 ...