上传hive软件包到任意节点

一、安装hive软件

  解压缩hive软件包到/usr/local/hadoop/目录下

     

  重命名hive文件夹

     

  在/etc/profile文件中添加环境变量

      export HIVE_HOME=/usr/local/hadoop/hive

      export PATH=$HIVE_HOME/bin:$PATH

  运行命令source /etc/profile

 

   使用mysql作为数据库时需要安装mysql

   在mysql中创建hive用户,数据库等

     create user 'hive' identified by 'hive';
     create database hive;
     grant all on hive.* to hive@'%'  identified by 'hive';
     grant all on hive.* to hive@'localhost'  identified by 'hive';
     flush privileges;

   退出mysql

   拷贝mysql-connector-java.jar到hive目录下lib/中

二、修改配置文件

   修改hive目录中conf/hive-default.xml.template文件为conf/hive-site.xml

    在conf目录中修改配置文件hive-site.xml

      (使用默认数据库)

     

      <property>
        <name>hive.exec.local.scratchdir</name>
        <value>/home/hive/iotmp</value>
        <description>Local scratch space for Hive jobs</description>
      </property>
      <property>
        <name>hive.downloaded.resources.dir</name>
        <value>/home/hive/iotmp</value>
        <description>Temporary local directory for added resources in the remote file system.</description>
      </property>
      <property>
        <name>hive.querylog.location</name>
        <value>/home/hive/iotmp</value>
        <description>Location of Hive run time structured log file</description>
      </property>

      <property>
        <name>hive.exec.local.scratchdir</name>
        <value>/home/hive/iotmp</value>
        <description>Local scratch space for Hive jobs</description>
      </property>

     (mysql数据库)
     

      <property> 
         <name>javax.jdo.option.ConnectionURL </name> 
         <value>jdbc:mysql://localhost:3306/hive </value> 
      </property> 
 
      <property> 
         <name>javax.jdo.option.ConnectionDriverName </name> 
         <value>com.mysql.jdbc.Driver </value> 
      </property>
 
      <property> 
         <name>javax.jdo.option.ConnectionPassword </name> 
         <value>hive </value> 
      </property>

      <property>
        <name>hive.exec.local.scratchdir</name>
        <value>/home/hive/iotmp</value>
        <description>Local scratch space for Hive jobs</description>
      </property>
      

      <property>
        <name>hive.downloaded.resources.dir</name>
        <value>/home/hive/iotmp</value>
        <description>Temporary local directory for added resources in the remote file system.</description>
      </property>
      <property>
        <name>hive.querylog.location</name>
        <value>/home/hive/iotmp</value>
        <description>Location of Hive run time structured log file</description>
      </property>

      <property>
        <name>hive.exec.local.scratchdir</name>
        <value>/home/hive/iotmp</value>
        <description>Local scratch space for Hive jobs</description>
      </property>

 

 

三、运行hive

  输入命令格式化数据库

    默认数据库  schematool -initSchema -dbType derby

    mysql数据库 schematool -initSchema -dbType mysql

  启动hive

      输入命令hive

      

hive安装完毕

  

hadoop+hive+spark搭建(二)的更多相关文章

  1. hadoop+hive+spark搭建(一)

    1.准备三台虚拟机 2.hadoop+hive+spark+java软件包 传送门:Hadoop官网 Hive官网 Spark官网      一.修改主机名,hosts文件 主机名修改 hostnam ...

  2. hadoop+hive+spark搭建(三)

    一.spark安装   因为之前安装过hadoop,所以,在“Choose a package type”后面需要选择“Pre-build with user-provided Hadoop [can ...

  3. 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)

    引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用 ...

  4. hadoop和spark搭建记录

    因玩票需要,使用三台搭建spark(192.168.1.10,192.168.1.11,192.168.1.12),又因spark构建在hadoop之上,那么就需要先搭建hadoop.历经一个两个下午 ...

  5. 了解大数据的技术生态系统 Hadoop,hive,spark(转载)

    首先给出原文链接: 原文链接 大数据本身是一个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的.你能够把它比作一个厨房所以须要的各种工具. 锅碗瓢盆,各 ...

  6. 分别使用Hadoop和Spark实现二次排序

    零.序(注意本部分与标题无太大关系,可直接调至第一部分) 既然没用为啥会有序?原因不想再开一篇文章,来抒发点什么感想或者计划了,就在这里写点好了: 前些日子买了几本书,打算学习和研究大数据方面的知识, ...

  7. 一文教你看懂大数据的技术生态圈:Hadoop,hive,spark

    转自:https://www.cnblogs.com/reed/p/7730360.html 大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞 ...

  8. 配置Hadoop,hive,spark,hbase ————待整理

    五一一天在家搭建好了集群,要上班了来不及整理,待下周周末有时间好好整理整理一个完整的搭建hadoop生态圈的集群的系列 若出现license information(license not accep ...

  9. Hadoop集群搭建(二)~centos6.8的安装

    这篇记录在创建好的虚拟机中安装centos6.8 1,在虚拟机界面-选择编辑虚拟机设置 2,CD/DVD,选择使用ISO映像文件,找到安装包的位置,确定 3,回到虚拟机的界面,开启此虚拟机 4,安装 ...

随机推荐

  1. java 之 命令模式(大话设计模式)

    命令模式,笔者一直以为当我们开发的过程中基本上很难用到,直到维护阶段或者重构阶段,我们会发现有些撤销命令和追加命令比较频繁时,自然而然就用到命令模式. 先看下类图 大话设计模式-类图 简单说下类图,最 ...

  2. Session与Cookie的概念原理

    前言: 本文没有任何代码,内容全部都是概念与运行原理,在使用一个技术前一定要弄清他的本质,下面会讲Session.Cookie.ServletContext的概念与他们的联系区别 Session概念 ...

  3. Secret 的使用场景 - 每天5分钟玩转 Docker 容器技术(109)

    我们可以用 secret 管理任何敏感数据.这些敏感数据是容器在运行时需要的,同时我们不又想将这些数据保存到镜像中. secret 可用于管理: 用户名和密码. TLS 证书. SSH 秘钥. 其他小 ...

  4. 剑指 offer代码解析——面试题39推断平衡二叉树

    题目:输入一颗二叉树的根结点.推断该树是不是平衡二叉树. 假设某二叉树中随意结点的左右子树的高度相差不超过1,那么它就是一棵平衡二叉树. 分析:所谓平衡二叉树就是要确保每一个结点的左子树与右子树的高度 ...

  5. LINUX6安装Oracle10g无法启动安装界面解决

    ***********************************************声明*************************************************** ...

  6. Asp.net MVC 填充word并下载

    使用Aspose.word填充内容并下载(免费版Aspose) 填充固定模式的Word文档,需要先制作Word模板: Aspose.Words主要通过Words里域(Fields)来控制内容.     ...

  7. 如何在华为云软件开发云上搭建JavaWeb,Maven项目

    本文将使用华为云软件开发云向大家演示如何搭建JavaWeb,Maven项目. 一.相关信息 1.华为云软件开发云简介 华为云软件开发云(DevCloud)是集华为近30年研发实践,前沿研发理念,先进研 ...

  8. 项目实战12.2—企业级监控工具应用实战-zabbix操作进阶

    无监控,不运维.好了,废话不多说,下面都是干货. 流量党勿入,图片太多!!! 项目实战系列,总架构图 http://www.cnblogs.com/along21/p/8000812.html 一.U ...

  9. 深入理解计算机系统_3e 第七章家庭作业 CS:APP3e chapter 7 homework

    7.6 +-----------------------------------------------------------------------+ |Symbol entry? Symbol ...

  10. 【转载】解决refreshing gradle project 和Building gradle project info 一直卡住\速度慢

    转载: http://blog.csdn.net/xx326664162/article/details/52002616 文章出自:薛瑄的博客 分析原因: 更改Gradle的版本后,或者更新AS后, ...