Hive在集群环境配置

本文转载自：https://blog.csdn.net/hanjin7278/article/details/53035739

一、简介

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

二、环境要求

1、JDK1.7+
2、本次配置实例继续上次HBase配置完成后继续添加，如需使用请参考本人其他Zookeeper，Hadoop2.X，HBase集群环境配置
3、本次使用Hive稳定版本apache-hive-2.1.0-bin.tar.gz
4、mysql5.1+

三、开始安装

1、在hadoop01上下载Hive发行版

wget http://apache.fayea.com/hive/stable-2/apache-hive-2.1.0-bin.tar.gz

2、解压文件：tar -zxvfapache-hive-2.1.0-bin.tar.gz

3、配置Hive环境变量

配置完成使用source /etc/profile使其生效

4、安装MySql

yum install mysql-server

##安装Mysql服务

    yum install mysql-server

    ##启动服务

    service mysqld start

    ##配置

    /usr/bin/mysql_secure_installation

    chkconfig --level 235 mysqld on

    ##登录Mysql

    mysql –u root –p

    ##创建Hive数据库

    create database hive;

    ##创建Hive用户

    create user "hive" identified by "hive";

    GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' IDENTIFIED BY 'hive' WITH GRANT OPTION;

    flush privileges;

5、配置Hive
在$HIVE_HOME/conf/目录中修改文件名

cp hive-default.xml.template hive-site.xml

修改hive-site.xml（删除所有内容，只留一个）

<configuration>

  <property>

      <name>javax.jdo.option.ConnectionURL</name>

      <value>jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true</value>

      <description>JDBC connect string for a JDBC metastore</description>

    </property>

    <property>

      <name>javax.jdo.option.ConnectionDriverName</name>

      <value>com.mysql.jdbc.Driver</value>

      <description>Driver class name for a JDBC metastore</description>

    </property>

    <property>

      <name>javax.jdo.option.ConnectionUserName</name>

      <value>hive</value>

      <description>username to use against metastore database</description>

    </property>

    <property>

      <name>javax.jdo.option.ConnectionPassword</name>

      <value>hive</value>

      <description>password to use against metastore database</description>

    </property>

</configuration>

安装hive和mysq完成后，将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下

初始化schema：schematool -initSchema -dbType mysql

6、测试使用
执行$HIVE_HOME/bin/hive 进入hive命令行模式

查看mysql：

创建表：

create table users(id string,name string,age int) row format delimited fields terminated by '\t';

查看hadoop的HDFS文件系统中是否由此文件夹

7、Hive配置完成，以后详细介绍Hive分析数据的应用，希望那里有问题大家可以提出宝贵意见共同探讨。