l   安装hive,hive-metastore hive-server

$ sudo yum install hive hive-metastore hive-server

l   安装mysql-server

$ sudo yum install mysql-server

l   启动mysql守护进程

$ sudo service mysqld start

l   下载mysql java驱动并复制到hive的lib中

$ cd ~
$ wget 'http://cdn.mysql.com/Downloads/Connector-J/mysql-connector-java-5.1.25.tar.gz'
$ tar xzf mysql-connector-java-5.1.25.tar.gz
$ sudo cp mysql-connector-java-5.1.25/mysql-connector-java-5.1.25-bin.jar
/usr/lib/hive/lib/

l  
Mysql安全配置启动

$
sudo /usr/bin/mysql_secure_installation

  1. [...]
  2. Enter current password for root (enter for none):
  3. OK, successfully used password, moving on...
  4. [...]
  5. Set root password? [Y/n] y
  6. New password:hadoophive
  7. Re-enter new password:hadoophive
  8. Remove anonymous users? [Y/n] Y
  9. [...]
  10. Disallow root login remotely? [Y/n] N
  11. [...]
  12. Remove test database and access to it [Y/n] Y
  13. [...]
  14. Reload privilege tables now? [Y/n] Y
  15. All done!

 mysql作为hive的元数据存储数据库

在mysql中建立相应的元数据数据库,执行相应的sql脚本,并且建立供hive连接mysql的用户,赋予其权限。

  1. $ mysql -u root p chengyeliang
  2. mysql> CREATE DATABASE metastore;
  3. mysql> USE metastore;
  4. mysql> SOURCE /usr/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-0.10.0.mysql.sql;
  5.  
  6. mysql> CREATE USER 'hive'@'%' IDENTIFIED BY 'chengyeliang';
  7. mysql> CREATE USER 'hive'@'localhost' IDENTIFIED BY 'chengyeliang';
  8. mysql> REVOKE ALL PRIVILEGES, GRANT OPTION FROM 'hive'@'%';
  9. mysql> REVOKE ALL PRIVILEGES, GRANT OPTION FROM 'hive'@'localhost';
  10. mysql> GRANT SELECT,INSERT,UPDATE,DELETE,LOCK TABLES,EXECUTE ON metastore.* TO 'hive'@'%';
  11. mysql> GRANT SELECT,INSERT,UPDATE,DELETE,LOCK TABLES,EXECUTE ON metastore.* TO 'hive'@'localhost';
  12. mysql> FLUSH PRIVILEGES;
  13. mysql> quit;

修改hive的配置文件

$ sudo vim /etc/hive/conf/hive-site.xml

  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <configuration>
  4. <property>
  5. <name>javax.jdo.option.ConnectionURL</name>
  6. <value>jdbc:mysql://10.127.130.199:3306/metastore?useUnicode=true&amp;characterEn
  7. coding=UTF-8</value>
  8. <description>JDBC connect string for a JDBC metastore</description>
  9. </property>
  10.  
  11. <property>
  12. <name>javax.jdo.option.ConnectionDriverName</name>
  13. <value>com.mysql.jdbc.Driver</value>
  14. <description>Driver class name for a JDBC metastore</description>
  15. </property>
  16.  
  17. <property>
  18. <name>javax.jdo.option.ConnectionUserName</name>
  19. <value>hive</value>
  20. <description>username to use against metastore database</description>
  21. </property>
  22. <property>
  23. <name>javax.jdo.option.ConnectionPassword</name>
  24. <value>chengyeliang</value>
  25. <description>password to use against metastore database</description>
  26. </property>
  27.  
  28. <property>
  29. <name>localhost.job.tracker</name>
  30. <value>localhost:8031</value>
  31. </property>
  32.  
  33. <property>
  34. <name>mapreduce.framework.name</name>
  35. <value>yarn</value>
  36. </property>
  37. <property>
  38. <name>hive.metastore.uris</name>
  39. <value>thrift://localhost:9083</value>
  40. </property>
  41. <property>
  42. <name>hive.metastore.client.socket.timeout</name>
  43. <value>3600</value>
  44. <description>MetaStore Client socket timeout in seconds</description>
  45. </property>
  46. </configuration>

启动hive-metastore进程

$ sudo service hive-metastore start

或者后台启动服务:nohup hive --service metastore&

创建Hive所需的HDFS目录

$ sudo -u hdfs hadoop fs -mkdir /user/hive
$ sudo -u hdfs hadoop fs -chown hive /user/hive
$ sudo -u hdfs hadoop fs -mkdir /tmp
$ sudo -u hdfs hadoop fs -chmod 777 /tmp
$ sudo -u hdfs hadoop fs -chmod o+t /tmp
$ sudo -u hdfs hadoop fs -mkdir /data
$ sudo -u hdfs hadoop fs -chown hdfs /data
$ sudo -u hdfs hadoop fs -chmod 777 /data
$ sudo -u hdfs hadoop fs -chmod o+t /data

$ sudo chown -R hive:hive
/var/lib/hive

准备10万行记录的txt文件作为待查询的数据。

sudo vim /tmp/kv1.txt

建立一张新表

hive> CREATE TABLE IF NOT EXISTS chengyeliang ( foo INT,bar STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t" LINES TERMINATED BY "\n";

Time taken: 0.415 seconds

导入数据到table—chengyeliang

hive> LOAD DATA LOCAL INPATH '/tmp/kv1.txt' OVERWRITE INTO TABLE chengyeliang;

Time taken: 1.681 seconds

上面的路径要换成自己文本文件在hdfs上的绝对路径

如果上述操作ok,则安装成功。

Impala 安装笔记2一hive和mysql安装的更多相关文章

  1. Hive的mysql安装配置

    一.MySQL的安装 Hive的数据,是存在HDFS里的.此外,hive有哪些数据库,每个数据库有哪些表,这样的信息称之为hive的元数据信息. 元数据信息不存在HDFS,而是存在关系型数据库里,hi ...

  2. 三、安装cmake,安装resin ,tars服务,mysql 安装介绍,安装jdk,安装maven,c++ 开发环境安装

    三.安装cmake,安装resin 2018年07月01日 21:32:05 youz1976 阅读数:308   开发环境说明: centos7.2 ,最低配置:1核cpu,2G内存,1M带宽 1. ...

  3. centos7 安装LNMP(php7)之mysql安装,更改密码,远程授权

    1.执行命令 yum install mysql mysql-server mysql-devel -y 知道出现complete!则安装mysql完成 当执行 service mysqld rest ...

  4. Java基础学习笔记二十四 MySQL安装图解

    .MYSQL的安装 1.打开下载的mysql安装文件mysql-5.5.27-win32.zip,双击解压缩,运行“setup.exe”. 2.选择安装类型,有“Typical(默认)”.“Compl ...

  5. Linux下的Mysql安装 & 配置

    Hive的数据,是存在HDFS里的.此外,hive有哪些数据库,每个数据库有哪些表,这样的信息称之为hive的元数据信息. 元数据信息不存在HDFS里.而是存在关系型数据库里,hive默认用的是der ...

  6. Presto单机/集群模式安装笔记

    Presto单机/集群模式安装笔记 一.安装环境 二.安装步骤 三.集群模式安装: 3.1 集群模式修改配置部分 3.1.1 coordinator 节点配置. Node172配置 3.1.2 nod ...

  7. 数据库 MySQL安装图解

    MySQL安装图解 一.MYSQL的安装 1.打开下载的mysql安装文件,双击运行mysql-5.5.40-win32.msi. 2.选择安装类型,有"Typical(默认)". ...

  8. 【转】mysql安装图解

    转载地址:http://www.jb51.net/article/23876.htm 很多朋友刚开始接触mysql数据库服务器,下面是网友整理的一篇mysql的安装教程,步骤明细也有详细的说明.   ...

  9. mysql安装图解 mysql图文安装教程(详细说明)

    MySQL5.0版本的安装图解教程是给新手学习的,当前mysql5.0.96是最新的稳定版本. mysql 下载地址 http://www.jb51.net/softs/2193.html 下面的是M ...

随机推荐

  1. ExcelHelper类

    /// <summary> /// ExcelHelper类 /// </summary> using System; using System.IO; using Syste ...

  2. LeetCode OJ--ZigZag Conversion

    https://oj.leetcode.com/problems/zigzag-conversion/ 将字符串Z形字排列后,再重新一行一行输出. 可以找到每一行字符位置的规律,然后填充进去. 敲代码 ...

  3. 小程序 之登录 wx.login()

    小程序的登录关键在于使用wx.login()方法后,要到取到code值传到后台, 再用小程序平台本帐号生成的appid+addsecret+code去微信接口服务取得用户唯一标识后即可登录[注意:此步 ...

  4. (1)hello world

    操作系统安装SDK     https://www.microsoft.com/net/download/windows 选择对应的操作系统 wget -q https://packages.micr ...

  5. Codeforces 490F Treeland Tour(离散化 + 线段树合并)

    题目链接 Treeland Tour 题目就是让你求树上LIS 先离散化,然后再线段树上操作.一些细节需要注意一下. #include <bits/stdc++.h> using name ...

  6. 关于在iOS设备上探测WIFI,3G,GPRS使用情况的细节

    由于设计的游戏需要有一些联网请求,但有时候在设备未连接网络的情况下,如果对网络情况不加以判断,则可能造成游戏为了等游戏超时,浪费不必要的时间. 所以在游戏启动时检测一下网络状况是很必要的,而且当玩家的 ...

  7. 邁向IT專家成功之路的三十則鐵律 鐵律二十二:IT人升遷之道-無為

    升遷管道是許多人求職時相當重要的考量之一,畢竟人除了很愛錢之外更愛顯赫的頭銜,然而在企業中越顯赫的頭銜,其背後通常有更多的罵名,因為許多人的高官厚爵都是踩著一群人的頭頂爬上去的,隨時哪一天跌了下來,都 ...

  8. cocos2d-x调用android内嵌浏览器打开网页

    cocos2d-x调用android内嵌浏览器打开网页,能够从入口传入网址,C++调用android 的api就可以实现. 方法也非常easy 1. 改动"cocos2dx\platform ...

  9. C++类的大小(转)

    一个空类class A{};的大小为什么是1,因为如果不是1,当定义这个类的对象数组时候A objects[5]; objects[0]和objects[1]就在同一个地址处,就无法区分. 单继承 # ...

  10. LeetCode85 Maximal Rectangle java题解

    public static int maximalRectangle(char[][] matrix) { int rowNum=matrix.length; if(rowNum==0) return ...