hive是一个数据仓库工具,建立在hadoop之上,它的存在是为了让大数据的查询和分析更加的方便。hive提供简单的sql查询功能,并最终转换为mapreduce任务执行。

一、环境

  • JDK1.8+官方推荐新版JDK,否则可能存在不同版本不兼容问题
  • hadoop采用2.0+版本,否则hive2.0+将不支持hadoop1.0+
  • Linux环境和window皆可作为生产环境,但是macos的话一般作为开发环境

本文采用centos7系统,JDk1.8,和hadoop2.9

JDK安装参考:https://www.cnblogs.com/lay2017/p/7442217.html

hadoop单节点安装参考:https://www.cnblogs.com/lay2017/p/9912381.html

hdfs单节点安装配置:https://www.cnblogs.com/lay2017/p/9919905.html

以上,我们构建了JDK,hadoop以及配置了hadoop中的hdfs。hive将基于jdk和hadoop环境,将数据存储在hdfs中。

同时,为了简单,我们只进行单节点安装配置,并只配置了hdfs,没有mapreduce和yarn的配置。

以及,元数据存储我们也不使用独立的mysql或者derby,直接采用默认的内置数据库derby,使用内置数据库只会允许有一个connection,所以如果是生产环境通常是会使用独立的数据库mysql。

这样,我们就构建了hive的基本环境,接下来我们进行hive的安装配置

二、hive安装配置

我们先建立一个Hive目录,然后进入该目录

mkdirs /usr/local/hadoop/hive
cd /usr/local/hadoop/hive

本文采用1.2.2版本的hive,下载该tar包,这里要等待一段时间

wget http://mirrors.hust.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz

然后解压

tar apache-hive-1.2.-bin.tar.gz

你可以看到解压后的文件

接下来我们需要给hive配置环境变量

当然,请确保你之前安装的hadoop和jdk是可用的配置

使用命令,使得配置生效

source /etc/profile

我们进入hive目录

cd /usr/local/hadoop/hive/apache-hive-1.2.-bin

进入hive shell看看(请记得要先启动hdfs:start-dfs.sh)

这样就说明我们已经配置成功hive了,退出hive

我们看到该目录下创建了metastore

这就意味着在apache-hive-1.2.2-bin目录下存放着你的元数据,而下次你也得在这个目录去启动hive,如果在其他位置启动Hive,你会找不到这些表而觉得奇怪。

以上,我们就简单安装配置了hive,并成功启动hive shell同时自动创建了元数据数据库(metastore_db);

一、hive安装(内置数据库derby)的更多相关文章

  1. [Hive_6] Hive 的内置函数应用

    0. 说明 Hive 的内置函数的基本操作 | 时间函数 | String 函数 | 条件语句 | explode | split | substring 1. 基本操作 查看函数 show func ...

  2. mysql内置数据库

    1 mysql本地连接数据库 >mysql -h localhost -u root -proot    注意-p后面没有空格,是直接跟上密码 或者 >mysql -h localhost ...

  3. 如果您想确保Windows 10在新用户登录时不安装内置应用程序,则必须删除所有配置的应用程序。

    原文 如果您想确保Windows 10在新用户登录时不安装内置应用程序,则必须删除所有配置的应用程序. 本文的内容 已安装与配置的应用程序 删除配置的应用程序 安装与配置的应用程序^ 在介绍如何删除所 ...

  4. HTML5 使用浏览器内置数据库之 indexedDB

    indexedDB是H5规范里的浏览器内置数据库,是nosql数据库的一种.因为另一种数据库Web SQL不再受W3C支持,所以还得学习下这个. 基本情况 兼容性:ie11及以上都支持, W3C是这么 ...

  5. AgileBoot - 如何集成内置数据库H2和内置Redis

    本项目地址: github: https://github.com/valarchie/AgileBoot-Back-End gitee: https://gitee.com/valarchie/Ag ...

  6. Hive基础(4)---Hive的内置服务

    版权声明:<—— 本文为作者呕心沥血打造,若要转载,请注明出处@http://blog.csdn.net/gamer_gyt <——   目录(?)[+]   一:Hive的几种内置服务 ...

  7. hive的内置函数和自定义函数

    一.内置函数 1.一般常用函数 .取整函数 round() 当传入第二个参数则为精度 bround() 银行家舍入法:为5时,前一位为偶则舍,奇则进. .向下取整 floor() .向上取整 ceil ...

  8. Hive学内置条件和字符串函数

    https://blog.csdn.net/skywalker_only/article/details/38752003 条件函数 下表为Hive支持的一些条件函数. 返回类型 函数名 描述 T i ...

  9. Hive学习之路 (九)Hive的内置函数

    数学函数 Return Type Name (Signature) Description DOUBLE round(DOUBLE a) Returns the rounded BIGINT valu ...

随机推荐

  1. 2018 ACM-ICPC 亚洲区域赛青岛现场赛 —— Problem F. Tournament

    题面:http://acm.zju.edu.cn/contest-materials/qd2018/qd2018_problems.pdf 题意: n个骑士决斗K轮 要求是每个骑士只能跟另外一个骑士决 ...

  2. 利用jaxb实现xml和bean的相互转换

    1.使用jar包生成xsd文件 java -jar trang.jar a.xml a.xsd xml格式 生成的xsd文件 2.使用xjc命令生成bean文件 xjc a.xsd 生成的相关bean ...

  3. C++基础知识-派生类、调用顺序、访问等级、函数遮蔽

    一.派生类的概念 类之间有一种层次关系,有父亲类,有孩子类. 车这个类,当成父类(也叫基类.超类),派生出卡车.轿车,他们属于孩子类(子类.派生类) 继承:有父亲类,有孩子类,构成了层次关系.继承这种 ...

  4. 2016级算法期末模拟练习赛-D.AlvinZH的序列问题

    1111 AlvinZH的序列问题 思路 中等题,动态规划. 简化题意,. 坑点一:二维int数组MLE,明显会超过内存限制,由于\(n\)最大为1e4,那么我们的dp数组最大也是1e4,考虑使用sh ...

  5. C#-WebForm-GridView表格展示数据

    GrideView 控件,功能是将数据库的数据用表格的形式展示在页面上 一.<源>代码中放入 GridView 控件 打开<设计>界面 二.绑定数据源 (一)创建 LinQ 类 ...

  6. Ubuntu18.04配制阿里巴巴的源

    配制阿里巴巴的源步骤 使用阿里巴巴的开源镜像:https://opsx.alibaba.com/mirror 然后选择ubuntu的帮助选项,复制ubuntu18.04镜像源 设置root账户密码: ...

  7. 剑指offer——面试题29:顺时针打印矩阵

    #include"iostream" #include"stdio.h" using namespace std; void PrintMatrixInCirc ...

  8. c#中异步编程

    异步是现实生活中的很多现象的一种抽象.比如分工合作在很多时间段就是异步合作.异步中也一般要涉及委托方法.c#有3种模式的异步编程:异步模式,基于事件的异步模式,基于任务的异步模式(TAP). 一.   ...

  9. Mac 10.12安装OpenVPN客户端

    说明: 1.在Mac下有很多漂亮的客户端可以安装,比如Tunnelblick这些等等. 2.但这里直接先原版的OpenVPN进行搭建,这个比较爽. 安装: brew install openvpn 提 ...

  10. 自定义类型转换器之TypeConverter

    C#提供了很多类型转换的方法如ConvertToInt.int.Parse.int.tryParse等等,这些方法都能将一个C#的基本数据类型转换成另一个C#基本数据类型.那么.既然如此,C#肯定会提 ...