hive1.2.1在hadoop2.6.4集群上的安装 hive只需在一个节点上安装即可,这里再hadoop1上安装 1.上传hive安装包到/usr/local/目录下 2.解压 tar -zxvf /usr/local/hive-1.2.1.tar.gz  重命名 mv hive-1.2.1 hive 3.安装MySQL.具体步骤见<Linux下jdk.Tomcat.MySQL的安装> 4.配置hive (1)配置环境变量vi /etc/profile  添加:export HIVE_HO

一.Hive安装和配置 1.先决条件 已经安装好hadoop-2.4.1,hbase-1.0.0. 2.下载Hive安装包 当前Hive可到apache官网下载,选择的是hive-1.2.1.运行: wget http://www-us.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz          然后将其解压到Hadoop所在的目录:/opt下. 解压:tar -zvxf apache-hive-1.2.1-bin.

前言:该文章是基于 Hadoop2.7.6_01_部署 进行的. 1. Hive基本概念 1.1. 什么是Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能. 1.2. 为什么使用Hive 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 为什么要使用Hive 操作接口采用类SQL语法,提供快速开发的能力. 避免了去写MapReduce,减少开发人员的学习成本

0. 说明 已经安装好Hadoop-1.2.1. 安装好mysql. 1.解压安装包 先把安装包下载.然后解压: tar -zxvf apache-hive-1.1.0-bin.tar.gz 2.配置环境变量 vim /etc/profile 导入下面的环境变量 export HIVE_HOME=hive安装目录 export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf 使刚刚配置的环境变量立即有效 source .bash_profile 3.配置hiv

HIve的元数据存储在mysql中,需要配置与MySQL建立连接,除了安装MySQL外还要安装连接的jar包:mysql-connector-java-5.1.47.tar.gz   安装环境:Centos7.5+Hadoop2.6.1集群   Hive源码包下载 http://mirror.bit.edu.cn/apache/hive/   1. 下载软件包(如果下载失败 可以本地传输) #Master wget http://mirror.bit.edu.cn/apache/hive/hiv

目录 [toc] 安装 升级 安装 nohup hive –service hiveserver & 启动: sudo nohup ./hive --service metastore &-----------Startup Hive Embedded(如果metastore配置成 remote方式 那就应该把metastore也启动) 测试standalone,必须用remote mysql那种设置 1,hive 命令行模式. 直接输入/hive/bin/hive的执行程序 或者输入 h

数据库的创建 Hive1版本 在此之前要安装好JDK,HADOOP,下载解压Hive 在root下安装mysql:yum install mysql-server mysql-client //一般Mysql都 是自带的 在root下创建hadoop用户: 1su到root下 2启动mysql服务:./etc/init.d/mysqld restart 3返回家目录,输入mysql -uroot 4有提示mysql>,然后创建hadoop用户了,输入 grant all on *.* to ha

1.安装hadoop 2.从maven中下载mysql-connector-java-5.1.26-bin.jar(或其他jar版本)放在hive目录下的lib文件夹 3.配置hive环境变量,HIVE_HOME=F:\hadoop\apache-hive-2.1.1-bin 4.hive配置 hive的配置文件放在$HIVE_HOME/conf下,里面有4个默认的配置文件模板 hive-default.xml.template                           默认模板 hi

该文章是基于 Hadoop2.7.6_01_部署 . Hive-1.2.1_01_安装部署 进行的 1. 前言 在一个完整的大数据处理系统中,除了hdfs+mapreduce+hive组成分析系统的核心之外,还需要数据采集.结果数据导出.任务调度等不可或缺的辅助系统,而这些辅助工具在hadoop生态体系中都有便捷的开源框架,如图所示: 1.1. 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具. 导入数据:MySQL,Oracle导入数据到Hadoop的

该文章是基于 Hadoop2.7.6_01_部署 . Hive-1.2.1_01_安装部署 进行的 1. 前言 在一个完整的大数据处理系统中,除了hdfs+mapreduce+hive组成分析系统的核心之外,还需要数据采集.结果数据导出.任务调度等不可或缺的辅助系统,而这些辅助工具在hadoop生态体系中都有便捷的开源框架,如图所示: 2. 工作流调度器azkaban概述 2.1. 为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,m

Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop的相关介绍. Hive Pig和Hive的对比 摘要: Pig Pig是一种编程语言,它简化了Hadoop常见的工作任务.Pig可加载数据.表达转换数据以及存储最终结果.Pig内置的操作使得半结构化数据变得有意义(如日志文件).同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换. Hive Hive在Hadoop中扮演数据仓库的角色.Hiv阅读全文   hive的实现机制 摘要: hive利用hdf

1 2 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.9.1 2.9.2 2.9.2.1 2.9.2.2 2.9.3 2.9.3.1 2.9.3.2 2.9.3.3 2.9.3.4 2.9.3.5 3 4 5 5.1 5.2 5.3 6 7 7.1 7.2 8 8.1 8.2 8.3 8.4 8.5 8.6 8.7 8.8 8.9 8.10 8.11 8.12 8.13 8.14 8.15 8.16 8.16.1 8.17 8.18 8.19 8.19.1 8.19

又重新安装Hive,记录一下吧: hadoop早已经装上了. cdh5的hive下载地址: http://archive.cloudera.com/cdh5/cdh/5/ 下载文件:hive-1.1.0-cdh5.10.0.tar.gz 操作系统版本:CentOS cat /etc/redhat-release CentOS Linux release 7.3.1611 (Core) 安装MariaDB库 略 上传并解压安装文件: -cdh5.10.0.tar 拷贝jdbc包到hive的lib目

一. 相关概念 Hive Metastore有三种配置方式,分别是: Embedded Metastore Database (Derby) 内嵌模式Local Metastore Server 本地元存储Remote Metastore Server 远程元存储1.1 Metadata.Metastore作用 metadata即元数据.元数据包含用Hive创建的database.tabel等的元信息.元数据存储在关系型数据库中.如Derby.MySQL等. Metastore的作用是:客户端连

由于前面安装版本过老,导致学习过程中出现了很多问题,今天安装了一个新一点的版本.安装结束启动时遇到一点问题,记录在这里. 第一步:hive-1.2安装 通过WinSCP将apache-hive-1.2.1-bin.tar.gz上传到/usr/hive/目录下 [root@spark1 hive]# chmod u+x apache-hive-1.2.1-bin.tar.gz #增加执行权限 [root@spark1 hive]# tar -zxvf apache-hive-1.2.1-bin.t

这里,为什么选择用hadoop-2.6.0.tar.gz  +   hive-1.0.0.tar.gz是为了搭配兼容. hadoop-2.6.0.tar.gz  +   hive-1.0.0.tar.gz  +   pig 在$HADOOP_HOME/share/hadoop/yarn/lib下查看是jline-0.9.94.jar 在$HIVE_HOME/lib下查看是jline-0.9.94.jar 继续 http://blog.csdn.net/xygl2009/article/detai

注:图片如果损坏,点击文章链接:https://www.toutiao.com/i6627669615377908231/ Hadoop环境已安装完成<CentOS6.5下安装Hadoop-2.7.3(图解教程)> 安装hive 注意1.x和2.x版本区别较大,此处安装的是1.x的版本 准备安装包 使用hadoop用户 解压文件到/opt/bigdata 修改文件 进入root用户 修改环境变量 添加hive环境变量 export HIVE_HOME=/opt/bigdata/hive exp

个人主页: http://www.linbingdong.com 本文介绍Hive安装配置的整个过程,包括MySQL.Hive及Metastore的安装配置,并分析了Metastore三种配置方式的区别.网上有很多介绍Hive Metastore三种配置方式的文章,但是理解都不对,给读者造成了很多误导.本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分,并经过实践,终于填好各种坑,安装配置成功,遂记录下本文,供大家参考. 1. 相关概念 Hive Metastore

个人主页:http://www.linbingdong.com 简书地址:http://www.jianshu.com/p/a7f75b868568 简介 本文主要记录如何安装配置Hive on Spark,在执行以下步骤之前,请先确保已经安装Hadoop集群,Hive,MySQL,JDK,Scala,具体安装步骤不再赘述. 背景 Hive默认使用MapReduce作为执行引擎,即Hive on mr.实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hi

一.安装模式介绍:     Hive官网上介绍了Hive的3种安装方式,分别对应不同的应用场景.     1.内嵌模式(元数据保村在内嵌的derby种,允许一个会话链接,尝试多个会话链接时会报错)     2.本地模式(本地安装mysql 替代derby存储元数据)     3.远程模式(远程安装mysql 替代derby存储元数据) 二.安装环境以及前提说明:     首先,Hive是依赖于hadoop系统的,因此在运行Hive之前需要保证已经搭建好hadoop集群环境.     本文中使用的