本文介绍brew install hive并修改默认的metastore存储方案,改Derby数据库为mysql的方法以及可能遇到的问题的解决方案. 1. 通过homebrew安装hive 1 brew install hive 2. 添加hadoop和hive的环境变量 1 2 3 4 5 6 sudo vim ~/.bash_profile   export HADOOP_HOME=/usr/local/Cellar/hadoop/hadoop.version.no export HIVE_…

一.Hive将元数据存储在RDBMS中,有三种模式可以连接到数据: 1.single User Mode:此模式连接到一个In-memory的数据库Derby,一般用于Unit Test. 2.Multi User Mode:通过网络连接到一个数据库中,是最经常使用到的模式. 3.Remote Server Mode:用于非Java客户端访问元数据库,在服务器端启动一个MetaStoreServer,客户端利用Thrift协议通过MetaStoreServer访问元数据库. 二.暂略 三.暂略…

Prerequisite: Hadoop cluster is avalable; Mysql installed on namenode; Step1: download the latest hive tar packages and extract . Download:http://apache.dataguru.cn/hive/hive-0.12.0/ .tar.gz Step2: set the environment for hive. # su to root add hive…

本文介绍在Mac上搭建Hive环境. 建议首先配置好Hadoop,搭建与配置可以参考我之前的博文Mac Hadoop的安装与配置. 当然你也可以选择使用Docker搭建环境,本文不作介绍. 安装 对于MacOs,推荐使用HomeBrew安装hive,一步到位. $ brew install hive 创建元数据库 Hive默认用derby作为元数据库.这里我们用mysql来存储元数据,下面作一些初始化 mysql> create database metastore; mysql> creat…

Sometimes we need a standalone envrionment to test Hadoop and Spark, mapr is a choice to do that in our development machine. Before that, it's better to download the virtual box or vmware player as the host of mapr control system. Below give you the…

l   安装hive,hive-metastore hive-server $ sudo yum install hive hive-metastore hive-server l   安装mysql-server $ sudo yum install mysql-server l   启动mysql守护进程 $ sudo service mysqld start l   下载mysql java驱动并复制到hive的lib中 $ cd ~ $ wget 'http://cdn.mysql.co…

------------------HBASE---------- [root@iClient~]#sudo yum install hbase #iClient安装Hbase客户端 [root@cMaster-]#sudo yum install hbase-master #cMaster 安装主服务HMaster [root@cSlave0~]#sudo yum install hbase-regionserver #eSlave0安装从服务 [root@cSlavel~]#sudo yum…

yum list avaliable hadoop\* yum list installed yum repolist repo is in /etc/yum.repos.d yum install hadoop-client yum install hive-jdbc  #beeline yum install hive  # or hive.noarch? yum install sqoop https://community.cloudera.com/t5/Support-Question…

公司之前老的hadoop集群namenode有单点风险,最近学习此链接http://www.binospace.com/index.php /hdfs-ha-quorum-journal-manager/ 牛人上的hadoop高可用部署,受益非浅,自己搞了一个和自己集群比较匹配的部署逻辑图,供要用hadoop的兄弟们使用, 部署过程,有时间整理完了,给兄弟们奉上,供大家参考少走变路,哈哈! 一,安装准备 操作系统 centos6.2 7台虚拟机 192.168.10.138 yum-test.h…

使用yum安装CDH Hadoop集群 2013.04.06 Update: 2014.07.21 添加 lzo 的安装 2014.05.20 修改cdh4为cdh5进行安装. 2014.10.22 添加安装 cdh5.2 注意事项. 1.cdh5.2 发布了,其中 YARN 的一些配置参数做了修改,需要特别注意. 2.Hive 的元数据如果使用 PostgreSql9.X,需要设置 standard_conforming_strings 为 off 环境 CentOS 6.4 x86_64 C…