1.Hive安装与配置 Hive官网:https://hive.apache.org/ 1. 安装文件下载 从Apache官网下载安装文件 http://mirror.bit.edu.cn/apache/hive/ (apache-hive-2.3.2-bin.tar.gz)  还有我选择mysql作为元数据存储,所以还需下载jdbc驱动包.(mysql-connector-java-5.1.45.tar) 下载地址:https://dev.mysql.com/downloads/connect…

Hive架构图 元数据默认数据库是:Derby.开发使用MySQL Hive如何将SQL语句翻译成MapReduce的? 1.使用SQL解析器解析SQL语句 2.使用编译器进行编译逻辑 3.使用优化器进行优化 4.使用执行器在Hadoop上执行MapReduce Hive是基于Hadoop之上的框架. Hive的安装步骤 1.安装Hive之前,确保Hadoop是正常安装成功的 2.解压Hive安装包 3.修改hive/conf 目录下的 hive-env.sh.template 名称为 hive…

个人主页:http://www.linbingdong.com 简书地址:http://www.jianshu.com/p/a7f75b868568 简介 本文主要记录如何安装配置Hive on Spark,在执行以下步骤之前,请先确保已经安装Hadoop集群,Hive,MySQL,JDK,Scala,具体安装步骤不再赘述. 背景 Hive默认使用MapReduce作为执行引擎,即Hive on mr.实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hi…

一.Hive安装和配置 1.先决条件 已经安装好hadoop-2.4.1,hbase-1.0.0. 2.下载Hive安装包 当前Hive可到apache官网下载,选择的是hive-1.2.1.运行: wget http://www-us.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz          然后将其解压到Hadoop所在的目录:/opt下. 解压:tar -zvxf apache-hive-1.2.1-bin.…

hive1.2.1在hadoop2.6.4集群上的安装 hive只需在一个节点上安装即可,这里再hadoop1上安装 1.上传hive安装包到/usr/local/目录下 2.解压 tar -zxvf /usr/local/hive-1.2.1.tar.gz  重命名 mv hive-1.2.1 hive 3.安装MySQL.具体步骤见<Linux下jdk.Tomcat.MySQL的安装> 4.配置hive (1)配置环境变量vi /etc/profile  添加:export HIVE_HO…

使用hadoop版本是DKH标准三节点发行版,DKHadoop版本的易用性比较好,环境部署要简单的多,参考此篇安装前请先下载DKHadoop版本,网盘链接:https://pan.baidu.com/s/1-427Sh6lTLrLAPh6KMOYVg  提取码:vg2w   第一部分:准备工作 1. 大数据平台所需配置: (1) 系统:CentOS 6.5 64位(需默认安装Desktop) (2) CPU :intel E3及以上. (3) 内存:建议最小8G,用图计算建议32G,推荐128G…

Hive环境的安装部署(完美安装)(集群内或集群外都适用)(含卸载自带mysql安装指定版本) Hive 安装依赖 Hadoop 的集群,它是运行在 Hadoop 的基础上. 所以在安装 Hive 之前,保证 Hadoop 集群能够成功运行. 同时,比如我这里的master.slave1和slave2组成的hadoop集群.hive的安装可以安装在任一一个节点上,当然,也可以安装在集群之外,取名为client.只需要ssh免密码通信即可. 1. 下载Hive 这里很简单,不多赘述. http:/…

    搭建环境 部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放 Hadoop等组件运行包.因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下 创建/app目录,并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app). Hadoop搭建环境: 虚拟机操作系统: CentOS6.6 64位,…

一.MySQL的安装 Hive的数据,是存在HDFS里的.此外,hive有哪些数据库,每个数据库有哪些表,这样的信息称之为hive的元数据信息. 元数据信息不存在HDFS,而是存在关系型数据库里,hive默认用的是derby数据库来存储.即hive工作时,除了要依赖Hadoop,还要依赖关系型数据库. 注意:虽然我们能通过HDFS查看到hive有哪些数据库,有哪些表,以及表里的数据,但是,这不是元数据信息.HDFS最主要的是存储hive的数据信息. 之前遇到的问题:当退出后,切换到不同的目录来进…

SVN服务器端安装 下载: VisualSVN是一款图形化svn服务器.官网 http://www.visualsvn.com/server/ 下载地址: http://www.visualsvn.com/server/download/ 安装: 搭建svn服务器,安装步骤见下图文: 运行VisualSVN-Server-2.7.3.msi程序, 如下图 点击Next, 下一步 选中 I accept选项, 点击Next, 下一步 选择默认配置, 服务和控制台组件方式, 点击Next, 下一步…