一.搭建hadoop环境 <OD大数据实战>hadoop伪分布式环境搭建 二.Hive环境搭建 1. 准备安装文件 下载地址: http://archive.cloudera.com/cdh5/cdh/5/ hive-0.13.1-cdh5.3.6.tar.gz 2. 解压 -cdh5.3.6.tar.gz -C /opt/modules/cdh/ 3. 修改配置 cd /opt/modules/cdh/hive--cdh5.3.6/conf mv hive-env.sh.template h…

<Programming Hive>读书笔记(一)Hadoop和Hive环境搭建             先把主要的技术和工具学好,才干更高效地思考和工作.   Chapter 1.Introduction 简单介绍 Chapter 2.Getting Started 环境配置 Hadoop版本号会更新,以官方安装教程为准 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.…

引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用介绍.本文主要讲解如何搭建Hadoop+Hive的环境. 一.环境准备 1,服务器选择 本地虚拟机 操作系统:linux CentOS 7 Cpu:2核 内存:2G 硬盘:40G 说明:因为使用阿里云服务器每次都要重新配置,而且还要考虑网络传输问题,于是自己在本地便搭建了一个虚拟机,方便文件的传输以…

hive 环境搭建需要hadoop的环境.hadoop环境的搭建不在这里赘述.参考:http://www.cnblogs.com/parkin/p/6952370.html 1.准备阶段 hive 官网下载 : http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/ 2.解压缩 tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /home/q/ 3.hive 配置 hive-env.sh 配置 cp hive-env.s…

Hive产生背景 1)MapReduce的编程不便,需通过Java语言等编写程序 2) HDFS上的文缺失Schema(在数据库中的表名列名等),方便开发者通过SQL的方式处理结构化的数据,而不需要Java等编写程序 Hive是什么 1)facebook开源,最初为解决海量的结构化日志数据统计问题 2)构建中Hadoop上的数据仓库 3)Hive定义了一种SQL查询语言:HQL(类似SQl但又不完全相同) 4)通常进行离线处理(采用MapReduce) 5)多种不同的底层执行引擎(Hive on…

本文介绍在Mac上搭建Hive环境. 建议首先配置好Hadoop,搭建与配置可以参考我之前的博文Mac Hadoop的安装与配置. 当然你也可以选择使用Docker搭建环境,本文不作介绍. 安装 对于MacOs,推荐使用HomeBrew安装hive,一步到位. $ brew install hive 创建元数据库 Hive默认用derby作为元数据库.这里我们用mysql来存储元数据,下面作一些初始化 mysql> create database metastore; mysql> creat…

Hive环境的安装部署(完美安装)(集群内或集群外都适用)(含卸载自带mysql安装指定版本) Hive 安装依赖 Hadoop 的集群,它是运行在 Hadoop 的基础上. 所以在安装 Hive 之前,保证 Hadoop 集群能够成功运行. 同时,比如我这里的master.slave1和slave2组成的hadoop集群.hive的安装可以安装在任一一个节点上,当然,也可以安装在集群之外,取名为client.只需要ssh免密码通信即可. 1. 下载Hive 这里很简单,不多赘述. http:/…

Hadoop生态圈-Hive快速入门篇之Hive环境搭建 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.数据仓库(理论性知识大多摘自百度百科) 1>.什么是数据仓库 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH.数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合.它是单个数据存储,出于分析性报告和决策支持目的而创建. 为需要业务智能的企业,提供指导业务流程改进.监视时间.成本.质量以及控制. 2>.数据仓库的特点 第一:数…

在配置Hive环境之前,需要Hadoop环境. 安装Hive 点击下载 下载结束后,会有一个.tar文件,使用以下命令解压该文件. tar -zxvf 要解压的tar包 解压完成后如下 修改Hive配置文件 在hive安装目录下的conf中,将所有后缀为.template的文件复制一遍,新文件名称只需要去掉.template即可,如下 cp hive-default.xml.template hive-default.xml 编辑hive-site.xml文件 vim hive-site.xml…

Hive在客户端上的安装部署 一.客户端准备: 到这我相信大家都已经打过三节点集群了,如果是的话则可以跳过一,直接进入二.如果不是则按流程来一遍! 1.克隆虚拟机,见我的博客:虚拟机克隆及网络配置 2. 实现客户端和集群的连接(该步骤为多节点集群搭建,详情见我博客:三节点Hadoop集群搭建,有多节点集群的请跳到二) (1)配置时钟同步:保证客户端和集群的时间是同步的,具体操作参照分布式集群搭建的步骤. (2)修改主机名:修改/etc/sysconfig/network文件,修改完之后要rebo…

一.搭建准备环境 在搭建Hive和SparkSql进行整合之前,首先需要搭建完成HDFS和Spark相关环境 这里使用Hive和Spark进行整合的目的主要是: 1.使用Hive对SparkSql中产生的表或者库的元数据进行管理(因为SparkSql没有提供相关的功能,官方提供的是和Hive的整合方案,官方之所以不在独立去开发一个元数据管理模块是为了防止重复造轮子),所以直接复用了Hive的元数据管理这一套内容 2.单独使用Hive的话速度太慢,所以在前期就打算切换到Spark作为计算引擎,然后…

记录一下使用docker快速搭建部署hive环境 目录 写在前面 步骤 安装docker 安装docker 安装docker-compose 配置docker国内镜像源(可选) 安装git & 配置github 部署Hive docker-hive 开始部署 使用Hive命令行 收尾工作 安装vi.lrzsz 关闭相关命令 END 参考链接 写在前面 想练练Hive SQL,但是没有hive shell环境.现在只有一台空的CentOS 7机子,一想要弄jdk.hadoop.mysql.hive…

本文源码:GitHub || GitEE 一.Hive基础简介 1.基础描述 Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取.转化.加载,是一个可以对Hadoop中的大规模存储的数据进行查询和分析存储的组件,Hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行,使用成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门的MapReduce应用程序.…

Hive--环境搭建 相关hadoop和mysql环境已经搭建好.我博客中也有相关搭建的博客. 一.下载Hive并解压到指定目录(本次使用版本hive-1.1.0-cdh5.7.0,下载地址:http://archive.cloudera.com/cdh5/cdh/5/) tar zxvf ./hive-1.1.0-cdh5.7.0.tar.gz -C ~/app/ 二.Hive配置:参考官网:https://cwiki.apache.org/confluence/display/Hive/Ge…

Linux 下搭建 Hive 环境 作者:Grey 原文地址: 博客园:Linux 下搭建 Hive 环境 CSDN:Linux 下搭建 Hive 环境 前置工作 首先,需要先完成 Linux 下搭建 Kafka 环境 Linux 下搭建 Hadoop 环境 Linux 下搭建 HBase 环境 本文基于上述三个环境已经搭建完成的基础上进行 Hive 的搭建工作. Hive 版本:2.2.0 如果使用的软件版本不一致,请以官方搭建文档为准. 此外,需要准备一个 MySQL 服务器,我这里准备的…

一.环境介绍: elasticsearch:2.3.1 hive:0.12 二.环境搭建 2.1 首先获取elasticsearc-hadoop的jar包 链接地址:http://jcenter.bintray.com/org/elasticsearch/elasticsearch-hadoop/2.3.1/elasticsearch-hadoop-2.3.1.jar,下载即可.需要说明的是你的elasticsearch什么版本,那么elasticsearch-hadoop的jar包就什么版本,…

hive 默认用的是derby数据库存储源数据,在这改为 mysql来存储: 1.hive和关系数据库的对照关系 hive 所要查询的数据保存在HDFS中: hive 中的数据库和表对应HDFS中的文件夹: hive 中的表中的数据对应HDFS中的文件中的数据: hive 中的表的字段对应于HDFS中数据的字段: 2.hive的环境搭建 2.1.修改hive-default.xml文件 复制hive-default.xml为hive-site.xml 删除hive-site.xml的所有默认配置…

Hive是什么? 基于Hadoop的数据查询工具,可以使用类SQL进行数据查询. Hadoop安装 参考了Hadoop安装 注意到etc/hadoop/hadoop-env.sh里设置JAVA_HOME,不然运行./start_dfs.sh会报没设置JAVA_HOME 运行程序时,输出目录不能存在 配置文件 hdfs的输出目录需要保证空间充足,我在虚拟机里玩,分配的磁盘空间太小,另外加了空间并挂载,重新设置了输出目录. Hive安装 参考了安装hive MetaStore用了MySQL,结果安装…

hive是什么:hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能(HQL) hive有什么用 1.通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析 2.可以用来进行数据提取转化加载(ETL) 3.可以存储.查询和分析存储在 Hadoop 中的大规模数据的机制 4.允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的…

杨赟快跑 简书作者 2018-09-24 10:24 打开App 摘要:大数据门槛较高,仅仅环境的搭建可能就要耗费我们大量的精力,本文总结了作者是如何搭建大数据环境的(单机版和集群版),希望能帮助学弟学妹们更快地走上大数据学习之路. 0. 准备安装包 本文所需的系统镜像.大数据软件安装包.开发环境软件安装包等都可以在我的百度云盘中下载.链接:系统镜像和各种大数据软件密码:n2cn 1. Windows下安装Ubuntu双系统 Hadoop等大数据开源框架是不支持Windows系统的,所以需要先安…

Hive默认元数据信息存储在Derby里,Derby内置的关系型数据库.单Session的(只支持单客户端连接,两个客户端连接过去会报错): Hive支持将元数据存储在关系型数据库中,比如:Mysql/Oracle: 本案例采用的是将hive的元数据存储在MySQL中,故需要先安装MySQL数据库,使用的是CentOS6.4版本. MySQL安装 采用yum安装方式安装: yum install mysql #安装mysql客户端 yum install mysql-server #安装mysq…

一.准备软件 二.安装虚拟机 1.新建虚拟机向导 2.安装客户机操作系统 3.用户名密码设置 4.设置虚拟机名称和保存位置 5.处理器设置 6.设置虚拟机内存 7.然后一直next下去(有的根据自己的意识改一下有些命名,其他的按照推荐) 三.安装 Hadoop 1.先将下载好的软件放入Ubuntu的home/Downloads目录下 2.解压jdk 3.将 解压后的jdk1.7.0_79移动到/opt/java(注意在opt路径下创建java路径:mkdir java)路径下 注:有的用户不是r…

说明: (Hbase依赖于Hadoop,同时需要把元数据存放在mysql中),mysql自行安装 Hadoop2.0安装参考我的博客: https://www.cnblogs.com/654wangzai321/p/8603498.html 源码包下载: http://archive.apache.org/dist/hive/hive-2.3.2/ 集群环境: master 192.168.1.99 slave1 192.168.1.100 slave2 192.168.1.101 下载安装包:…

1.先在主节点上安装阿里云配置(看别的文档) 2.把需要的两个jar包加入进来(放到hadoop用户目录下面即可即/home/hadoop/) mysql-connector-java-5.1.47.tar.gz apache-hive-2.3.4-bin.tar.gz 3.解压压缩包(在hadoop用户主节点下运行) 下载地址 然后下载hive文件 http://mirror.bit.edu.cn/apache/hive/hive-2.3.4/ 或者这个  http://archive.apa…

一. 官网:http://hive.apache.org/ 下载:http://archive.apache.org/dist/hive/ GitHub:https://github.com/apache/hive 二.伪分布式部署 前提是hadoop环境已经部署好了:我用的之前的hadoop伪分布式环境: 1.准备安装包.解压 [root@hadoop-senior softwares]# tar zxf apache-hive-0.13.1-bin.tar.gz -C /opt/module…

上次我们在ubantu上安装了hadoop,那我们现在再进一步,开始我们的学习之旅--hive板块吧! 第一步:准备! 软件: I.一个搭建好的hadoop环境 II.hive的bin文件(前往apache官网,参考链接:http://www.apache.org/dyn/closer.cgi/hive/): III.MySQL(在ubantu上通过apt-get命令下载, 命令顺序:apt-get update  >>  apt-get install -y mysql-server) IV…

一.环境搭建 注意:hive版本不能太高,否则会出现兼容性问题 1.1.上传hive安装包 创建文件夹用于存放hive文件命令:mkdir hive 1.2.解压hive安装包 命令:tar -zxvf hive-0.9.0-bin.tar.gz -C /home/bi/hive 1.3.修改环境变量 命令:vi /etc/profile修改内容:export HIVE_HOME=/home/bi/hive/hive-0.9.0-binexport PATH=${JAVA_HOME}/bin:$…

 前提条件:已经安装好如下软件 Eclipse4.5 hadoop-2.7.3 jdk1.7.0_79 此篇文章基于上一篇文章:zookeeper高可用集群搭建 什么是Hive? 1.Hive是一个基于Hadoop文件系统之上的数据仓库结构.它为数据仓库的管理提供了许多功能:数据ETL(抽取.转换和加载)工具.数据存储管理和大型数据集的查询和分析能力. 2.同时Hive定义了类SQL的语句:它能够将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能.还允许开发人员方便的使用Mappe…

1.配置 hive1.2.0(前提要配置hadoop2.7.2,前面文档有介绍) #官网下载二进制包,解压到/usr/app 下,配置/etc/profile: export HIVE_HOME=/usr/app/hive export PATH=$PATH:$HIVE_HOME/bin #配置 hive/conf #hive-env.sh加入 export HADOOP_HEAPSIZE=1024 export HADOOP_HOME=/usr/app/hadoop export HIVE_C…

一.Hive介绍 Hive包含用户接口.元数据库.解析器和数据仓库等组件组成,其中用户接口包含shell客户端.JDBC.ODBC.Web接口等.元数据库主要是指定义在hive中的表结构信息,一般保存到关系型数据库中,默认是derby,一般使用mysql进行保存.解析器主要功能是将HQL语句转换为mapreduce代码.数据仓库就是由hdfs组成的数据存储容器.(1)Hive组成 Hive包含用户接口.元数据库.解析器和数据仓库等组件组成,其中用户接口包含shell客户端.JDBC.ODBC.W…