tar zxvf 解压包 配置环境变量 export HIVE_HOME=/usr/local/soft/hiveexport PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin source生效 yum install -y mysql-server service mysqld start (启动mysql 服务) chkconfig mysqld on yum install -y mysq…

0.绪论 之前完全没有接触过大数据相关的东西,都是书上啊,媒体上各种吹嘘啊,我对大数据,集群啊,分布式计算等等概念真是高山仰止,充满了仰望之情,觉得这些东西是这样的: 当我搭建的过程中,发现这些东西是这样的: 对于初学者来说,我认为缺点如下: 1.需要控制,配置的东西太多,并且配置对应并不是很清晰(以后优化集群是否会有很高含金量?) 2.整个集群,我觉的从硬件到软件整体来说还是稳定性有待提高,尤其CDH 集群这块一会这个主机失去联系,一会NameNode挂,一会monitor挂,整个使用过程就是…

转载请注明出处:http://www.cnblogs.com/thinkCoding/p/3567408.html 系统环境 操作系统:CentOS 6.5 Cloudera Manager 版本:4.8.1 CDH版本:4.5.0 各机器准备工作: yum -y groupinstall "Development tools" yum -y install wget  Cloudera-manager压缩包地址:    http://archive.cloudera.com/cm4/…

1 软硬件准备 1.1 准备三个节点 序号 主机名 内存 CPU IP地址 角色 1 cdh1 8G 8核心 192.168.5.78 cloudera-scm-server,mysql 2 cdh2     4G 8核心 192.168.5.79 cloudera-scm-agent 3 cdh2 4G 8核心 192.168.5.80 cloudera-scm-agent 1.2 软件版本信息 OS:RedHat EL 6.5 CDH: 5.6.0 Java:1.7 MySQL:5.6  …

Hive的安装   第一步:解压并安装:第二步:配置 1)root用户下,解压后,改名为hive,并将hive文件夹赋给hadoop用户 tar -zxvf hive-0.9.0.tar.gz -C /opt mv hive-0.9.0.tar.gz hive chown -R hadoop:hadoop hive   第二步:配置 在hadoop用户下 1)配置vi hive-env.sh: hive/conf文件夹下提供了一个模板文件hive-env.sh.template,复制一份并改名为…

以下两种方法都可以,推荐用方法一! 方法一: 步骤一: yum -y install mysql-server 步骤二:service mysqld start 步骤三:mysql -u root -p Enter password: (默认是空密码,按enter) mysql > CREATE USER 'hive'@'%' IDENTIFIED BY 'hive'; mysql > GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT O…

Hive的安装配置 Hive的安装配置 安装前准备 下载Hive版本1.2.1: 1.[root@iZ28gvqe4biZ ~]# wget http://mirror.bit.edu.cn/apache/hive/stable/apache-hive-1.2.1-bin.tar.gz 解压hive: 1.[root@iZ28gvqe4biZ ~]# tar -xvzf apache-hive-1.2.1-bin.tar.gz 复制hive文件到/u01/bigdata/data/hive: 1…

目录 [toc] 安装 升级 安装 nohup hive –service hiveserver & 启动: sudo nohup ./hive --service metastore &-----------Startup Hive Embedded(如果metastore配置成 remote方式 那就应该把metastore也启动) 测试standalone,必须用remote mysql那种设置 1,hive 命令行模式. 直接输入/hive/bin/hive的执行程序 或者输入 h…

1.Hive1.1 在hadoop生态圈中属于数据仓库的角色.他能够管理hadoop中的数据,同时可以查询hadoop中的数据. 本质上讲,hive是一个SQL解析引擎.Hive可以把SQL查询转换为MapReduce中的job来运行.     hive有一套映射工具,可以把SQL转换为MapReduce中的job,可以把SQL中的表.字段转换为HDFS中的文件(夹)以及文件中的列.     这套映射工具称之为metastore,一般存放在derby.mysql中.1.2 hive在hdfs中的…

一.系统环境 os : Ubuntu 16.04 LTS 64bit jdk : 1.8.0_161 hadoop : 2.6.4mysql : 5.7.21 hive : 2.1.0 在配置hive之前,要先配置hadoop. 二.安装步骤 1.hive的安装与配置 1.1 hive的安装 下载hive2.1.0,使用以下命令安装到/usr/local 最后一条 sudo chown -R hadoop hive 中的hadoop是我的用户名,要更改成自己的用户名. 1.2 配置环境变量 添加…

Hive的安装与部署(MySQL作为元数据) (开始之前确保Hadoop环境已经启动,确保Linux下的MySQL已经安装好) 1.     安装Hive (1)下载安装包 可从apache上下载hive安装包:http://mirror.bit.edu.cn/apache/hive/ (2)压缩包解压: (2)移动至指定目录:(这里是移动至/usr/local/下) 2.     为Hive建立相应的MySQL账户,并赋予足够的权限: (1)登录mysql: (2)建立hive用户: (3)赋…

Hive架构图 元数据默认数据库是:Derby.开发使用MySQL Hive如何将SQL语句翻译成MapReduce的? 1.使用SQL解析器解析SQL语句 2.使用编译器进行编译逻辑 3.使用优化器进行优化 4.使用执行器在Hadoop上执行MapReduce Hive是基于Hadoop之上的框架. Hive的安装步骤 1.安装Hive之前,确保Hadoop是正常安装成功的 2.解压Hive安装包 3.修改hive/conf 目录下的 hive-env.sh.template 名称为 hive…

title: Hive的安装及配置 summary: 关键词:Hive ubuntu 安装和配置 Derby MySQL PostgreSQL 数据库连接 date: 2019-5-19 13:25 urlname: 2019051903 author: foochane img: /medias/featureimages/19.jpg categories: 大数据 tags: hive 大数据 本文作者:foochane  本文链接:https://foochane.cn/article/…

03 Hive的安装搭建 Hive可以从源码中编译安装,也可以直接使用官网下载的安装包,在此处我们选择安装包解压安装的方式. Hive中最最重要的角色就是metastore 因此按照metastore的管理共有四种hive的安装搭建方式:官网参考地址如下: https://cwiki.apache.org/confluence/display/Hive/AdminManual+Metastore+Administration Hive安装分类: ​ 1.Local/Embedded Metast…

一.Hive安装 Hive的安装相对比较简单,Hive是基于Hadoop来使用的,所以搭建Hadoop伪分布式或完全分布式即可,Hive安装过程如下: ①安装并启动Hadoop 在博主的其他博客中有安装说明:Hadoop之伪分布式安装 ②获取Hive安装包,并解压 下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/ 解压:tar  -xvf  hive.xxxxx ③启动Hive 进入bin目录:sh  hive 二.Hive的基础指令…

Hive的安装部署以及使用方式 安装部署 Derby版hive直接使用 cd /export/softwares 将上传的hive软件包解压:tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/ cd /export/servers/hive-1.1.0-cdh5.14.0/ 启动:bin/hive 缺点:多个地方安装hive后,每一个hive是拥有一套自己的元数据,大家的库.表就不统一: 使用mysql共享hive元数据 1.国内下载mysq…

1. hive的简介(具体见文档) Hive是分析处理结构化数据的工具   本质:将hive sql转化成MapReduce程序或者spark程序 Hive处理的数据一般存储在HDFS上,其分析数据底层的实现是MapReduce/spark,执行程序运行在Yarn上 其大致可以按如下图理解(具体可见HIVE文档) sql语句是对某个表进行操作,所以hive一定要创建一个表格,这个表格必须要映射到hdfs中某个具体的文件才行,而映射关系.表的结构数据以及hdfs中数据的存储结构都会在创建表时规定,…

1.3 Hive的安装(前提是:mysql和hadoop必须已经成功启动了) 在之前博客中我有记录安装JDK和Hadoop和Mysql的过程,如果还没有安装,请先进行安装配置好,对应的随笔我也提供了百度云下载连接. 安装JDK: https://www.cnblogs.com/wyh-study/p/12014368.html 安装Hadoop https://www.cnblogs.com/wyh-study/p/12043948.html 安装Mysql https://www.cnblog…

下载和解压安装文件 基础环境和安装准备 Hive组件的部署规划和软件包路径如下: (1)当前环境中已安装 Hadoop全分布系统 (2)本地安装 MySQL数据库(账号 root,密码 Password123$),软件包在/opt/software/mysql-5.7.18路径下 (3)MySQL端口号(3306) (4)MySQL的 JDBC驱动包/opt/software/mysql-connector-java-5.1.47.jar,在此基础上更新 Hive元数据存储 (5)Hive软件包…

由于MySQL便于管理,在学习过程中,我选择MySQL. 一,配置元数据库. 1.安装MySQL,采用yum方式. ①yum  install  mysql-server,安装mysql服务端,安装服务端的同时,也会把mysql的客户端安装好. ②数据库字符集设置. mysql配置文件/etc/my.cnf中加入default-character-set=utf8 指令如下: vi /etc/my.cnf 加入default-character-set=utf8 ③启动mysql服务和部分指令…

大家都知道,Apache Hadoop的配置很繁琐,而且很零散,为此Cloudera公司提供了Clouder Manager工具,而且还封装了Apache Hadoop,flume,spark,hive,hbase等大数据产品形成自己特色的CDH产品,再使用CM进行安装,很大程度上方便了集群的搭建,并提供了集群的监控功能. 一.环境: 1.三台VMware虚拟机(一个做为主节点,两个做为从节点) hserver1n(主节点) hserver2n(从节点) hserver3n(从节点) CM Se…

安装mysql,并且创建相关的表(只需要在chd1上面安装而且需要root权限)1.1 查看Centos自带mysql是否已经安装 yum list installed | grep mysql 卸载自带mariadb # rpm -qa | grep mariadb mariadb-libs--.el7_0.x86_64 # rpm -e --nodeps mariadb-libs--.el7_0.x86_64 如果系统的mysql已经安装,卸载 yum -y remove mysql-lib…

一.安装Hive 1.1 下载并解压 下载所需版本的Hive,这里我下载版本为cdh5.15.2.下载地址:http://archive.cloudera.com/cdh5/cdh/5/ # 下载后进行解压 tar -zxvf hive-1.1.0-cdh5.15.2.tar.gz 1.2 配置环境变量 # vim /etc/profile 添加环境变量: export HIVE_HOME=/usr/app/hive-1.1.0-cdh5.15.2 export PATH=$HIVE_HOME/…

一.简介 hive是基于hadoop的一种数据仓库工具,可以将结构化的文件映射成为数据库的一张表,并提供简单sql查询功能,底层实现是转化为MapReduce任务计算. 二.安装 (1)下载 从cdh下载页下载 http://archive.cloudera.com/cdh5/cdh/5/ hive-1.1.0-cdh5.11.1.tar.gz 下载好后上传至服务器的/home/hadoop/software,并解压至/home/hadoop/app目录下 mv hive-1.1.0-cdh5.…

一.安装Hive 1.1 下载并解压 下载所需版本的 Hive,这里我下载版本为 cdh5.15.2.下载地址:http://archive.cloudera.com/cdh5/cdh/5/ # 下载后进行解压 tar -zxvf hive-1.1.0-cdh5.15.2.tar.gz 1.2 配置环境变量 # vim /etc/profile 添加环境变量: export HIVE_HOME=/usr/app/hive-1.1.0-cdh5.15.2 export PATH=$HIVE_HOM…

yum 安装cm 参考官网 主机名 /etc/hosts hostnamectl set-hostname foo-1.data.com hostnamectl set-hostname foo-2.data.com hostnamectl set-hostname foo-2.data.com hostnamectl set-hostname cdh-1.data.com hostnamectl set-hostname cdh-2.data.com cat >> /etc/hosts &l…

LZO好处.可以对hive这种快文件进行压缩,然后做索引达到速度大幅度改进索引 先是按照这个教程(网上很多可以找找看看)  https://blog.csdn.net/Post_Yuan/article/details/54287325 安装完CDH,很多人会发现 跑的时候class no found,这时候只需要把GPLEXTRAS下的lib 拷贝到你的hadoop下就可以了,不用重启集群因为是jar路径,找得到就好了…

hive使用与注意事项:http://blog.csdn.net/stark_summer/article/details/44222089 连接命令:beeline -n root -u jdbc:hive2://10.149.11.215:10000 退格乱码解决:http://www.cnblogs.com/BlueBreeze/p/4232369.html 1,安装好hadoop 2,下载hive http://mirror.bit.edu.cn/apache/hive/hive-2.0…

1.环境准备 1.1软件版本 hive-0.14 下载地址 2.配置 安装hive的前提,必需安装好hadoop环境,可以参考我之前Hadoop社区版搭建,先搭建好hadoop环境:接下来我们开始配置hive 2.1环境变量 sudo vi /etc/profile HIVE_HOME=/home/hadoop/source/hive- PATH=$HIVE_HOME/bin export HIVE_HOME 2.2hive-site.xml <configuration> <prope…

针对Windows 32位和64位的系统对应有多个版本的 Hive ODBC Connector, 在安装的过程中,版本必须完全匹配(即:32位的 connector 只能在32位的系统运行,64位的 connector 只能在 64位系统运行) 参考资料: http://doc.mapr.com/display/MapR/Hive+ODBC+Connector#HiveODBCConnector-HiveODBCConnectoronWindows 目录: 软件包下载 安装配置 连接测试 安装…