一.前述 Hive中搭建分为三中方式 a)内嵌Derby方式 b)Local方式 c)Remote方式 三种方式归根到底就是元数据的存储位置不一样. 二.具体实现 a)内嵌Derby方式 使用derby存储方式时,运行hive会在当前目录生成一个derby文件和一个metastore_db目录.这种存储方式的弊端是在同一个目录下同时只能有一个hive客户端能使用数据库. b)本地模式 这种存储方式需要在本地运行一个mysql服务器,并作如下配置(下面两种使用mysql的方式,需要将mysql的j…

一.前述 有了上次hadoop集群的搭建,搭建yarn就简单多了.废话不多说,直接来 二.规划 三.配置如下 yarn-site.xml配置 <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>//定义yarn的机制    </property><property>   <…

一.前述 有了上次hadoop集群的搭建,搭建yarn就简单多了.废话不多说,直接来 二.规划 三.配置如下 yarn-site.xml配置 <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>//定义yarn的机制    </property><property>   <…

前一篇搭建RabbitMQ集群(通用)只是把笔记直接移动过来了,因为我的机器硬盘已经满了,实在是开不了那么虚拟机. 还好,我的Linux中安装了Docker,这篇文章就简单介绍一下Docker中搭建RabbitMQ集群吧.当然,理念还是通用的,包括命令啥的.只是操作方式有所不同而已. 我将在今后的Docker系列文章中介绍Docker的仓库.镜像.容器等,这里不做过多的介绍. 我的Docker已经安装3.7.8-management镜像 *带management后缀的镜像版本,支持网页控制台.…

好了,本篇开始部署kafka集群 Zookeeper集群搭建 注:Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群(也可以用kafka自带的ZK,但不推荐) 1.软件环境 (3台服务器) 10.0.20.131 10.0.20.132 10.0.20.133 1.Linux服务器一台.三台.五台.(2*n+1),Zookeeper集群的工作是超过半数才能对外提供服务,3台中超过两台超过半数,允许1台挂掉 ,是否可以用偶数,其实没必要. 如果有四台那么挂掉一台还…

使用Cloudera Manager搭建zookeeper集群及HDFS HA实战篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.使用Cloudera Manager搭建zookeeper集群  1>.通过CM界面点击添加服务 2>.进入服务安装向导,选择需要安装的zookeeper服务 3>.进入zookeeper安装界面 4>.为zookeeper服务分配节点 5>.自定义zookeeper节点后,点击继续 6>.配置zookeeper的数…

Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计,分析出当前的流行趋势 有些数据,存储数据库浪费,直接存储硬盘效率又低 这些场景都有一个共同点: 数据是由上游模块产生,上游模块,使用上游模块的数据计算.统计.分析,这个时候就可以使用消息系统,尤其是分布式消息系统! 2.Kafka的定义 What is Kafka:它是一个分布…

本文主要内容是使用Windows Azure的VIRTUAL MACHINES和NETWORKS服务安装CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群. 项目中在私有云中使用CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群进行大数据计算.作为微软的忠实粉丝,将CDH部署到Windows Azure的虚拟机中是我的必然选择.由于CDH中包含多个开源服…

搭建spark集群 spark1.6和hadoop2.61.准备hadoop环境:2.准备下载包:3.解压安装包:tar -xf spark-1.6.0-bin-hadoop2.6.tgz4.修改配置文件目录:/apps/app/spark1.6-hadoop2.6/confa.修改spark-env.sh:cp spark-env.sh.template spark-env.shvim spark-env.sh添加:export JAVA_HOME=/apps/app/dk/jdk1.7.0_…

安装包准备 操作系统:ubuntu-16.04.3-desktop-amd64.iso 软件包:VirtualBox 安装包:hadoop-3.0.0.tar.gz,jdk-8u161-linux-x64.tar.gz 1. 环境准备 使用VirtualBox和下载的ubuntu镜像文件新建三个Ubuntu操作环境,具体配置如下: 用户 内存(G) 磁盘空间(G) hadoop01 1.5 10 hadoop02 1.5 10 hadoop03 1.5 10 2. 网络环境准备        点…