前言:       前段时间自己参考网上的文章,梳理了一下基于分布式环境部署的业务系统在解决数据一致性问题上的方案,其中有一个方案是使用ZooKeeper,加之在大数据处理中,ZooKeeper确实起到协调服务的作用,所以利用周末休息时间,自己在虚拟机上简单搭建了一个ZooKeeper集群,学习了解一下. ===============================================================长长的分割线===========================…

摘要: 本文主要介绍搭建Hadoop.HBase.Zookeeper集群环境的搭建 一.基础环境准备 1.下载安装包(均使用当前最新的稳定版本,截止至2017年05月24日) 1)jdk-8u131 下载地址:Java SE Development Kit 8 2)hadoop-2.7.3 下载地址:Index of /apache/hadoop/common/hadoop-2.7.3 3)hbase-1.2.5 下载地址:Index of /apache/hbase/1.2.5 4)zooke…

第一次配置zookeeper的集群 因为想运行storm必须搭建集群在自己的电脑上拷贝了自己的ubuntu虚拟机采用的是vmware给虚拟机分配的地址三个机器的配置基本上一样除了myid这个文件看了这么久的一致,选举什么的也想试试这个过程的感觉 首先下载安装一个ubuntu安装配置好jdk 下载zookeeper然后添加到~/.bashrc里面 source ~/.bashrc 使得文件配置生效 echo $PATH 查看路径中有没有java和zookeeper需要的可执行文件的路径 修改zoo…

搭建zookeeper伪分布式集群 zookeeper是Hadop Ecosystem中非常重要的组件,它的主要功能是为分布式系统提供一致性协调服务, 提供的功能包括配置维护,域名服务,分布式同步和组服务. zookeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效,功能稳定的系统提供给用户. 集群节点的主机名分别是guoyansi128   guoyansi129  guoyansi130 搭建过程: 1.下载zookeeper.tar.gz 2.上传至 /user/l…

SolrCloud是什么 参考 solrCloud官网介绍 http://lucene.apache.org/solr/guide/6_6/solrcloud.html Apache Solr 可以设置solr集群,并且有容错性和高可用性能力,这被称为SolrCloud,它的功能是提供分布式索引和搜索,支持以下功能: 集中式的中央配置 自动负载平衡和故障切换 ZooKeeper集成,用于集群协调和配置. SolrCloud是灵活的分布式搜索和索引,没有主节点分配节点,分片和副本.相反,Solr使…

一.下载并安装Centos 7 传送门:https://www.centos.org/download/    注:下载DVD ISO镜像 这里详解一下VMware安装中的两个过程 网卡配置 是Additional search domains:8.8.4.4也是谷歌提供的免费DNS服务器Ip地址 二.SecureCRT远程操控 ping www.baidu.com 发现slave1,2不通,而master可以ping通,查看master配置,发现两个从机少了一些配置. 安装vim:yum in…

一.集群规划 这里搭建一个 3 节点的 Spark 集群,其中三台主机上均部署 Worker 服务.同时为了保证高可用,除了在 hadoop001 上部署主 Master 服务外,还在 hadoop002 和 hadoop003 上分别部署备用的 Master 服务,Master 服务由 Zookeeper 集群进行协调管理,如果主 Master 不可用,则备用 Master 会成为新的主 Master. 二.前置条件 搭建 Spark 集群前,需要保证 JDK 环境.Zookeeper 集群和…

前言:       上周末自己学习了一下Kafka,参考网上的文章,学习过程中还是比较顺利的,遇到的一些问题最终也都解决了,现在将学习的过程记录与此,供以后自己查阅,如果能帮助到其他人,自然是更好的. ===============================================================长长的分割线==================================================================== 正文: 关于Kafka…

Hadoop HA 原理概述 为什么会有 hadoop HA 机制呢? HA:High Available,高可用 在Hadoop 2.0之前,在HDFS 集群中NameNode 存在单点故障 (SPOF:A Single Point of Failure). 对于只有一个 NameNode 的集群,如果 NameNode 机器出现故障(比如宕机或是软件.硬件 升级),那么整个集群将无法使用,直到 NameNode 重新启动 那如何解决呢? HDFS 的 HA 功能通过配置 Active/Sta…

通过 VMware ,我们安装了三台虚拟机,用来搭建 zookeeper 集群,虚拟机网络地址如下: hostname                      ipaddress                subnet mask                          geteway 1. master 192.168.146.200 255.255.255.0 192.168.146.2 2. slave1 192.168.146.201 255.255.255.0 192.1…