HBase完全分布式集群搭建

  hbase和hadoop一样也分为单机版,伪分布式版和完全分布式集群版,此文介绍如何搭建完全分布式集群环境搭建。hbase依赖于hadoop环境,搭建habase之前首先需要搭建好hadoop的完全集群环境。本文中采用独立的zookeeper,不使用hbase自带的zookeeper。

.环境准备

*HBase软件包hbase-1.2.0-cdh5.12.0.tar.gz

*完成hadoop集群环境搭建

.安装HBase

1.首先在hdp-node-01安装配置好之后,再复制分发到其他从节点

#解压

$ tar -xzvf hbase-1.2.0-cdh5.12.0.tar.gz -C /opt/modules/cdh5.12.0

2.配置环境变量vim /etc/profile

#HBASE_HOME

export HBASE_HOME=/opt/modules/cdh5.12.0/hbase-1.2.0-cdh5.12.0

export PATH=$HBASE_HOME/bin:$PATH

.配置文件

  hbase 相关的配置主要包括hbase-env.sh、hbase-site.xml、regionservers三个文件,都在$HBASE_HOME/conf目录下面,同时拷贝hadoop的配置文件core-site.xml,hdfs-site.xml到该目录下,因为hadoop使用了HA集群模式,hbase访问hdfs时需要知道访问地址。

1.配置hbase-env.sh

export JAVA_HOME=/opt/modules/jdk1.7.0_71

#关联hadoop
export HBASE_CLASSPATH=/opt/modules/cdh5.12.0/hadoop-2.6.0-cdh5.12.0/conf
export HBASE_HOME=/opt/modules/cdh5.12.0/hbase-1.2.0-cdh5.12.0
export HADOOP_HOME=/opt/modules/cdh5.12.0/hadoop-2.6.0-cdh5.12.0

#Hbase日志目录,需创建
export HBASE_LOG_DIR=/opt/modules/cdh5.12.0/hbase-1.2.0-cdh5.12.0/logs

#使用单独的zookeeper,禁用hbase自带的zookeeper
export HBASE_MANAGES_ZK=false

2.配置 hbase-site.xml

<configuration>
  <!—hbase RegionServer共享目录,设置在hdfs上-->
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://ns1/user/root/hbase</value>
  </property>
  <!—开启分布式集群模式-->
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <!—hbase主节点-->
  <property>
    <name>hbase.master</name>
    <value>hdp-node-01</value>
  </property>
  <!-- zookeeper集群URL配置-->
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>hdp-node-01,hdp-node-02,hdp-node-03,hdp-node-04,hdp-node-05</value>
  </property>
  <!--本地文件系统tmp目录-->
  <property>
    <name>hbase.tmp.dir</name>
    <value>/opt/modules/cdh5.12.0/hbase-1.2.0-cdh5.12.0/tmp</value>
  </property>
  <!--hbase web port-->
  <property>
    <name>hbase.master.info.port</name>
    <value>60010</value>
  </property>
  <!--使用独立的zookeeper data snapshot存放目录-->
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/opt/modules/cdh5.12.0/zookeeper-3.4.5-cdh5.12.0/data</value>
  </property>
  <!—zookeeper port-->
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>
</configuration>

3.修改regionservers

vim /opt/modules/cdh5.12.0/hbase-1.2.0-cdh5.12.0/conf/regionservers

hdp-node-02

hdp-node-03

hdp-node-04

hdp-node-05

4.复制分发hbase到其他4个从节点中

$ scp -r hbase-1.2.0-cdh5.12.0/ root@hdp-node-02:/opt/modules/cdh5.12.0/

四.启动HBase

由于是集群在master节点hdp-node-01上启动hbase即可

$ bin/start-hbase.sh

五.访问HBase Web页面

http://hdp-node-01:60010

HBase完全分布式集群搭建的更多相关文章

  1. hbase完整分布式集群搭建

    简介: hadoop的单机,伪分布式,分布式安装 hadoop2.8 集群 1 (伪分布式搭建 hadoop2.8 ha 集群搭建 hbase完整分布式集群搭建 hadoop完整集群遇到问题汇总 Hb ...

  2. HBase HA分布式集群搭建

    HBase HA分布式集群搭建部署———集群架构 搭建之前建议先学习好HBase基本构架原理:https://www.cnblogs.com/lyywj170403/p/9203012.html 集群 ...

  3. 阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper)

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  4. 阿里云ECS服务器部署HADOOP集群(三):ZooKeeper 完全分布式集群搭建

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  5. 基于HBase0.98.13搭建HBase HA分布式集群

    在hadoop2.6.0分布式集群上搭建hbase ha分布式集群.搭建hadoop2.6.0分布式集群,请参考“基于hadoop2.6.0搭建5个节点的分布式集群”.下面我们开始啦 1.规划 1.主 ...

  6. hbase分布式集群搭建

    hbase和hadoop一样也分为单机版.伪分布式版和完全分布式集群版本,这篇文件介绍如何搭建完全分布式集群环境搭建. hbase依赖于hadoop环境,搭建habase之前首先需要搭建好hadoop ...

  7. HBase篇--搭建HBase完全分布式集群

    一.前述. 完全分布式基于hadoop集群和Zookeeper集群.所以在搭建之前保证hadoop集群和Zookeeper集群可用.可参考本人博客地址 https://www.cnblogs.com/ ...

  8. 分布式实时日志系统(四) 环境搭建之centos 6.4下hbase 1.0.1 分布式集群搭建

    一.hbase简介 HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为 Java.它是Apache软件基金会的Hadoop项目的一部分,运行 ...

  9. 1、搭建HBase完全分布式集群

    搭建完全分布式集群 HBase集群建立在hadoop集群基础之上,所以在搭建HBase集群之前需要把Hadoop集群搭建起来,并且要考虑二者的兼容性.现在就以5台机器为例,搭建一个简单的集群. 软件版 ...

随机推荐

  1. 如何在 main() 执行之前先运行其它函数

    摘要:我们知道 C++ 的全局对象的构造函数会在 main 函数之前先运行,其实在 c 语言里面很早就有啦,在 gcc 中可以使用 __attribute__ 关键字指定如下(在编译器编译的时候就绝决 ...

  2. Mysql 环境部署

    1.Window 1.1 下载软件: https://dev.mysql.com/downloads/mysql/ 依次点击上图 红色框中按钮 1.2 安装软件 1.2.1 解压软件 正常解压即可  ...

  3. C/S 和 B/S架构

    C/S 和 B/S架构 一.单机架构 应用领域: 植物大战僵尸 office 二.C/S架构 [ 应用领域: QQ 大型网络游戏 计算机发展初期用户去取数据,直接就去主机拿,从这里开始就分出了客户端和 ...

  4. 给select赋值之后,再点击选择下拉值时,显示一值不变的解决

    在一个项目需求中,请求数据,得到的数据dataAll渲染到页面的select下拉表单中,当时是需要一进页面就要默认选中第一个选项,所以直接将dataAll的第一个索引值赋值给了表单的绑定值formVa ...

  5. iOS 一个新方法:- (void)makeObjectsPerformSelector:(SEL)aSelector;

    NSArray 里面的一个方法, - (void)makeObjectsPerformSelector:(SEL)aSelector: 这是一个类似于执行for循环的方法,可以这样用,当需要删除一个v ...

  6. linux 下删除乱码的文件夹

    [keke.zhaokk@gw2.mpi2.cm10 /home/keke.zhaokk] $ls -i 85082119 dataMining 85082939 ????֦???-???idޢ??? ...

  7. jupyter notebook的扩展插件

    具体安装使用,请参考 https://github.com/ipython-contrib/IPython-notebook-extensions

  8. Java字符串替换函数replace、replaceFirst、replaceAll

    一.replace(String old,String new) 功能:将字符串中的所有old子字符串替换成new字符串 示例 String s="Hollow world!"; ...

  9. 解决ubuntu16.04启动时长时间陷入紫屏

    今天我的ubuntu系统进不去,一启动就陷入紫屏的死循环中,重装了两遍系统还是一样进不去,后来上网查找了各种解决办法,网上都说是显卡的问题,我也不懂什么意思.试了几种方法,终于解决了这个问题,在这里记 ...

  10. Linux Centos下MySQL主从Replication同步配置(一主一从)

    MySQL 主从复制概念MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点.MySQL 默认采用异步复制方式,这样从节点不用一直访问主服务器来更新自己的数据,数据 ...