hbase伪分布式平台搭建(centos 6.3)
搭建完《hadoop伪分布式平台》后就开始搭建hbase伪分布式平台了。有了hadoop环境,搭建hbase就变得很容易了。
一、Hbase安装
1、从官网下载最新版本Hbase安装包1.2.3,为了省去编译安装环节,我直接下载了hbase-1.2.3-bin.tar.gz,解压即可使用。(如果此链接下载速度过慢可更换官网其他下载链接)
- [hadoop@master tar]$ tar -xzf hbase-1.2.-bin.tar.gz
- [hadoop@master tar]$ mv hbase-1.2. /usr/local/hadoop/hbase
- [hadoop@master tar]$ cd /usr/local/hadoop/hbase/
- [hadoop@master hbase]$ ./bin/hbase version
- HBase 1.2.
- Source code repository git://kalashnikov.att.net/Users/stack/checkouts/hbase.git.commit revision=bd63744624a26dc3350137b564fe746df7a721a4
- Compiled by stack on Mon Aug :: PDT
- From source with checksum 0ca49367ef6c3a680888bbc4f1485d18
运行上面命令得到正常输出即表示安装成功,然后配置环境变量
2、配置环境变量
修改~/.bashrc在PATH后面增加
- :$HADOOP_HOME/hbase/bin
则~/.bashrc文件内容如下
- export HADOOP_HOME=/usr/local/hadoop
- export HADOOP_INSTALL=$HADOOP_HOME
- export HADOOP_MAPRED_HOME=$HADOOP_HOME
- export HADOOP_COMMON_HOME=$HADOOP_HOME
- export HADOOP_HDFS_HOME=$HADOOP_HOME
- export YARN_HOME=$HADOOP_HOME
- export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
- export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HADOOP_HOME/hbase/bin
- export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
- [hadoop@master hadoop]$ source ~/.bashrc
二、Hbase单机模式
1、修改配置文件 hbase/conf/hbase-env.sh
- # export JAVA_HOME=/usr/java/jdk1.6.0/ 修改为
- export JAVA_HOME=/usr/local/java/
- #export HBASE_MANAGES_ZK=true 修改为
- export HBASE_MANAGES_ZK=true
- # 添加下面一行
- export HBASE_SSH_OPTS="-p 322"
2、修改配置文件 hbase/conf/hbase-site.xml
- <configuration>
- <property>
- <name>hbase.rootdir</name>
- <value>file:/usr/local/hadoop/tmp/hbase/hbase-tmp</value>
- </property>
- </configuration>
3、启动 Hbase
- [hadoop@master hbase]$ start-hbase.sh
- starting master, logging to /usr/local/hadoop/hbase/bin/../logs/hbase-hadoop-master-master.out
- Java HotSpot(TM) -Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
- Java HotSpot(TM) -Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
jps下多了一个HMaster进程
- [hadoop@master hbase]$ jps
- ResourceManager
- NameNode
- Jps
- SecondaryNameNode
- NodeManager
- DataNode
- HMaster
4、使用Hbase shell
- [hadoop@master hbase]$ hbase shell
- -- ::, WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
- SLF4J: Class path contains multiple SLF4J bindings.
- SLF4J: Found binding in [jar:file:/usr/local/hadoop/hbase/lib/slf4j-log4j12-1.7..jar!/org/slf4j/impl/StaticLoggerBinder.class]
- SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7..jar!/org/slf4j/impl/StaticLoggerBinder.class]
- SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
- SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
- HBase Shell; enter 'help<RETURN>' for list of supported commands.
- Type "exit<RETURN>" to leave the HBase Shell
- Version 1.2., rbd63744624a26dc3350137b564fe746df7a721a4, Mon Aug :: PDT
- hbase(main)::> status
- active master, backup masters, servers, dead, 2.0000 average load
- hbase(main)::> exit
未启动Hbase直接使用Hbase Shell会报错
5、停止Hbase
- [hadoop@master hbase]$ stop-hbase.sh
- stopping hbase......................
三、Hbase伪分布式
伪分布式和单机模式的区别主要是配置文件的不同
1、修改配置文件 hbase/conf/hbase-env.sh
- # export JAVA_HOME=/usr/java/jdk1.6.0/ 修改为
- export JAVA_HOME=/usr/local/java/
- # export HBASE_MANAGES_ZK=true 修改为
- export HBASE_MANAGES_ZK=true
- # export HBASE_CLASSPATH= 修改为
- export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop/
- # 添加下面一行
- export HBASE_SSH_OPTS="-p 322"
zookeeper使用Hbase自带的即可,分布式才有必要开启独立的
2、修改配置文件 hbase/conf/hbase-site.xml
- <configuration>
- <property>
- <name>hbase.rootdir</name>
- <value>hdfs://10.1.2.108:9000/hbase</value>
- </property>
- <property>
- <name>hbase.cluster.distributed</name>
- <value>true</value>
- </property>
- </configuration>
注意这里的hbase.rootdir设置为hdfs的存储路径前提是hadoop平台是伪分布式,只有一个NameNode
3、启动Hbase
- [hadoop@master hbase]$ start-hbase.sh
- localhost: starting zookeeper, logging to /usr/local/hadoop/hbase/bin/../logs/hbase-hadoop-zookeeper-master.out
- master running as process . Stop it first.
- starting regionserver, logging to /usr/local/hadoop/hbase/bin/../logs/hbase-hadoop--regionserver-master.out
jps查看进程多了 HMaster和 HRegionServer
- [hadoop@master hbase]$ jps
- Jps
- ResourceManager
- NameNode
- SecondaryNameNode
- NodeManager
- DataNode
- HMaster
- HRegionServer
4、使用Hbase Shell
- [hadoop@master hbase]$ hbase shell
- -- ::, WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
- SLF4J: Class path contains multiple SLF4J bindings.
- SLF4J: Found binding in [jar:file:/usr/local/hadoop/hbase/lib/slf4j-log4j12-1.7..jar!/org/slf4j/impl/StaticLoggerBinder.class]
- SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7..jar!/org/slf4j/impl/StaticLoggerBinder.class]
- SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
- SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
- HBase Shell; enter 'help<RETURN>' for list of supported commands.
- Type "exit<RETURN>" to leave the HBase Shell
- Version 1.2., rbd63744624a26dc3350137b564fe746df7a721a4, Mon Aug :: PDT
1) 查看集群状态和版本信息
- hbase(main)::> status
- active master, backup masters, servers, dead, 1.0000 average load
- hbase(main)::> version
- 1.2., rbd63744624a26dc3350137b564fe746df7a721a4, Mon Aug :: PDT
2) 创建user表和三个列族
- hbase(main)::> create 'user','user_id','address','info'
- row(s) in 2.3570 seconds
- => Hbase::Table - user
3) 查看所有表
- hbase(main)::> create 'tmp', 't1', 't2'
- row(s) in 1.2320 seconds
- => Hbase::Table - tmp
- hbase(main)::> list
- TABLE
- tmp
- user
- row(s) in 0.0100 seconds
- => ["tmp", "user"]
- hbase(main)::>
4) 查看表结构
- hbase(main)::> describe 'user'
- Table user is ENABLED
- user
- COLUMN FAMILIES DESCRIPTION
- {NAME => 'address', BLOOMFILTER => 'ROW', VERSIONS => '', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_V
- ERSIONS => '', BLOCKCACHE => 'true', BLOCKSIZE => '', REPLICATION_SCOPE => ''}
- {NAME => 'info', BLOOMFILTER => 'ROW', VERSIONS => '', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERS
- IONS => '', BLOCKCACHE => 'true', BLOCKSIZE => '', REPLICATION_SCOPE => ''}
- {NAME => 'user_id', BLOOMFILTER => 'ROW', VERSIONS => '', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_V
- ERSIONS => '', BLOCKCACHE => 'true', BLOCKSIZE => '', REPLICATION_SCOPE => ''}
- row(s) in 0.2060 seconds
- hbase(main)::>
5) 删除表
- hbase(main)::> disable 'tmp'
- row(s) in 2.2580 seconds
- hbase(main)::> drop 'tmp'
- row(s) in 1.2560 seconds
- hbase(main)::>
5、停止Hbase
- [hadoop@master hbase]$ stop-hbase.sh
- stopping hbase......................
- localhost: no zookeeper to stop because no pid file /tmp/hbase-hadoop-zookeeper.pid
停止Hadoop的顺序是停止hbase、停止YARN、停止Hdfs
6、web使用
可通过Hdfs页面 http://10.1.2.108:50070进入Hbase页面
或者直接访问 http://10.1.2.108:60010/master.jsp
原创文章,转载请备注原文地址 http://www.cnblogs.com/lxmhhy/p/6026047.html
知识交流讨论请加qq群:180214441。谢谢合作
hbase伪分布式平台搭建(centos 6.3)的更多相关文章
- hadoop伪分布式平台搭建(centos 6.3)
最近要写一个数据量较大的程序,所以想搭建一个hbase平台试试.搭建hbase伪分布式平台,需要先搭建hadoop平台.本文主要介绍伪分布式平台搭建过程. 目录: 一.前言 二.环境搭建 三.命令测试 ...
- HBase 伪分布式环境搭建及基础命令使用
一.前提条件: (1)文件存储在HDFS文件系统之上.因此必须启动hadoop服务.(namenode,datanode,resourcemanager,nodemanager,historyserv ...
- hadoop伪分布式平台搭建
1. 安装jdk1.7 JAVA_HOME=/home/hadoop/app/jdk1.7.0 vi /etc/profile.d CLASSPATH=.:$JAVA_HOME/lib/dt.jar: ...
- 基于伪分布式Hadoop搭建Hive平台详细教程
一.搭建环境的前提条件 环境:Linux系统 Hadoop-2.6.0 MySQL 5.6 apache-hive-2.3.7 这里的环境不一定需要和我一样,基本版本差不多都ok的,所需安装包和压缩包 ...
- Hadoop2.0伪分布式平台环境搭建
一.搭建环境的前提条件 环境:ubuntu-16.04 hadoop-2.6.0 jdk1.8.0_161.这里的环境不一定需要和我一样,基本版本差不多都ok的,所需安装包和压缩包自行下载即可. 因 ...
- Hadoop学习笔记1:伪分布式环境搭建
在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下: 1.CentOS 6.7下安装JDK , 地址: http://blog.csdn.net/yule ...
- Spark2.4.0伪分布式环境搭建
一.搭建环境的前提条件 环境:ubuntu-16.04 hadoop-2.6.0 jdk1.8.0_161. spark-2.4.0-bin-hadoop2.6.这里的环境不一定需要和我一样,基本版 ...
- CentOS7下Hadoop伪分布式环境搭建
CentOS7下Hadoop伪分布式环境搭建 前期准备 1.配置hostname(可选,了解) 在CentOS中,有三种定义的主机名:静态的(static),瞬态的(transient),和灵活的(p ...
- HDFS 伪分布式环境搭建
HDFS 伪分布式环境搭建 作者:Grey 原文地址: 博客园:HDFS 伪分布式环境搭建 CSDN:HDFS 伪分布式环境搭建 相关软件版本 Hadoop 2.6.5 CentOS 7 Oracle ...
随机推荐
- T-SQL简单查询语句
简单查询: 1.最简单查询(查所有数据)select * from 表名: 注:* 代表所有列select * from info 2.查询指定列select code,name from info ...
- C#基于两种需求向图片添加水印
使用场景 1.也就是大家经常用的,一般是图片的4个角落,基于横纵坐标来添加. 2.在图片内基于固定位置,文字始终居中.刚开始我基于第一种场景来根据水印汉字的长度来计算坐标,后来发现方法始终不可靠.现在 ...
- 会务准备期间材料准备工作具体实施总结 ----(vim技巧应用, python信息提取与整合, microsoft word格式调整批量化)
会务准备期间材料准备工作具体实施总结(vim, python, microsoft word) span.kw { color: #007020; font-weight: bold; } code ...
- 3.Java基础之Date对象
毕向东老师Java基础学习笔记——Date对象 今天学习Java中的Date对象后,感觉这个对象对我们主要有以下几点用处. 1.获取时间和日期并按照自己定义的格式显示. 2.网站设计时显示时间. 知 ...
- 淘宝购物车页面 PC端和移动端实战
最近花了半个月的时间,做了一个淘宝购物车页面的Demo.当然,为了能够更加深入的学习,不仅仅有PC端的固定宽度的布局,还实现了移动端在Media Query为768px以下(也就是实现了ipad,ip ...
- jQuery模拟打字逐字输出代码
效果查看:http://hovertree.com/texiao/jquery/70/ jQuery键盘打出逐字逐句显示特效,逐字逐句显示文字 还可以设置每个文字随机颜色: http://hovert ...
- GBDT的基本原理
这里以二元分类为例子,给出最基本原理的解释 GBDT 是多棵树的输出预测值的累加 GBDT的树都是 回归树 而不是分类树 分类树 分裂的时候选取使得误差下降最多的分裂 计算的技巧 最终分裂收益按照下面 ...
- Visual Studio 2015在.NET Core RC2项目中的一个错误。
更新了.NET Core RC2 之后,VS的Web Tools更新为“Preview 1”了. 这个版本有一个问题,害我折腾了一个下午. 就是在项目界面的“依赖项 - NPM”上面错误地显示了不必要 ...
- win7设置wifi热点
netsh wlan set hostednetwork mode=allow ssid=名字 key=大于等于8位密码 net wlan start hostednetwork ---------- ...
- java for循环冒泡排序
int[]a =new int[]{7,19,66,21,88,40}; for(int i=1;i<=a.length-1;i++){ //比总长度减1趟就排好序了.因为每一趟出一个值. fo ...