Hadoop2.x下安装HBase
1.安装好 hadoop 集群,并启动
[grid@hadoop4 ~]$ sh hadoop-2.5./sbin/start-dfs.sh
[grid@hadoop4 ~]$ sh hadoop-2.5./sbin/start-yarn.sh
查看 hadoop 版本:
[grid@hadoop4 ~]$ hadoop-2.5./bin/hadoop version
Hadoop 2.5.
Subversion Unknown -r Unknown
Compiled by grid on --31T01:40Z
Compiled with protoc 2.5.
From source with checksum df7537a4faa4658983d397abf4514320
This command was run using /home/grid/hadoop-2.5./share/hadoop/common/hadoop-common-2.5..jar
2.查看 hbase 官方文档(http://hbase.apache.org/book.html#basic.prerequisites),找到与 hadoop 版本对应的 hbase 并下载
[grid@hadoop4 ~]$ wget http://mirrors.cnnic.cn/apache/hbase/hbase-1.0.0/hbase-1.0.0-bin.tar.gz
3.解压
[grid@hadoop4 ~]$ tar -zxf hbase-1.0.-bin.tar.gz
4.进入 hbase 的 lib 目录,查看 hadoop jar 包的版本
[grid@hadoop4 ~]$ cd hbase-1.0./lib/
[grid@hadoop4 lib]$ find -name 'hadoop*jar'
./hadoop-common-2.5..jar
./hadoop-mapreduce-client-common-2.5..jar
./hadoop-annotations-2.5..jar
./hadoop-yarn-server-common-2.5..jar
./hadoop-hdfs-2.5..jar
./hadoop-client-2.5..jar
./hadoop-mapreduce-client-shuffle-2.5..jar
./hadoop-yarn-common-2.5..jar
./hadoop-yarn-server-nodemanager-2.5..jar
./hadoop-yarn-client-2.5..jar
./hadoop-mapreduce-client-core-2.5..jar
./hadoop-auth-2.5..jar
./hadoop-mapreduce-client-app-2.5..jar
./hadoop-yarn-api-2.5..jar
./hadoop-mapreduce-client-jobclient-2.5..jar
发现与 hadoop 集群的版本号不一致,需要用 hadoop 目录下的 jar 替换 hbase/lib 目录下的 jar 文件。
编写脚本来完成替换,如下所示:
[grid@hadoop4 lib]$ pwd
/home/grid/hbase-1.0./lib
[grid@hadoop4 lib]$ vim f.sh
find -name "hadoop*jar" | sed 's/2.5.1/2.5.2/g' | sed 's/\.\///g' > f.log
rm ./hadoop*jar
cat ./f.log | while read Line
do
find /home/grid/hadoop-2.5. -name "$Line" | xargs -i cp {} ./
done
rm ./f.log
[grid@hadoop4 lib]$ chmod u+x f.sh
[grid@hadoop4 lib]$ ./f.sh
[grid@hadoop4 lib]$ find -name 'hadoop*jar'
./hadoop-yarn-api-2.5..jar
./hadoop-mapreduce-client-app-2.5..jar
./hadoop-common-2.5..jar
./hadoop-mapreduce-client-jobclient-2.5..jar
./hadoop-mapreduce-client-core-2.5..jar
./hadoop-yarn-server-nodemanager-2.5..jar
./hadoop-hdfs-2.5..jar
./hadoop-yarn-common-2.5..jar
./hadoop-mapreduce-client-shuffle-2.5..jar
./hadoop-auth-2.5..jar
./hadoop-mapreduce-client-common-2.5..jar
./hadoop-yarn-client-2.5..jar
./hadoop-annotations-2.5..jar
./hadoop-yarn-server-common-2.5..jar
OK,jar 包替换成功;hbase/lib 目录下还有个 slf4j-log4j12-XXX.jar,在机器有装hadoop时,由于classpath中会有hadoop中的这个jar包,会有冲突,直接删除掉
[grid@hadoop4 lib]$ rm `find -name 'slf4j-log4j12-*jar'`
5.修改配置文件
5.1.
[grid@hadoop4 hbase-1.0.]$ vi conf/hbase-env.sh
export JAVA_HOME=/usr/java/jdk1..0_72
export HBASE_CLASSPATH=/home/grid/hadoop-2.5./etc/hadoop
export HBASE_MANAGES_ZK=true
第一个参数指定了JDK路径;第二个参数指定了 hadoop 的配置文件路径;第三个参数设置使用 hbase 默认自带的 Zookeeper
5.2.
[grid@hadoop4 hbase-1.0.]$ vim conf/hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop4:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>/home/grid/hbase-1.0./tmp</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop4,hadoop5,hadoop6</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/grid/hbase-1.0./zookeeper</value>
</property>
创建目录
[grid@hadoop4 hbase-1.0.]$ mkdir tmp
[grid@hadoop4 hbase-1.0.]$ mkdir zookeeper
5.3.
[grid@hadoop4 hbase-1.0.]$ vim conf/regionservers
hadoop4
hadoop5
hadoop6
6.设置环境变量
[grid@hadoop4 ~]$ vi .bash_profile
export HBASE_HOME=/home/grid/hbase-1.0.
export PATH=$PATH:$HBASE_HOME/bin
[grid@hadoop4 ~]$ source .bash_profile
7.分发 hbase 到其它机器,并在其上设置环境变量
[grid@hadoop4 ~]$ scp -r hbase-1.0. grid@hadoop5:~
[grid@hadoop4 ~]$ scp -r hbase-1.0. grid@hadoop6:~
8.启动 hbase
[grid@hadoop4 ~]$ sh start-hbase.sh
[grid@hadoop4 ~]$ jps
ResourceManager
Jps
NameNode
HQuorumPeer
SecondaryNameNode
HMaster
[grid@hadoop5 ~]$ jps
Jps
HQuorumPeer
HRegionServer
NodeManager
DataNode
[grid@hadoop6 ~]$ jps
HQuorumPeer
DataNode
NodeManager
Jps
HRegionServer
jps查看发现 Master 机上 HRegionServer 服务未启动,查看日志显示因16020端口被占用导致 HRegionServer 启动失败,查证发现占用16020端口的是 HMaster 进程,查看官方文档后解决:
[grid@hadoop4 ~]$ sh local-regionservers.sh start
官方文档截图:
9.shell
10.Web管理界面
Hadoop2.x下安装HBase的更多相关文章
- Mac下安装HBase及详解
Mac下安装HBase及详解 1. 千篇一律的HBase简介 HBase是Hadoop的数据库, 而Hive数据库的管理工具, HBase具有分布式, 可扩展及面向列存储的特点(基于谷歌BigTabl ...
- WIN10下安装HBASE教程
工作需要,现在开始做大数据开发了,通过下面的配置步骤,你可以在win10系统中,部署出一套hadoop+hbase,便于单机测试调试开发. 准备资料: 1. hadoop-2.7.2: https:/ ...
- 在Hadoop伪分布式模式下安装Hbase
安装环境:Hadoop 1.2.0, Java 1.7.0_21 1.下载/解压 在hbase官网上选择自己要下的hbase版本,我选择的是hbase-0.94.8. 下载后解压到/usr/local ...
- Windows下安装HBase
本文转载自:http://blog.csdn.net/kangkanglou/article/details/30748139 本文主要参照Hbase官网:http://hbase.apache.or ...
- Ubuntu下安装hbase
1.在清华镜像站点下载hbase的安装文件,选择的是stable的版本,版本号是hbase-1.2.5/ 2.解压放在/usr/local的目录下 3.修改权限 sudo chown -R hduse ...
- hadoop2 Ubuntu 下安装部署
搭建Hadoop环境( 我以hadoop 2.7.3 为例, 系统为 64bit Ubuntu14.04 ) hadoop 2.7.3 官网下载 , 选择自己要安装的版本.注意每个版本对应两个下载选项 ...
- CentOS下安装Hbase
1.安装JDK.https://www.cnblogs.com/zhi-leaf/p/10315125.html 2.下载Hbase.下载地址:https://hbase.apache.org/dow ...
- mac下安装伪分布hadoop2.6.0和hbase1.0.1.1
1.安装JDK,我安装的是java1.7 2.创建管理员账户 3.安装ssh服务(如果已有跳过此步) 4.ssh无密码验证登陆 以上过程略,可参考ubuntu下安装hadoop一文. 5.下载并解压h ...
- Centos6下安装Hadoop2.6 问题总结
一. 安装背景:VirtualBox下安装三台Centos6.8虚拟机(一主:master, 两从:slave1,slave2) Centos版本:CentOS-6.8-x86_64 网络配置:三台虚 ...
随机推荐
- Asp.Net MVC 请求原理分析
分析Asp.Net MVC的请求过程,我们从以下几方面看: 配置:IIS网站的配置可以分为两个块:全局 Web.Config 和本站 Web.Config . Asp.Net Routing属于全局性 ...
- GTS--阿里巴巴分布式事务全新解决方案
现代IT应用中,服务化SOA作为主流的技术架构被广泛应用到各种信息系统.原来一个系统被分拆成若干个服务的集合,产生了跨服务调用的分布式事务问题.随着Dubbo.SpringCloud等微服务框架的流行 ...
- day38 爬虫之Scrapy + Flask框架
s1617day3 内容回顾: Scrapy - 创建project - 创建爬虫 - 编写 - 类 - start_urls = ['http://www.xxx.com'] - def parse ...
- 【Python】测算代码运行时间
整理自这里和这里 timeit模块 timeit模块定义了接受两个参数的 Timer 类.两个参数都是字符串. 第一个参数是你要计时的语句或者函数. 传递给 Timer 的第二个参数是为第一个参数语句 ...
- Ubuntu下压缩解压文件
一般来说ubuntu 下带有tar 命令,可以用来解压和压缩之用.但是我们经常要与win下用户打交道,所以要安装一些解压工具如:rar zip 等命令. 如果要需要用到zip工具那么可以: sudo ...
- 二、DBMS_JOB(用于安排和管理作业队列)
1.概述 作用:用于安排和管理作业队列,通过使用作业,可以使ORACLE数据库定期执行特定的任务注意:当使用DBMS_LOB管理作业时,必须确保设置了初始化参数job_queue_processes( ...
- System.Zip
自XE2增加的System.Zip单元很好.注意事项: 1.文件压缩到文档后所使用的文件名会成为解压后的文件名,如果该文件名为指定文件名且无后缀名,那么解压出来的文件名也没有后缀名:
- springcloud- FeginClient 调用统一拦截添加请求头 RequestInterceptor ,被调用服务获取请求头
使用场景: 在springcloud中通过Fegin调用远端RestApi的时候,经常需要传递一些参数信息到被调用服务中去,比如从A服务调用B服务的时候, 需要将当前用户信息传递到B调用的服务中去,我 ...
- OC-NSArray
一.认识数组 oc中可以把NSObject对象的子类放到数组这个集合中,但是int.float.double等基础数据类型需要先进行转换才可以存入数组. oc中数组以NS开头,其中分为可变数组和不可变 ...
- 20165202 2017-2018-2 《Java程序设计》第8周学习总结
20165202 2017-2018-2 <Java程序设计>第8周学习总结 教材学习内容总结 Ch12 进程与线程 线程是比进程更小的单位,一个进程在其执行过程中,可以产生多个线程 Ja ...