hadoop、hbase、hive、zookeeper版本对应关系
最新版本:
hadoop和hbase版本对应关系:
Hbase Hadoop
0.92.0 1.0.0
0.92.1 1.0.0
0.92.2 1.0.0
0.94.0 1.0.2
0.94.1 1.0.3
0.94.2 1.0.3
0.94.3 1.0.4
0.94.4 1.0.4
0.94.5 1.0.4
0.94.9 1.2.0
0.95.0 1.2.0
Hadoop与hive版本对应关系
hive版本 1.1.0 支持hadoop版本
Hadoop 1.x.y 2.x.y
hive版本 1.0.0 支持hadoop版本
hadoop1.x.y,2.x.y
hive版本0.13.1 支持hadoop版本
hadoop0.20.x,0.23.x.y,1.x.y 2.x.y
hive版本0.13.0 支持hadoop版本
hadoop0.20.x,0.23.x.y,1.x.y,2.x.y
hive版本0.12.0 支持hadoop版本
hadoop0.20.x,0.23.x.y,1.x.y,2.x.y
hive版本0.11.0 支持hadoop版本
hadoop0.20.x,0.23.x.y,1.x.y,2.x.y
hive版本0.10.0 支持hadoop版本
hadoop 0.20.x,0.23.x.y,1.x.y,2.x.y
网址:http://hive.apache.org/downloads.html补充一些内容:
hive、hbase、zookeeper的关系
分布式平台软件选型(hadoop) | ||||
软件名 | 最新版(高手) | 稳定版三(推荐) | 稳定版二(官方) | 稳定版一(官方) |
Hadoop | 2.5.0 | 2.2.0 | 1.2.1 | 0.20.2 |
HBase | 0.98.5 | 0.96.0 | 0.98.5 | 0.90.3 |
Zookeeper | 3.4.6 | 3.4.5 | 3.4.6 | 3.3.3 |
Pig | 0.13.0 | 0.13.0 | 0.9.0 | |
Hive | 0.13.1 | 0.12.0 | 0.13.1 | 0.7.1 |
sqoop | 1.4.5 | 1.4.2 |
说明:红色为必选。建议采用最新版
hadoop1.2+hbase0.95.0+hive0.11.0会产生hbase+hive的不兼容,创建hive+hbase的关联表就会报pair对异常。
hadoop1.2+hbase0.94.9+hive0.10.0没问题,解决了上个版本的不兼容问题。
hadoop-1.0.3+hive-0.9.0+hive0.92.0兼容
hadoop2.2+hbase0.96+hive0.12兼容(有些小问题,可能需要一些补丁)
hadoop2.2+hbase0.96+hive0.13兼容(应该兼容)
Hadoop与hbase支持版本
S=支持并且测试
X=不支持
NT=应该可以,但是没有测试
HBase-0.92.x | HBase-0.94.x | HBase-0.96.x | HBase-0.98.x[a] | HBase-1.0.x[b] | |
---|---|---|---|---|---|
Hadoop-0.20.205 | S | X | X | X | X |
Hadoop-0.22.x | S | X | X | X | X |
Hadoop-1.0.0-1.0.2[c] | X | X | X | X | X |
Hadoop-1.0.3+ | S | S | S | X | X |
Hadoop-1.1.x | NT | S | S | X | X |
Hadoop-0.23.x | X | S | NT | X | X |
Hadoop-2.0.x-alpha | X | NT | X | X | X |
Hadoop-2.1.0-beta | X | NT | S | X | X |
Hadoop-2.2.0 | X | NT [d] | S | S | NT |
Hadoop-2.3.x | X | NT | S | S | NT |
Hadoop-2.4.x | X | NT | S | S | S |
Hadoop-2.5.x | X | NT | S | S | S |
[a]Support for Hadoop 1.x is deprecated. [b]Hadoop 1.x is NOT supported [c]HBase requires hadoop 1.0.3 at a minimum; there is an issue where we cannot find KerberosUtil compiling against earlier versions of Hadoop. [d]To get 0.94.x to run on hadoop 2.2.0, you need to change the hadoop 2 and protobuf versions in the pom.xml: Here is a diff with pom.xml changes: $ svn diff pom.xml Index: pom.xml =================================================================== --- pom.xml (revision 1545157) +++ pom.xml (working copy) @@ -1034,7 +1034,7 @@ <slf4j.version>1.4.3</slf4j.version> <log4j.version>1.2.16</log4j.version> <mockito-all.version>1.8.5</mockito-all.version> - <protobuf.version>2.4.0a</protobuf.version> + <protobuf.version>2.5.0</protobuf.version> <stax-api.version>1.0.1</stax-api.version> <thrift.version>0.8.0</thrift.version> <zookeeper.version>3.4.5</zookeeper.version> @@ -2241,7 +2241,7 @@ </property> </activation> <properties> - <hadoop.version>2.0.0-alpha</hadoop.version> + <hadoop.version>2.2.0</hadoop.version> <slf4j.version>1.6.1</slf4j.version> </properties> <dependencies> The next step is to regenerate Protobuf files and assuming that the Protobuf has been installed:
Building against the hadoop 2 profile by running something like the following command: $ mvn clean install assembly:single -Dhadoop.profile=2.0 -DskipTests |
Because HBase depends on Hadoop, it bundles an instance of the Hadoop jar under its lib directory. The bundled jar is ONLY for use in standalone mode. In distributed mode, it is critical that the version of Hadoop that is out on your cluster match what is under HBase. Replace the hadoop jar found in the HBase lib directory with the hadoop jar you are running on your cluster to avoid version mismatch issues. Make sure you replace the jar in HBase everywhere on your cluster. Hadoop version mismatch issues have various manifestations but often all looks like its hung up.
更新内容:
Hadoop version support matrix
· "S" = supported
· "X" = not supported
· "NT" = Not tested
HBase-0.92.x |
HBase-0.94.x |
HBase-0.96.x |
HBase-0.98.x (Support for Hadoop 1.1+ is deprecated.) |
HBase-1.0.x (Hadoop 1.x is NOT supported) |
|
Hadoop-0.20.205 |
S |
X |
X |
X |
X |
Hadoop-0.22.x |
S |
X |
X |
X |
X |
Hadoop-1.0.x |
X |
X |
X |
X |
X |
Hadoop-1.1.x |
NT |
S |
S |
NT |
X |
Hadoop-0.23.x |
X |
S |
NT |
X |
X |
Hadoop-2.0.x-alpha |
X |
NT |
X |
X |
X |
Hadoop-2.1.0-beta |
X |
NT |
S |
X |
X |
Hadoop-2.2.0 |
X |
NT |
S |
S |
NT |
Hadoop-2.3.x |
X |
NT |
S |
S |
NT |
Hadoop-2.4.x |
X |
NT |
S |
S |
S |
Hadoop-2.5.x |
X |
NT |
S |
S |
S |
hadoop、hbase、hive、zookeeper版本对应关系的更多相关文章
- hadoop/hbase/hive单机扩增slave
原来只有一台机器,hadoop,hbase,hive都安装在一台机器上,现在又申请到一台机器,领导说做成主备, 要重新配置吗?还是原来的不动,把新增的机器做成slave,原来的当作master?网上找 ...
- Docker搭建大数据集群 Hadoop Spark HBase Hive Zookeeper Scala
Docker搭建大数据集群 给出一个完全分布式hadoop+spark集群搭建完整文档,从环境准备(包括机器名,ip映射步骤,ssh免密,Java等)开始,包括zookeeper,hadoop,hiv ...
- hive spark版本对应关系
查看hive source下面的pom.xml,可以找到官方默认发布的hive版本对应的spark版本,在实际部署的时候,最好按照这个版本关系来,这样出现兼容问题的概率相对较小. 下面面列出一部分对应 ...
- cdh版本的hue安装配置部署以及集成hadoop hbase hive mysql等权威指南
hue下载地址:https://github.com/cloudera/hue hue学习文档地址:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-c ...
- hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。这里包含我们使用到的组件:HDFS, YARN, Hbase, Hive, ZooKeeper:
组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 HDFS DataNode 50075 ...
- 【转载】全栈工程师-Hadoop, HBase, Hive, Spark
学习参考这篇文章: http://www.shareditor.com/blogshow/?blogId=96 机器学习.数据挖掘等各种大数据处理都离不开各种开源分布式系统, hadoop用于分布式存 ...
- 最新hadoop+hbase+spark+zookeeper环境安装(vmmare下)
说明:我这里安装的版本是hadoop2.7.3,hbase1.2.4,spark2.0.2,zookeeper3.4.9 (安装包:链接:http://pan.baidu.com/s/1c25hI4g ...
- hadoop,hbase,hive
linux上安装hadoop,然后安装hbase,然后安装zookeeper,最后安装hive.hbase安装在hdfs下.hive是纯逻辑表,hbase是物理表.hdfs是hadoop上的一个组件.
- 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...
随机推荐
- Hark的数据结构与算法练习之地精(侏儒)排序
算法说明 地精排序是交换排序的一种,它是冒泡排序的一种改良,我感觉和鸡尾酒排序挺像的. 不同之处是鸡尾酒排序是从小到大,然后再从大到小切换着排序的.而地精排序是上来先从小到大排序,碰到交换到再从大到小 ...
- aac格式解析
AAC格式有以下两种: ADIF:Audio Data Interchange Format 音频数据交换格式.这种格式的特征是可以确定的找到这个音频数据的开始,不需进行在音频数据流中间开始的解码,即 ...
- 空函数有参函数调用参数的注意事项Swift 1.1语言
空函数有参函数调用参数的注意事项Swift 1.1语言 7.2.3 空函数 空函数有参函数调用参数的注意事项Swift 1.1语言空函数是函数中最简单的形式.在空函数中,函数只有一个空壳,里面是没有 ...
- 递推DP URAL 1586 Threeprime Numbers
题目传送门 /* 题意:n位数字,任意连续的三位数字组成的数字是素数,这样的n位数有多少个 最优子结构:考虑3位数的数字,可以枚举出来,第4位是和第3位,第2位组成的数字判断是否是素数 所以,dp[i ...
- 递推DP 赛码 1005 Game
题目传送门 /* 递推DP:官方题解 令Fi,j代表剩下i个人时,若BrotherK的位置是1,那么位置为j的人是否可能获胜 转移的时候可以枚举当前轮指定的数是什么,那么就可以计算出当前位置j的人在剩 ...
- Codeforces 176B (线性DP+字符串)
题目链接: http://acm.hust.edu.cn/vjudge/problem/viewProblem.action?id=28214 题目大意:源串有如下变形:每次将串切为两半,位置颠倒形成 ...
- Java多线程编程详解
转自:http://programming.iteye.com/blog/158568 线程的同步 由于同一进程的多个线程共享同一片存储空间,在带来方便的同时,也带来了访问冲突这个严重的问题.Ja ...
- 【wikioi】1904 最小路径覆盖问题(最大流+坑人的题+最小路径覆盖)
http://wikioi.com/problem/1904/ 这题没看数据的话是一个大坑(我已报告官方修复了),答案只要求数量,不用打印路径...orz 最小路径覆盖=n-最大匹配,这个我在说二分图 ...
- 【POJ】A New Stone Game(博弈论)
http://poj.org/problem?id=1740 题目大意就是,对于n堆石子,每堆若干个,两人轮流操作,每次操作分两步,第一步从某堆中去掉至少一个,第二步(可省略)把该堆剩余石子的一部分分 ...
- BZOJ1367 [Baltic2004]sequence
现学的左偏树...这可是道可并堆的好题目. 首先我们考虑z不减的情况: 我们发现对于一个区间[l, r],里面是递增的,则对于此区间最优解为z[i] = t[i]: 如果里面是递减的,z[l] = z ...