转载:http://blog.csdn.net/hxpjava1/article/details/20043703 环境: hadoop:hadoop-2.2.0 hbase:hbase-0.96.0 1.org.apache.hadoop.hbase.client.Put     <1>取消了无参的构造方法     <2>Put类不再继承Writable类              0.94.6时public class Put extends Mutation implemen…

今天弄了一下hive0.10和hbase0.94.9整合,需要设置的并不多,但是也遇到了一些问题. 1.复制jar包 拷贝hbase-0.94.9.jar,zookeeper-3.4.5.jar,protobuf-java-2.4.0a.jar到hive/lib下,删掉lib下面旧版的jar包. 拷贝hbase-0.94.9.jar到所有hadoop节点的lib文件夹下面,拷贝hbase/confi的hbase-site.xml文件拷贝到所有的hadoop节点conf文件夹下. 2.修改hive…

2016马上要结束了,回顾一下这一年对hbase的学习历程. 1,年初hbase的状态 使用场景:主要是用来存储业务线的mysql表,增量同步到hbase,然后每天晚上全量导入hdfs做离线计算. hbase集群状态:除了调大了regionserver的heap size.其他基本没有动.经常发生的问题是晚上高峰导表的时候,不时会有regionserver宕机. 故障恢复:非常慢,碰到问题像无头的苍蝇,各种重启,然后表各种RIT.年初的时候经历过一次故障,两个人折腾了一天,而且还导致了数据的丢失…

基本环境: 我是在win7环境下,spark1.0.2,HBase0.9.6.1 使用工具:IDEA14.1, scala 2.11.6, sbt.我现在是测试环境使用的是单节点 1.使用IDEA创建一个sbt的工程后,在build.sbt文件加入配置文件 libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.0.2" % "provided" l…

一.应该先配置好zookeeper并成功启动,否则hbase无法启动 二.配置HBASE集群 1,配置hbase-env.sh,下面是最少配置项目 [hadoop@zk1 conf]$ vim hbase-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_60 export HBASE_HOME=/home/hadoop/hbase export HBASE_OPTS="-XX:+UseConcMarkSweepGC" XX:GCLogFileSiz…

http://www.apache.org/dyn/closer.cgi/hbase/ 国外的站点下载速度慢,可以考虑国内的镜像网站~ 前面已经部署好了hadoop2.2.0单机伪分布式.必须先安装hadoop环境. vim hbase-env.sh # The java implementation to use.  Java 1.6 required. export JAVA_HOME=/usr/java/jdk # Extra Java CLASSPATH elements.  Optio…

Hbase从0.94.11升级到stable的1.4.9版本: 升级思路: hadoop1.1.2    hbase 0.94.11                             ↓ hadoop1.1.2    hbase 0.96.0-hadoop1                             ↓ hadoop1.1.2    hbase 0.98.0-hadoop1                             ↓ Hadoop2.2.0    hbase…

本系列文章只是记录了笔者本人在学习实验安装和使用基于CDH5.0.2的HBASE集群过程中的一些经验教训和心得,绝不是详细的安装过程,因本人不过一初学者,很多方面不甚了了,如果能让不幸读到的人有所得则不胜欣喜,否则大家一笑置之即可. 通过tarball形式安装HBASE Cluster(CDH5.0.2)——集群安装总览 通过tarball形式安装HBASE Cluster(CDH5.0.2)——如何配置分布式集群中的zookeeper 通过tarball形式安装HBASE Cluster(CD…

本文档环境基于ubuntu14.04版本,如果最终不使用SuperMap iServer 9D ,可以不配置geomesa-hbase_2.11-2.0.1-bin.tar.gz (转发请注明出处:http://www.cnblogs.com/zhangyongli2011/ 如发现有错,请留言,谢谢) 一.准备 1.1 软件版本 hadoop-2.6.5 zookeeper-3.4.10.tar.gz hbase-1.3.1-bin.tar.gz geomesa-hbase_2.11-2.0.…

hbase1.0.0版本提供了一些让人激动的功能,并且,在不牺牲稳定性的前提下,引入了新的API.虽然 1.0.0 兼容旧版本的 API,不过还是应该尽早地来熟悉下新版API.并且了解下如何与当下正红的 Spark 结合,进行数据的写入与读取.鉴于国内外有关 HBase 1.0.0 新 API 的资料甚少,故作此文. 本文将分两部分介绍,第一部分讲解使用 HBase 新版 API 进行 CRUD 基本操作:第二部分讲解如何将 Spark 内的 RDDs 写入 HBase 的表中,反之,HBase…