原集群 服务器名称 服务 sht-sgmhadoopnn-01 Master,NameNode,JobTracker sht-sgmhadoopdn-01 RegionServer,DataNode,TaskTracker,ZK sht-sgmhadoopdn-02 RegionServer,DataNode,TaskTracker,ZK sht-sgmhadoopdn-03 RegionServer,DataNode,TaskTracker,ZK sht-sgmhadoopdn-04 Regi…

老集群 hbase(main):001:0> status 4 servers, 0 dead, 0.0000 average load hbase(main):002:0> list TABLE class_stats geocode_cache_ta_us stats_validation vendor_delta_poi_530_3048 vendor_source_poi_10066 vendor_source_poi_530 vendor_source_poi_history ven…

一开始用hadoop2.2.0 + hbase 0.96 + hive 0.12 ,基本全部都配好了.只有在hive中查询hbase的表出错.以直报如下错误: java.io.IOException: java.lang.ClassCastException: org.apache.hadoop.hbase.client.Result cannot be cast to org.apache.hadoop.io.Writabl 后来发现hbase0.96和hive0.12不兼容,hive-hba…

准备工作 Hbase的搭建是依赖于Hadoop的,Hbase的数据文件实际上存储在HDFS文件系统中,所以我们需要先搭建hadoop环境,之前的博文中已经搭建过了(详见http://www.cnblogs.com/bxljoy/p/3880250.html ),这里就不在赘述. 版本选择 由于之前搭建的hadoop2.2.0社区版,hadoop和hbase之间存在版本的兼容性问题,并不是所有的版本都可以相互兼容,所以在此我选择:Hbase 0.98版本,能够完美兼容hadoop2.2.0版本.我…

HBase是一个分布式的.面向列的开源数据库,该技术来源于Google论文“Bigtable:一个结构化数据的分布式存储系统”.就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力.HBase是Apache的Hadoop项目的子项目.HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基于行的模式.www.169it.com H…

1.0的规范 http://web.resource.org/rss/1.0/spec 2.0的规范 http://cyber.law.harvard.edu/rss/rss.html 一个介绍什么是RSS的文章<What Is RSS> http://www.xml.com/pub/a/2002/12/18/dive-into-xml.html 从这篇文章中的 RSS versions and recommendations 表格里终于对版本的发展有所了解. 最开始,是由 Netscape…

本文将基于hbase 0.98.1解说其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:http://blog.csdn.net/bluishglc/article/details/24593597,转载请注明出处. 1. 安装与配置 1.1. 前置条件 确保已经安装了hadoop并保证hadoop运行正常.关于hbase与hadoop的版本号依赖关系,请參考:  https://hbase.apache.org/book/configuration.html#hado…

由于Hbase 0.94对Hadoop 2.x的支持不是非常好,故直接添加Hbase 0.94的jar依赖可能会导致问题. 但是直接添加Hbase0.96的依赖,由于官方并没有发布Hbase 0.96的jar包,通过maven编译项目的时候会出现找不到jar包导致编译失败. 通过网上的资料,得知Hbase 0.94后版本,直接添加Hbase-Client的依赖,通过查询得知需要以下依赖: <dependency> <groupId>commons-io</groupId>…

本文为原创作品,转载请注明出处,作者:Chris.xisaer E-mail:69920579@qq.com QQ群3244694 补丁程序下载地址:https://download.csdn.net/download/xsdn123/71939906 https://github.com/hansiyuan1983/UltraEdit/tree/%E7%A0%B4%E8%A7%A3%E8%A1%A5%E4%B8%81 1.本文所设计的相关技术只限于交流和学习使用,请勿将其用于商业活动.对此产生…

HBase 安装分为:单击模式,伪分布式,完全分布式,在单机模式中,HBase使用本地文件系统而不是HDFS ,所有的服务和zooKeeper都运作在一个JVM中.本文是安装的伪分布式. 安装步骤如下 1 环境配置 2 安装说明 1 环境配置 1.1 Java JDK 安装,下载JDK,配置环境变量 sudo nano /etc/profile export JAVA_HOME=/usr/dev/jdk1.7.0_51 export HADOOP_HOME=/home/lcc/software/…

为了支持hbase0.98.6,需要重新编译spark 1. 下载spark 1.1.0源代码,以及 scala-2.10.4的bin包. 将环境变量 SCALA_HOME 设置为 scala-2.10.4 的目录位置. 2. 下载较新的pom.xml (https://github.com/tedyu/spark) 将该repository中的 spark/pom.xml和spark/examples/pom.xml下载下来,覆盖至用于编译的spark源代码中. 3. 进入源代码目录编译 ex…

转载:http://blog.csdn.net/hxpjava1/article/details/20043703 环境: hadoop:hadoop-2.2.0 hbase:hbase-0.96.0 1.org.apache.hadoop.hbase.client.Put     <1>取消了无参的构造方法     <2>Put类不再继承Writable类              0.94.6时public class Put extends Mutation implemen…

http://www.apache.org/dyn/closer.cgi/hbase/ 国外的站点下载速度慢,可以考虑国内的镜像网站~ 前面已经部署好了hadoop2.2.0单机伪分布式.必须先安装hadoop环境. vim hbase-env.sh # The java implementation to use.  Java 1.6 required. export JAVA_HOME=/usr/java/jdk # Extra Java CLASSPATH elements.  Optio…

最近看了一下MariaDB的常规复制章节,就按部就班的搭建了一下最简单的主从复制.需要的硬件环境很简单(在虚拟机VMware中搭建): 1:两台server:Master: 192.168.6.133  Slave:192.168.6.132 2:网络配置,这里图个简单,直接关闭master的防火墙 [root@master Desktop]# service iptables stop 概览实现主从复制需要完成的配置: 1:主从集群里面的每台server需要有一个唯一的server_id,下面…

-------------------------------Olly脚本插件v0.92 制作: SHaG文档汉化:ZMWorm[CCG][TT]E-Mail:TranslationTeam[at]126.Com2004年08月12日初稿------------------------------- 1. 关于 OllyScript2. 目前情况2.1 v0.92最新更新3. 文档3.1 语言概述3.1.1 保留变量3.1.2 指令3.2 标签3.3 注释3.4 菜单4. 嵌入其他的插件5. 如…

今天弄了一下hive0.10和hbase0.94.9整合,需要设置的并不多,但是也遇到了一些问题. 1.复制jar包 拷贝hbase-0.94.9.jar,zookeeper-3.4.5.jar,protobuf-java-2.4.0a.jar到hive/lib下,删掉lib下面旧版的jar包. 拷贝hbase-0.94.9.jar到所有hadoop节点的lib文件夹下面,拷贝hbase/confi的hbase-site.xml文件拷贝到所有的hadoop节点conf文件夹下. 2.修改hive…

查看是否启动成功,输入jps,看到有HMaster和HQuorumPeer,浏览器输入http://localhost:16030/master-status,能打开说明成功 hbase(main):001:0> lcc@lcc-HP-Pro-3380-MT:~$ jps 28522 NodeManager 817 Jps 27997 DataNode 28206 SecondaryNameNode 386 HMaster 28380 ResourceManager 27823 NameNode…

简介 本文是需要用到hbase timestamp性质时研究源码所写.内容有一定侧重.且个人理解不算深入,如有错误请不吝指出. 如何看源码 hbase依赖很重,没有独立的client包.所以目前如果在maven中指定如下: <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase</artifactId> <version>0.94-adh3u9.9</…

package test; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColu…

import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.…

基本知识: 1.hbase是一种基于列存储的数据库,也就是说它的一列的数据是存储在一个文件里面的,而传统的数据库存储都是一个文件存储多个行,这些行有不同的列,这些列的数据类型 不同. 2.基于HDFS存储数据,也就是说数据最终存储在HDFS上面,只不过HBase提供的一层对HDFS操作的封装,类似于传统数据库是基于文件系统的. 3.访问基于rowkey,存储成二进制类型,所以任何类型都可以存储行键,通过三维定位:rowkey-列簇-限定符,自带版本号与时间 4.Memstore-HFile,所以…

2.1. 切换到源代码目录,执行: mvn 黄色部分作用为设置代理.由于本人的编译环境在公司内网,所以需要设置代理 2.2. 生成eclipse项目环境: mvn eclipse:eclipse -DskipTests -Dhttp.proxyHost=proxy01.cd.intel.com -Dhttp.proxyPort= 2.3. 打开eclipse,导入源代码目录下的项目.…

参考:http://blog.csdn.net/wind520/article/details/39856353…

本版本最大的改进是引入ms-class的新风格支持,以前的不支持大写类名及多个类名同时操作,新风格支持了.还有对2维监控数组的支持.并着手修复UI框架. 重构 class, hover, active, bind绑定 fix parseExpr在IE全系列的BUG.IE全家 Function("return ")出错,需要Function("return ;") 增加对contains方法 的检测,不支持contains方法,则在Node.prototype下用co…

链接:https://pan.baidu.com/s/1wnTSjTknYfaeDV_pakrC9g 提取码:see7…

说明: 本文參考官方Ref Guide,Developer API和众多博客.并结合实測代码编写.具体总结HBase的Filter功能,并附上每类Filter的对应代码实现. 本文尽量遵从Ref Guide中"9.4. Client Request Filters"的行文顺序,便于读者对照查看,但内容比官方文档更加详实. ***2014年7月18日更新.新增PageFilter和SkipFilter. *** 欢迎转载,请注明来源: http://blog.csdn.net/u0109…

说明: 本文参考官方Ref Guide,Developer API和众多博客,并结合实测代码编写,详细总结HBase的Filter功能,并附上每类Filter的相应代码实现. 本文尽量遵从Ref Guide中"9.4. Client Request Filters"的行文顺序,便于读者对比查看,但内容比官方文档更加详实.   ***2014年7月18日更新,新增PageFilter和SkipFilter.***     目录: 引言 -- 参数基础 1. 结构(Structural)过…

HBase 官方文档0.90.4 Copyright © 2010 Apache Software Foundation, 盛大游戏-数据仓库团队-颜开(译) Revision History Revision 0.90.4 配置,数据模型使用入门 Abstract 这是 ].现在官方的发行版都没有这个功能,所以你要自己打这个补丁.推荐看 Michael Noll写的详细的说明, ] [3]. 需要澄清的,这两个设置是针对操作系统的,不是Hbase本身的.有一个常见的错误是Hbase运行的用户,…

本博文的主要内容有 .HBase的单机模式(1节点)安装 .HBase的单机模式(1节点)的启动 .HBase的伪分布模式(1节点)安装  .HBase的伪分布模式(1节点)的启动    .HBase的分布模式(3.5节点)安装  .HBase的分布模式(3.5节点)的启动 见博客:     HBase HA的分布式集群部署 .HBase环境搭建60010端口无法访问问题解决方案 ------------- 注意 HBase1.X版本之后,没60010了.       -------------…

CopyTable is a simple Apache HBase utility that, unsurprisingly, can be used for copying individual tables within an HBase cluster or from one HBase cluster to another. In this blog post, we'll talk about what this tool is, why you would want to use…