在之前的文章<深入探讨HBASE>中,笔者详细介绍了: HBase基础知识(包括简介.表结构).系统架构.数据存储 WAL log和HBase中LSM树的应用 HBase寻址机制 minor合并和major合并 region管理以及region server上下线 HMaster工作机制和HBase容错性 HBASE数据迁移和备份 distcp命令拷贝hdfs文件的方式 copytable的方式实现表的迁移和备份 replication的方式实现表的复制 Export/Import的方式实现表

Region Server的整体架构 本文主要介绍Region的整体架构,后续再慢慢介绍region的各部分具体实现和源码 RegionServer逻辑架构图 RegionServer职责 1.      监听协作,通过zk来侦听master.meta位置.集群状态等信息的变化,更新本地数据. 2.      管理region的offline.online.open.close等操作,这些操作是和hmaster配合这来做的,region的状态有如下这些 offline.opening.open.

2019-04-28 15:57:28,355 INFO org.apache.hadoop.hbase.regionserver.HeapMemoryManager: heapOccupancyPercent 0.8963877 is now below the heap occupancy alarm watermark (0.95)2019-04-28 15:58:27,436 WARN org.apache.hadoop.hbase.regionserver.HeapMemoryMana

客户端在进行put.delete.get等操作的时候,它都需要数据到底存在哪个Region Server上面,这个定位的操作是通过HConnection.locateRegion方法来完成的. loc = hConnection.locateRegion(this.tableName, row.getRow()); 这里我们首先要讲hbase的两张元数据表-ROOT-和.META.表,它们一个保存着region的分部信息,一个保存着region的详细信息.在<hbase实战>这本书里面详细写了

ERROR: Region { meta => month_hotstatic,860010-2288000000_201405_5_exit_00000047486,1400144486405.e737a0d96930d3ad31fbcf796c9b8a08., hdfs => hdfs://jiujiang1:9000/hbase/month_hotstatic/e737a0d96930d3ad31fbcf796c9b8a08, deployed =>  } not deployed

客户端在进行put.delete.get等操作的时候,它都需要数据到底存在哪个Region Server上面,这个定位的操作是通过 Connection.locateRegion方法来完成的. loc = hConnection.locateRegion(this.tableName, row.getRow()); 这里我们首先要讲hbase的两张元数据 表-ROOT-和.META. 表,它们一个保存着 region的分部信息,一个保存着region的详细信息.在<hbase实战>这本书里面详

错误如下:Master rejected startup because clock is out of sync org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server localserver3,60020,1476874791987 has been rejected; Reported time is too far out of syn

最近老遇到hbase的regionserver自动挂掉的情况 日志总是看不出什么原因 不得已弄了个定时任务,任务的脚本类似是: pssh -H "bluejoe1 bluejoe2..." "/usr/local/hbase/bin/hbase-daemon.sh start regionserver" 加入定时任务,让它隔10分钟执行一次: crontab -e 10,20,30,40,50,0 * * * * pssh -H "bluejoe1 blu

首先要清楚reginserver中内存是如何使用的.     reginserver中内存总体分成三部分:blocksize专供读使用的内存,memstore供读写使用的内存,其它内存.     其中前两者的大小在配置中分别通过hfile.block.cache.size以及hbase.regionserver.global.memstore.upperLimit来控制,两者的大小之和被hbase硬编码为不可以大于等于0.8.所以如果发生了oom,那么一定是这里的其它内存使用过多造成的.    

在HBase1.1.0发布之前,HBase同一集群上的用户.表都是平等的,大家平等共用集群资源.容易碰到两个问题: 一是某些业务较其他业务重要,需要在资源有限的情况下优先保证核心重要业务的正常运行 二是有些业务QPS常常很高,占用大量系统资源,导致其他业务无法正常运转. 这是典型的多租户问题.因此,我们需要通过资源隔离来解决多租户问题,同时,需要考虑计算型业务与存储型业务混合部署来提高集群的资源利用率. 1.基本概念 1.1 namespace逻辑隔离 HBase命名空间 namespace 与

1         Hbase日常运维 1.1       监控Hbase运行状况 1.1.1        操作系统 1.1.1.1 IO 群集网络IO,磁盘IO,HDFS IO IO越大说明文件读写操作越多.当IO突然增加时,有可能:1.compact队列较大,集群正在进行大量压缩操作. 2.正在执行mapreduce作业 可以通过CDH前台查看整个集群综合的数据或进入指定机器的前台查看单台机器的数据: Io wait 磁盘IO对集群的影响比较大,如果io wait时间过长需检查系统或磁盘是

Region的概念 Region是HBase数据管理的基本单位.数据的move,数据的balance,数据的split,都是按照region来进行操作的. region中存储这用户的真实数据,而为了管理这些数据,HBase使用了RegionSever来管理region. 一个表中可以包含一个或多个Region. 每个Region只能被一个RS(RegionServer)提供服务,RS可以同时服务多个Region,来自不同RS上的Region组合成表格的整体逻辑视图. regionServer其实

1.Region数量的影响 通常较少的region数量可使群集运行的更加平稳,官方指出每个RegionServer大约100个regions的时候效果最好,理由如下: 1)Hbase的一个特性MSLAB,它有助于防止堆内存的碎片化,减轻垃圾回收Full GC的问题,默认是开启的.但是每个MemStore需要2MB(一个列簇对应一个写缓存memstore).所以如果每个region有2个family列簇,总有1000个region,就算不存储数据也要3.95G内存空间. 2)如果很多region,

本文介绍在 Ubuntu Server 14.04 中安装 TeamCity Server 10.0.1.Ubuntu Server 上已经创建了用户  tcuser.TeamCity 的安装包为 TeamCity-10.0.1.tar.gz,使用 Postgresql 9.4 代替 TeamCity 自带的数据库. 安装Postgresql 数据库 请参考笔者之前的博文<Ubuntu14.04安装postgresql9.4>安装 Postgresql 9.4,并参照文中的描述创建数据库 tc

dubbo源码分析1-reference bean创建 dubbo源码分析2-reference bean发起服务方法调用 dubbo源码分析3-service bean的创建与发布 dubbo源码分析4-基于netty的dubbo协议的server dubbo源码分析5-dubbo的扩展点机制 dubbo源码分析6-telnet方式的管理实现 真正的netty server并没有太多的技术含量.主要还是依赖handler的细节处理.

在我们的持续构建中,项目构建中出现错误提醒.或者开发者之间的沟通交流,进度汇报的事务,都是离不开一个通信工具.那就是邮件.在我们的项目开发中假设使用第三方的邮件平台,这肯定不是最好的选择.由于第三方的邮件须要外网的支持,可是外网又不是特别的可靠,假如外网链接出现了问题,这样就会不必要的延误我们的工期.再或者非常多项目都是保密项目,在开发中仅仅能用内网. 可是不用邮件吧又不行.为了解决这个头疼的问题,我们的内网邮件server工具就出现了,仅仅要用它安装在我们的server上.配置好账户.配置好c

接触Ubuntu系统不久,发现无线网络环境下安装Ubuntu Server一个不太人性化的设计:在安装过程中选择无线网卡,即使用无线网络安装(此时需要选择Wi-Fi网络并输入密码),但系统安装完成重启后并不会自动启动无线网卡并连接安装时选择的Wi-Fi网络.这个设计对于不便使用有线网络的Linux菜鸟而言,会带来极大的烦恼... 因无法连接网络安装图形界面或Network-Manager等应用,也尝试了使用ifconfig和iwconfig等命令,但是发现iwconfig命令只支持WEP加密的W

HBase中有两张特殊的Table,-ROOT-和.META. .META.:记录了用户表的Region信息,它可以有多高region(这的意思是说.META.表可以分 裂成多个region,和用户表一样) -ROOT-:记录了.META.表的Region信息,-ROOT-只有一个region(也就是说它不可分割) Zookeeper中记录了-Root-表的location region大小: 更大的Region可以使你集群上的Region的总数量较少. 一般来言,更少的Region可以使你的集

这里面说的read既包括get,也包括scan,实际底层来看这两个操作也是一样的.我们将要讨论的是,当我们从一张表读取数据的时候hbase到底是怎么处理的.分二种情况来看,第一种就是表刚创建,所有put的数据还在memstore中,并没有刷新到hdfs上:第二种情况是,该store已经进行多次的flush操作,产生了多个storefile了.在具体说明两种情况前,先考虑下表的region的问题,如果表只有一个region,那么没有说的,肯定是要扫描这个唯一的region.假设该表有多个regio

参与 Region 分配的重要对象 在 Region 分配过程中,起着重要作用有如下一些对象. HMaster— 是 HBase 中的 Master server ,仅有一个. HRegionServer--- 负责多个 HRegion 使之能向 client 端提供服务,在 HBase cluster 中存在多个HRegionServer . ServerManager--- 负责管理 Region server 信息,比如每个 Region server 的 HServerInfo( 这个对

SQL server这个程序是非喜欢内存这东西的.所以它的内存使用量下降,一定是被别人给抢去了.这件事的后果就是SQL Server 变的 非常慢.怎么样才可以让这件事不太容易发生呢? ---------------------------------------------------------------------------------------------------------------------------------------------------------- 方法