[问题描述] 在持续批量写入HBase的情况下,出现了Dead Region Servers的情况.集群会把dead掉节点上的region自动分发到另外2个节点上,集群还能继续运行,只是少了1个节点. [解决方案] 重启HBase集群,dead掉的那个节点又恢复正常了.集群又会重新分配region到3个节点上 [总结] HBase版本为2.0.0,问题产生的原因还没有找到,在这里先记录一下. 補充: 問題原因已找到,請查看另外1個:https://www.cnblogs.com/caoweixi

问题描述: 16010端口启动成功,16020未启动. hbase-root-regionserver-hbase2.log日志: 2019-08-14 16:45:10,552 WARN [Thread-37] hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hbase/default/tsdb/3f2398c5b49b581c096

====软件版本==== jdk:jdk-8u77-linux-x64.tar.gz zookeeper:zookeeper-3.4.6.tar.gz hadoop:hadoop-2.7.4.tar.gz hbase:hbase-1.3.1-bin.tar.gz ====前提准备==== 3台vmware虚拟机(已配置无秘钥访问) 其中,/etc/hosts文件内容如下: ====安装jdk==== 上传安装包,解压缩,然后配置环境变量即可. 正常配置之后,在服务器任意路径执行java -ver

For early Hbase developers, it is often a nightmare to understand how the different modules speak among themselves and what. This comes in handy to understand what each sub-system is responsible for and which informations do they maintain. This post

HBASE基础命令总结 一,概述 本文中介绍了hbase的基础命令,作者既有记录总结hbase基础命令的目的还有本着分享的精神,和广大读者一起进步.本文的hbase版本是:HBase 1.2.0-cdh5.10.0. 二,HBase工具命令 上面的 master.regionserver.zookeeper.rest.thrift.thrift2 都是启动命令启动命令就不介绍了.下面一一介绍我认为比较重要的命令: 1,hbase shell 命令 这个命令主要是进入hbase客户端client

==版本信息== HBase:2.7.1 Storm:1.0.1 RocketMQ:3.4.6(阿里版) ==问题描述== 2018年9月3号晚上23点左右,例行巡检系统运行状况时, 发现Storm消费RocketMQ入HBase的过程中,RocketMQ的TPS极低,甚至为0了. (Storm从RocketMQ消费消息自后,读写HBase) ==问题定位== 查看了Storm的日志,发现有如下异常信息: -- ::-BasicBolt-executor[ ] [ERROR] java.net.

问题描述: 前几天一个同事来说,通过phoenix创建表失败了,一直报表存在的错误,删除也报错,然后就针对这个问题找下解决方案. 问题分析: 1.通过phoenix创建表,一直卡住不动了.创建语句如下: CREATE TABLE SYNC_BUSINESS_INFO_BYDAY_EFFECT( ID VARCHAR, DAY_ID VARCHAR, PROV_ID VARCHAR, PROV_NAME VARCHAR, AREA_ID VARCHAR, AREA_NAME VARCHAR, CI

我们以前使用过的对hbase和hdfs进行健康检查,及剩余hdfs容量告警,简单易用 1.针对hadoop2的脚本: #/bin/bashbin=`dirname $0`bin=`cd $bin;pwd`STATE_OK=0STATE_WARNING=1STATE_CRITICAL=2STATE_UNKNOWN=3STATE_DEPENDENT=4source /etc/profileDFS_REMAINING_WARNING=15DFS_REMAINING_CRITICAL=5ABNORMAL

管理工具 HBase ShellHBase Shell是HBase组件提供的基于JRuby IRB的字符界面的交互式客户端程序,通过HBase Shell可以实现对HBase的绝大部分操作 通过help ["group-name"]命令,可以获取该组包含命令的详细使用说明 hbck工具hbck工具对HBase中的数据进行扫描,找出错误的数据块,并生产简单的报表.该工具调用方法如下:$ bin/hbase hbck输出结果摘录如下:......Number of Tables: 1Num

一.Region Server栏信息 Requests Per Second,每秒读或写请求次数,可以用来监控HBase请求是否均匀.如果不均匀需排查是否为建表的region划分不合理造成. Num. Regions,每个Regionserver节点上的region个数,观察每个节点的region个数是否均匀,如果不均匀需要确认balance问题. 二.Dead Region Servers栏信息 查看Dead的节点,并确认该节点是否有人为stop或者自动挂了 三.Tables栏信息 Table

Number of Tables: 7Number of live region servers: 3Number of dead region servers: 0Number of empty REGIONINFO_QUALIFIER rows in .META.: 0ERROR: Region url_rule,dl.dict.cn,1381594437892.4ffba0dca164b918911160176a1d05a6. not deployed on any region serv

[From]https://www.cnblogs.com/quchunhui/p/9583746.html ==版本信息== HBase:2.7.1 Storm:1.0.1 RocketMQ:3.4.6(阿里版) ==问题描述== 2018年9月3号晚上23点左右,例行巡检系统运行状况时, 发现Storm消费RocketMQ入HBase的过程中,RocketMQ的TPS极低,甚至为0了. (Storm从RocketMQ消费消息自后,读写HBase) ==问题定位== 查看了Storm的日志,发

–>首先初始化HMaster –>创建一个rpcServer,其中并启动 –>启动一个Listener线程,功能是监听client的请求,将请求放入nio请求队列,逻辑如下: –>创建n个selector,和一个n个线程的readpool,n由"ipc.server.read.threadpool.size"决定,默认为10 –>读取每个请求的头和内容,将内容放入priorityQueue中 –>启动一个Responder线程,功能是将响应队列里的数

master启动过程: -->首先初始化HMaster -->创建一个rpcServer,其中并启动 -->启动一个Listener线程,功能是监听client的请求,将请求放入nio请求队列,逻辑如下: -->创建n个selector,和一个n个线程的readpool,n由"ipc.server.read.threadpool.size"决定,默认为10 -->读取每个请求的头和内容,将内容放入priorityQueue中 -->启动一个Respo

hadoop1.2.1+zk-3.4.5+hbase-0.94.1集群安装过程详解 一,环境: 1,主机规划: 集群中包括3个节点:hadoop01为Master,其余为Salve,节点之间局域网连接,可以相互ping通. 机器名称 IP地址 hadoop01 192.168.1.31 hadoop02 192.168.1.32 hadoop03 192.168.1.33 三个节点上均是CentOS6.3 x86_64系统,并且有一个相同的用户hadoop.hadoop01做为master配置N

HBase architecture follows the traditional master slave model where you have a master which takes decisions and one or more slaves which does the real task. In HBase, the master is called HMaster  and slaves are called HRegionServers (yes..servers).

HBase vs. BigTable Comparison HBase is an open-source implementation of the Google BigTable architecture. That part is fairly easy to understand and grasp. What I personally feel is a bit more difficult is to understand how much HBase covers and wher

hmater负责把region均匀到各个region server .hmaster中有一个线程任务是专门处理负责均衡的,默认每隔5分钟执行一次. 每次负载均衡操作可以分为两步: 生成负载均衡计划表 Assignment Manager 类执行计划表 负载均衡方法入口   以下代码的Hbase版本为0.96.2 在org.apache.hadoop.hbase.master.balancer.BalancerChore中 public BalancerChore(HMaster master)

From:http://www.itnose.net/detail/6065872.html # 需要软件 Hadoop-2.2.0(目前Apache官网最新的Stable版本) Hbase-0.96.2(这里就用这个版本,跟Hadoop-2.2.0是配套的,不用覆盖jar包什么的) Hive-0.13.1(目前是最新版本) Zookeepr-3.4.6(这里推荐使用 3.4.5) Jdk1.7.0_60(这里推荐使用1.7.0_45) Mysql-5.5.31 # 集群结构图 NN : Nam

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- /** * Copyright 2009 The Apache Software Foundation * * Licensed to the Apache Software Foundation (ASF) under one * or mor