1. 问题起因 通过snapshot做跨集群数据同步时,在执行拷贝脚本里没有指定所有者及所有组,导致clone时没有权限,客户端卡死.master一直报错,经过一系列操作后,导致RIT异常. 2. 异常记录 不指定所有者,默认权限是hdfs:hbase,会导致异常 执行clone_snapshot <snapshot_name>,<table_name>时,master异常信息 经过一系列操作后(重启.删除hdfs相关目录)出现了RIT: 3. 解决过程 因之前使用hbase1.2…

一开始用hadoop2.2.0 + hbase 0.96 + hive 0.12 ,基本全部都配好了.只有在hive中查询hbase的表出错.以直报如下错误: java.io.IOException: java.lang.ClassCastException: org.apache.hadoop.hbase.client.Result cannot be cast to org.apache.hadoop.io.Writabl 后来发现hbase0.96和hive0.12不兼容,hive-hba…

File /hbase/.tmp/hbase.version could only be replicated to 0 nodes instead of minReplication (=1). 这是由于 hadoop 的hdfs系统 中datanode没有与 namenode 连接页产生的,所以需要在namenode的 50070web页面上查看是否有datanode连接.…

问题详情: 问题原因: <dependency>    <groupId>org.apache.hbase</groupId>    <artifactId>hbase-mapreduce</artifactId>    <version>2.0.0-alpha3</version></dependency>通过Maven下载的hbase-mapreduce Jar包为最新版本,且Maven官网只有这一个版本.…

下载hbase-2.2.1-bin.tar.gz并执行安装命令: [hadoop@hadoop01 ~]$ tar -zxvf hbase--bin.tar.gz 查看安装目录: [hadoop@hadoop01 ~]$ cd hbase-2.2.1 [hadoop@hadoop01 hbase-2.2.1]$ ls -l total 872 drwxr-xr-x. 4 hadoop hadoop 4096 Sep 10 14:26 bin -rw-r--r--. 1 hadoop hadoop…

前言 由于项目数据安全的需要,这段时间看了下hadoop的distcp的命令使用,不断的纠结的问度娘,度娘告诉我的结果也让我很纠结,都是抄来抄去, 还好在牺牲大量的时间的基础上还终于搞出来了,顺便写这个随笔,记录下. 环境 目前我们是两套同版本的CDH集群,集群内的节点通信使用的私网,提供浮动ip对外通信,也就是说,两个集群间的私网是不互通的,只能通过浮动ip 进行通信. 操作 使用hadoop提供的distcp命令进行数据迁移 (数据源集群source和目标集群target版本相同) 迁移hd…

业务场景: RocketMQ+Storm+Hbase 组件版本: RocketMQ:3.4.6 Storm:1.2.1 Hbase:1.2.1 1. 问题描述 4月15号早上发现业务系统前一天数据量明显偏低,查看系统发现storm入Hbase的TPS很低,甚至为0. 2. 问题定位 通过查看Hbase和Storm监控页面,发现dscn18节点不在服务中,远程连接比较卡顿,去机房查看没有报警,通过终端查看HRegionServer和Supervisor进程都在,15号上午11点多查看系统日志:/v…

core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://gagcluster</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </…

vs2015的创建的项目是以*.xproj的项目文件,迁移到vs2017需要如下准备: 1.安装好vs2017(废话) 2.下载最新的SDK和 .NET Core 2.0 Preview 1 Runtime (地址送上:https://www.microsoft.com/net/targeting),安装 3.在目标项目中,建立一个global.json文件,内容如下: { "projects":["src","test"], "sdk…

本系列文章只是记录了笔者本人在学习实验安装和使用基于CDH5.0.2的HBASE集群过程中的一些经验教训和心得,绝不是详细的安装过程,因本人不过一初学者,很多方面不甚了了,如果能让不幸读到的人有所得则不胜欣喜,否则大家一笑置之即可. 通过tarball形式安装HBASE Cluster(CDH5.0.2)——集群安装总览 通过tarball形式安装HBASE Cluster(CDH5.0.2)——如何配置分布式集群中的zookeeper 通过tarball形式安装HBASE Cluster(CD…