从错误看起来是regionspilt时候断电了,导致hbase master启动不起来,因为是测试环境只能删除这些region了,掉一部分数据 删除hbase下spilt块,删除zK里面的habse spilt元信息 删除后 重启ZK 和habse(记得依赖顺序),启动完进入hbase正常…

1       情况概述 公司的开发集群在周末莫名其妙的主节点Hadoop-1的启动固态盘挂了,由于CM.HDFS的NameNode.HBase的Master都安装在Hadoop-1,导致了整个集群都无法使用,好在数据不在启动盘. Hadoop-1的系统必须重装,但是不能重装集群,因为要将之前的数据全部保留恢复,所以只能通过集群恢复的手段将集群重新跑起来. 主要服务角色安装情况: Hadoop-1: CM,HDFS( NN,DN ),HBase(HMaster, RegionServer),YA…

离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程 关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集…

CDH 特性 免费版 付费版 Deployment, Configuration & Management 系统管理 Automated Deployment & Hadoop Readiness Checks 自动化部署及快速检查 • • Install the complete CDH stack in minutes and ensure optimal settings 安装完整的CDH及优化配置 Service Management 服务管理 • • Configure and…

本文引用自:Cloudera 系列2:CDH介绍http://www.aboutyun.com/thread-18379-1-1.html(出处: about云开发) CDH提供: 灵活性-存储任何类型的数据,并使用多种不同的计算框架进行处理,包括批处理.交互式SQL.自由文本搜索,机器学习和统计计算. 集成-启动并在完整的Hadoop平台上快速运行. 安全性-处理和控制敏感数据. 可升级性-启用多种应用程序,并根据您的要求将其升级和延伸. 高可用性-可以充满信心地执行重要的业务任务. 兼容性-…

公司的CDH早就装好了,一直想自己装一个玩玩,最近组了台电脑,笔记本就淘汰下来了,加上之前的,一共3台,就在X宝上买了CPU和内存升级了下笔记本,就自己组了个集群. 话说,好想去捡垃圾,捡台8核16线程64G内存的回来,手动滑稽. 3台笔记本的配置和角色分配: 宿主CPU 宿主内存 虚拟机 虚拟机CPU/台 角色及内存 双核双线程 4G 1台 双核双线程 nexus.yum.ntp 双核四线程 8G 2台 双核四线程 master(4G).node01(2G) 双核四线程 8G 3台 双核四线程…

0.绪论 之前完全没有接触过大数据相关的东西,都是书上啊,媒体上各种吹嘘啊,我对大数据,集群啊,分布式计算等等概念真是高山仰止,充满了仰望之情,觉得这些东西是这样的: 当我搭建的过程中,发现这些东西是这样的: 对于初学者来说,我认为缺点如下: 1.需要控制,配置的东西太多,并且配置对应并不是很清晰(以后优化集群是否会有很高含金量?) 2.整个集群,我觉的从硬件到软件整体来说还是稳定性有待提高,尤其CDH 集群这块一会这个主机失去联系,一会NameNode挂,一会monitor挂,整个使用过程就是…

端口 Cloudera Manager,CDH组件,托管服务和第三方组件使用下表中列出的端口.在部署Cloudera Manager,CDH和托管服务以及第三方组件之前,请确保在每个系统上打开这些端口.如果您使用的是防火墙,例如iptables的 要么 firewalld,并且无法打开所有列出的端口,必须完全禁用防火墙以确保完整功能. 在随后的小节的表中,每个端口的“访问要求”列通常是“内部”或“外部”.在此上下文中,“内部”表示该端口仅用于组件之间的通信(例如HA配置中的JournalNode…

Cloudera Manager的存储空间规划 最低要求角色: 完全管理员 Cloudera Manager跟踪许多后台进程中的服务,作业和应用程序的度量标准.所有这些指标都需要存储.根据组织的大小,此存储可以是本地或远程,基于磁盘的,也可以是数据库,由您或其他位置的其他团队管理. 大多数系统管理员都知道常见的位置 /var/log/并且这些地点需要有足够的空间.本主题可帮助您规划Cloudera Manager Server和Cloudera Management Service用于存储度量标…

有时会遇到CDH集群的7180页面无法访问,通过命令查看服务发现: service --status-all cloudera-scm-server dead but pid file exists 删除pid文件: rm -rf /var/run/cloudera-scm-server 然后启动服务cloudera-scm-server时会遇到过一段时间自己挂掉,并返回cloudera-scm-server dead but pid file exists的问题,主要是在cloudera-sc…