业务场景: RocketMQ+Storm+Hbase 组件版本: RocketMQ:3.4.6 Storm:1.2.1 Hbase:1.2.1 1. 问题描述 4月15号早上发现业务系统前一天数据量明显偏低,查看系统发现storm入Hbase的TPS很低,甚至为0. 2. 问题定位 通过查看Hbase和Storm监控页面,发现dscn18节点不在服务中,远程连接比较卡顿,去机房查看没有报警,通过终端查看HRegionServer和Supervisor进程都在,15号上午11点多查看系统日志:/v…

[From]https://www.iteye.com/blog/blackproof-2052898 meta表修复一 查看hbasemeta情况 hbase hbck .重新修复hbase meta表(根据hdfs上的regioninfo文件,生成meta表) hbase hbck -fixMeta .重新将hbase meta表分给regionserver(根据meta表,将meta表上的region分给regionservere) hbase hbck -fixAssignments m…

1.  MBR故障修复 备份 mkdir /pp mount /dev/sdb1 /pp dd if=/dev/sda of=/pp/mrb.bak bs=512 count=1   破坏mrb dd if=/dev/zero of=/dev/sda bs=512 count=1 reboot 重启后镜像界面显示找不到引导系统, 连接光驱,进入紧急救援模式到shell字符界面还原备份 2. Grub 文件丢失或损坏 挂载硬盘并备份groub.conf文件 mount /dev/sdb1 /pp…

CentOS7.3系统启动故障修复 破解CentOS7的root口令方法一 启动时任意键暂停启动菜单,选择启动内核菜单项 按 e 键进入编辑模式 将光标移动 linux16 开始的行,添加内核参数rd.break 按 ctrl-x 启动 mount –o remount,rw /sysroot chroot /sysroot passwd root touch /.autorelabel exit reboot 方法二 启动时任意键暂停启动 按 e 键进入编辑模式 将光标移动 linux16 开…

一:进行分区且格式化硬盘 [root@roomc~]#mkfs -t ext4 /dev/sdb1    //格式化sdb1盘 二:模拟破坏/sda主硬盘破坏再修复! [root@roomc~]#mkdir /a         //创建一个目录 [root@roomc~]#mount /dev/sdb1 /a     //将为故障的硬盘sdb挂载到/a目录上 [root@roomc~]#dd if=/dev/sda of=/a/xiufu bs=512 count=1     //备份sda到…

CentOS 6或7 启动故障修复及root密码破解 目录 CentOS 6或7 启动故障修复及root密码破解 CentOS 6启动流程修复: 实验一:删除initramfs-2.6.32-754.el6.x86_64.img进行恢复 实验二:破坏扇区的446字节,进行修复 实验三:破解CentOS 6密码 实验四:删除grub.conf 实验五:删除/boot/下的所有文件,需要光盘修复 实验六:删除/boot/下的所有文件,且没有/etc/fstab文件,需要光盘修复 CentOS 7故障…

1. 问题起因 通过snapshot做跨集群数据同步时,在执行拷贝脚本里没有指定所有者及所有组,导致clone时没有权限,客户端卡死.master一直报错,经过一系列操作后,导致RIT异常. 2. 异常记录 不指定所有者,默认权限是hdfs:hbase,会导致异常 执行clone_snapshot <snapshot_name>,<table_name>时,master异常信息 经过一系列操作后(重启.删除hdfs相关目录)出现了RIT: 3. 解决过程 因之前使用hbase1.2…

meta表修复一 查看hbasemeta情况hbase hbck1.重新修复hbase meta表(根据hdfs上的regioninfo文件,生成meta表)hbase hbck -fixMeta2.重新将hbase meta表分给regionserver(根据meta表,将meta表上的region分给regionservere)hbase hbck -fixAssignments meta表修复二 当出现漏洞 hbase hbck -fixHdfsHoles (新建一个region文件夹)…

CDH大数据集群修复记录 1)cm web打不开,查看监听7180端口产生了很多进程,于是kill进程:重启cloudera-cmf-server服务,几秒钟就挂了,查看cloudera-scm-server运行日志是由于mysql服务挂了. 2)查看mysql错误日志,mysql是默认安装在/根分区下的,由于根分区空间不足,无法启动mysql:清理了一些垃圾,重启mysql成功了:重启cloudera-cmf-server成功,但是各个组件出现了很多配置问题:于是重启所有组件,不能重启,究其原…

<script language=javascript> function IdentifyRepair(event_id) { var url; url = "/View/faultyinfo?event_id=" + event_id; window.location.href = url; } 9 function GetEventId() 10 { 11 var evid_list = document.getElementsByName("evid_li…