/** * Copyright (c) 2015, www.cubbery.com. All rights reserved. */ package com.cubbery.event.retry; import com.cubbery.event.EventBus; import com.cubbery.event.EventStorage; import com.cubbery.event.conf.Configurable; import com.cubbery.event.conf.Co…

  引子: 分布式系统中,如何确认一个节点是否工作正常?   如果有3副本A.B.C,并通过中心结点M来管理.其中A为主副本. 未接触过分布式的直观的处理方法是在每个副本与中心节点M中维护一个心跳,期望通过心跳是否存在而判断对方是否依旧存活. 心跳方法其实根本无法解决分布式下的这个问题.考虑如下场景: M在某时刻未能预期收到主节点A的心跳,M认为A已经异常,于是从B.C中选取一个B作为主节点.但实际上A并未异常,而是由于网络瞬时阻塞.或是M本身出现异常使A这消息暂时未收到.这时,系统中出现A.B…

可下载:http://clumsyleaf.com/products/cloudxplorer 然后在Accounts中新建一个Account,账号与Key,可在相应的storage Manage AccessKey中得到 之后在相应的VHD上右键Break lease即可释放并删除 引用: 其它删除方法 http://social.msdn.microsoft.com/Forums/windowsazure/zh-cn/baf1040b-baf8-47d2-a69d-56f9fc265abf/…

16/06/02 20:34:05 INFO balancer.Balancer: namenodes = [hdfs://dlhtHadoop101:8022, hdfs://dlhtHadoop101:8020] 16/06/02 20:34:05 INFO balancer.Balancer: parameters = Balancer.Parameters[BalancingPolicy.Node, threshold=10.0, number of nodes to be exclud…

电话之于短信.微信的一个很大的不同点在于,前者更加及时,有更快速直接的反馈:而后面两个虽然称之为instant message,但经常时发出去了就得等对方回复,等多久是不确定的.打电话能明确知道对方在不在,我所表达的信息是否已经传达:而短信或者微信,只知道消息发出去了,但对方是否收到,或者是否查看就不清楚了. 在通过网络通信的环境下,也是很难知道一个消息对方是否已经处理,因为要知道对方是否处理,依赖于对方的回复(ack),但即使对方没有回复,也不能说明对方就没有处理,也许仅仅是对方回复的那条消息…

经过查明原来是lease引发的问题.不过查问题的过程让我们耽误了很多修复故障的时间,很是不爽. 起因:datanode和regionserver以及master同时挂掉 现象:datanode重启后,regionserver重启不久,多台regionserver相继即挂掉,log显示: org.apache.hadoop.hbase.regionserver.wal.HLog: Could not append. Requesting close of hlog java.io.IOExcept…

package ) type:]...) :]...) )*time.Second) )     go func() {         select {         case <-stopc:         case <-done:         }         cancel()     }()     return done }…

#!/usr/bin/env python # coding=utf-8 import string import time,datetime class TIMEFORMAT: def __init__(self, time_string="1970-1-1 00:00:00"): self.time_string = self._format_time_string(time_string) def _format_time_string(self, time_string): r…

这是从事存储行业十年以来我写的第一篇博客,希望借此开始把自己这些年所积累的一些干货借这个平台做分享. 虽然NAS协议众多,但核心的就那个几个:NFS,SMB/CIFS, FTP/SFTP, 其中SMB以及NFS可谓重中之重,相互竞争,相互借鉴,你追我赶,使得网络文件系统世界精彩纷呈. 因此,我的系列博客就从SMB协议开始,为大家呈现一个深入(Deep Dive)系列,让这些让很多人望而却步的协议不再神秘. 这个系列可能对入门的读者不太友好,因为我不想把这个系列仅仅做成'另一个入门教程', 而是要…

这篇分析一下Lease Recovery 和 Block Recovery hdfs支持hflush后,需要保证hflush的数据被读到,datanode重启不能简单的丢弃文件的最后一个block,而是需要保留下hflush的数据.同时为了支持append,需要将已经finalized的block重新打开追加数据.这就为宕机的恢复处理带来了更大的困难,支持hflush/append之前,hdfs只需要将未关闭文件的最后一个block的多个副本删除即可. 在hdfs的设计中,Lease是为了实现一…