Paxo算法介绍 Paxos算法是莱斯利·兰伯特(Leslie Lamport)1990年提出的一种基于消息传递的一致性算法. Paxos产生背景 Paxos算法是基于消息传递且具有高度容错特性的一致性算法,是目前公认的解决分布式一致性问题最有效的算法之一,其解决的问题就是在分布式系统中如何就某个值(决议)达成一致. Paxos算法主要是针对Zookeeper这样的master-slave集群对某个决议达成一致,也就是副本之间写或者leader选举达成一致.我觉得这个算法和狭义的分布式事务不是一…

上一章讨论了paxos算法,把paxos推到一个很高的位置.但是,paxos有没有什么问题呢?实际上,paxos还是有其自身的缺点的: 1. 活锁问题.在base-paxos算法中,不存在leader这样的角色,于是存在这样一种情况,即P1提交了一个proposal n1并且通过了prepare阶段:此时P2提交了一个proposal n2(n2>n1)并且也通过了prepare阶段:P1在commit时因为已经通过了n2而被拒绝:于是P1继续提交一个proposal n3并且通过prepare…

上一章讨论了一种强一致性的情况,即需要分布式事务来解决,本章我们来讨论一种最终一致的算法,paxos算法. paxos算法是由大牛lamport发明的,关于paxos算法有很多趣事.比如lamport论文最初由故事描述来引入算法,以至于那班习惯数学公式的评委将该论文打回,导致该论文延误了8年才公开发表.另外,google的chubby的作者Mike Burrows说过,世界上只有一种一致性算法,那就是paxos. 两将军问题 为了引入该算法,首先提出一种场景,即两将军问题(见文献1): 有两支军…

zookeeper可谓是目前使用最广泛的分布式组件了.其功能和职责单一,但却非常重要. 在现今这个年代,介绍zookeeper的书和文章可谓多如牛毛,本人不才,试图通过自己的理解来介绍zookeeper,希望通过一个初学者的视角来学习zookeeper,以期让人更加深入和平稳的理解zookeeper.其中参考了不少教程和书,相关书目列在文末,也感谢这些作者. 学习新的框架,先让我们搞清楚他是什么,这是它的内涵.然后再介绍它能做什么,这是它的外延,内涵和外延共同来定义框架本身,会对框架有较为深刻的…

上一章我们了解了zookeeper到底是什么,这一章重点来看zookeeper当初到底面临什么问题?而zookeeper又是如何解决这些问题的? 实际上zookeeper主要就是解决分布式环境下的一致性问题.那么解决这个问题到底有哪些难点呢?我们一步一步来阐述和推理这个过程. 分布式事务 我们首先考虑一致性的特殊情况,即分布式事务的情况.分布式事务对于一致性的要求是强一致性,因此对于我们后续讨论有一定的借鉴意义.这里我们用到一个经典的例子:bob给smith转账,强一致性的要求一定是需要对外来说…

zookeeper可谓是目前使用最广泛的分布式组件了.其功能和职责单一,但却非常重要.    在现今这个年代,介绍zookeeper的书和文章可谓多如牛毛,本人不才,试图通过自己的理解来介绍zookeeper,希望通过一个初学者的视角来学习zookeeper,以期让人更加深入和平稳的理解zookeeper.其中参考了不少教程和书,相关书目列在文末,也感谢这些作者.    学习新的框架,先让我们搞清楚他是什么,这是它的内涵.然后再介绍它能做什么,这是它的外延,内涵和外延共同来定义框架本身,会对框架…

不多说,直接上干货! 上一章讨论了paxos算法,把paxos推到一个很高的位置. Zookeeper概念学习系列之paxos协议 但是,paxos有没有什么问题呢?实际上,paxos还是有其自身的缺点的. 1. 活锁问题.在base-paxos算法中,不存在leader这样的角色,于是存在这样一种情况,即P1提交了一个proposal n1并且通过了prepare阶段:此时P2提交了一个proposal n2(n2>n1)并且也通过了prepare阶段:P1在commit时因为已经通过了n2而…

一.问题起源 淘宝搜索的博客 http://www.searchtb.com/2011/01/zookeeper-research.html  提到Paxos是zookeeper的灵魂 有一篇文章标题更是以“Zookeeper全解析——Paxos作为灵魂” 作为标题,认为是zookeeper的基础: “ Google的Chubby,Apache的Zookeeper都是基于它的理论来实现的,Paxos还被认为是到目前为止唯一的分布式一致性算法,其它的算法都是Paxos的改进或简化.有个问题要提一下…

Zookeeper是什么? Zookeeper故名思议动物管理员,它是拿来管大象(Hadoop).蜜蜂(Hive).小猪(Pig)的管理员,Apache Hbase和Apache Solr以及LinkedIn sensei等项目都采用到了Zookeeper.Zookeeper是一个分布式的,开放源码的分布式应用程序协调服务,Zookeeper是以Fast Paxos算法为基础,实现同步服务,配置维护和命名服务等分布式应用. Zookeeper如何工作? Zookeeper是作为分布式应用建立更高…

本博文的主要内容有 一.zookeeper编程入门系列之利用zookeeper的临时节点的特性来监控程序是否还在运行   二.zookeeper编程入门系列之zookeeper实现分布式进程监控 三.zookeeper编程入门系列之zookeeper实现分布式共享锁 我这里采用的是maven项目,这个很简单,不会的博友,见我下面写的这篇博客 Zookeeper项目开发环境搭建(Eclipse\MyEclipse + Maven) 这里,推荐用下面的eclipse版本(当然你若也有myeclips…