转 http://ifeve.com/zookeeper-consistency-guarantees/ 本文翻译自<ZooKeeper官方指南>,译者:追云,校对:追云 一致性保障 ZooKeeper是一个高性能,可扩展的服务.虽然读比写更快,但在设计上,它的读操作和写操作都很快.(读比写更快)之所以会这样,是因为在某些“读”的情况下,ZooKeeper对更古老的数据会起作用,这反过来也是得益于ZooKeeper的一致性保障: 连续一致性 来自客户端的更新将会被应用到那些它们被发送的命令中.…

实现 ZooKeeper服务有两种不同的运行模式.一种是“独立模式”(standalone mode),即只有一个ZooKeeper服务器.这种模式比较简单,适合于测试环境,但是不能保证高可用性和可恢复性.在生产环境中的ZooKeeper通常以“复制模式”(replicated mode)运行于一个计算机集群上,这个计算及集群被称为一个“集合体”(ensemble).ZooKeeper通过复制来实现高可用性,只要集合体中半数以上的机器处于可用状态,它就能够提供服务.所以,一个集合体中通常包含奇数…

应用一致性保障 在Flink中,会自动做检查点,用于故障时恢复一个应用.在恢复时,application的state信息可以根据最近完成的检查点进行重建,并继续运行.不过,仅将一个application的state进行重置并不足以满足exactly-once的保证. 为了给一个应用提供exactly-once保证,在应用根据检查点重置state时,它的每个source connector都应该有能力将它的read position重置到做检查点时的read position.在做一个检查点时,s…

文章目录 一.引言 二.从ACID到CAP/BASE 三.分布式一致性协议 1. 2PC和3PC 2PC 发起事务请求 事务提交/回滚 3PC canCommit preCommit doCommit 2. Paxos 3. ZAB协议 四.Zookeeper初探 1. 简介 2. Zookeeper的设计目标 简单的数据模型 可以构建集群 顺序访问 高性能 3. 基本概念 集群角色 会话 数据节点 版本 Watcher机制 ACL 4. Zookeeper一致性协议ZAB 实现原理 消息广播…

一 本书作者介绍 此书名为从Paxos到ZooKeeper分布式一致性原理与实践,作者倪超,阿里巴巴集团高级研发工程师,国家认证系统分析师,毕业于杭州电子科技大学计算机系.2010年加入阿里巴巴中间件团队担任研发实习岗位,一直从事Zookeeper的开发与运维工作,从中学习与总结了不少分布式一致性相关的理论与实践经验,尤其对Zookeeper及其相关技术有非常深入的研究.目前在中间件团队专家组任职产品经理,负责分布式产品的产品化和云计算改造工作.这本书涉及分布式领域绝大多数系统和框架,适合刚入门…

一.分布式架构 1.分布式特点 分布性 对等性.分布式系统中的所有计算机节点都是对等的 并发性.多个节点并发的操作一些共享的资源 缺乏全局时钟.节点之间通过消息传递进行通信和协调,因为缺乏全局时钟,很难定义两个事件谁先谁后 故障总是会发生.系统设计时,需要考虑到任何异常情况 2.分布式环境的各种问题 通信异常.分布式系统中的某些节点之间无法正常通信 网络分区.这有部分节点可以正常通信,有些无法正常通信.这种现象称为网络分区,也称为“脑裂” 三态.节点之间的一次通信存在三种状态:成功.失败.超时…

从年后拿到这本书开始阅读,到准备系统分析师考试之前,终于读完了一遍,对Zookeeper有了一个全面的认识,整本书从理论到应用再到细节的阐述,内容安排从逻辑性和实用性上都是很优秀的,对全面认识Zookeeper很有帮助,建议大家阅读.本人看书秉承先把书看薄,再把书讲厚的原理,一般喜欢在看的过程中用笔在纸上勾勾画画,加点注释增强理解,看完后会从整体知识结构上整理出我的理解,不求详细,但求关键知识点的串联,最后通过整理的知识点想象自己给别人讲解一遍,对照书中目录,看是否也能像作者面面俱到,调理清晰,…

Zookeeper使用了一种称为Zab(Zookeeper Atomic Broadcast)的协议作为其一致性复制的核心,据其作者说这是一种新发算法,其特点是充分考虑了Yahoo的具体情况:高吞吐量.低延迟.健壮.简单,但不过分要求其扩展性.下面将展示一些该协议的核心内容: 另,本文仅讨论Zookeeper使用的一致性协议而非讨论其源码实现 Zookeeper的实现是有Client.Server构成,Server端提供了一个一致性复制.存储服务,Client端会提供一些具体的语义,比如分布式锁…

第一章 分布式架构 1.1 从集中式到分布式 集中式的特点: 部署结构简单(因为基于底层性能卓越的大型主机,不需考虑对服务多个节点的部署,也就不用考虑多个节点之间分布式协调问题) 分布式系统是一个硬件或软件组件分布在不同的网络计算机上,彼此之间仅仅通过消息传递进行通信和协调的系统. 分布式的特点: 分布性:在空间随意分布 对等性:没有主从之分,都是对等的 并发性 缺乏全局时钟:很难定义两个事件谁先谁后 故障总是会发生 分布式环境的各种问题: 通信异常:主要是因为网络本身的不可靠性 网络分区:当网…

转载:http://flyfoxs.iteye.com/blog/2121560 下面内容主要摘抄于<<Hadoop实战>>,红色高亮部分是本人添加的白话注释. Zookeeper 是一种高性能.可扩展的服务. Zookeeper 的读写速度非常快,并且读的速度要比写的速度更快.另外,在进行读操作的时候, ZooKeeper 依然能够为旧的数据提供服务.这些都是由于 ZooKeepe 所提供的一致性保证,它具有如下特点: [Zookeeper提供的一致性是弱一致性,首先数据的复制有…