共识算法 区块链中最重要的便是共识算法,比特币使用的是POS(Proof of Work,工作量证明),以太币使用的是POS(Proof of Stake,股权证明)使得算理便的不怎么重要了,而今POS的变体DPOS(Delegated Proof of Stake,股份授权证明)进一步削减算力的浪费,同时也加强了区块链的安全性. 不过,对于不需要货币体系的许可链或者私有链而言,绝对信任的节点,以及高效的需求上述共识算法并不能够提供,因此对于这样的区块链,传统的一致性算法成为首选,PBFT(拜占

一致性算法—Paxos.Raft.ZAB 2019年04月21日 20:35:09 bulingma 阅读数 64更多 分类专栏: 分布式概念   版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/bulingma/article/details/89438851 写在前面 1.分布式系统对fault tolerence的一般解决方案是state machine replication(状态

 两阶段提交 Two-phase Commit(2PC):保证一个事务跨越多个节点时保持 ACID 特性: 两类节点:协调者(Coordinator)和参与者(Participants),协调者只有一个,参与者可以有多个. 过程: 准备阶段:协调者询问参与者事务是否执行成功: 提交阶段:如果事务在每个参与者上都执行成功,协调者发送通知让参与者提交事务:否则,协调者发送通知让参与者回滚事务. 需要注意的是,在准备阶段,参与者执行了事务,但是还未提交.只有在提交阶段接收到协调者发来的通知后,才进行提

分布式一致性协议介绍(Paxos.Raft) https://www.cnblogs.com/hugb/p/8955505.html  两阶段提交 Two-phase Commit(2PC):保证一个事务跨越多个节点时保持 ACID 特性: 两类节点:协调者(Coordinator)和参与者(Participants),协调者只有一个,参与者可以有多个. 过程: 准备阶段:协调者询问参与者事务是否执行成功: 提交阶段:如果事务在每个参与者上都执行成功,协调者发送通知让参与者提交事务:否则,协调者

[ZOOKEEPER系列]Paxos.Raft.ZAB 2018-07-11 12:09:49 wangzy-nice 阅读数 2428更多 分类专栏: zookeeper   版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/qq_34370153/article/details/80998622 ZOOKEEPER系列 Paxos.Raft.ZAB Paxos算法 莱斯利·兰伯特(Les

什么是分布式系统? 拿一个最简单的例子,就比如说我们的图书管理系统.之前的系统包含了所有的功能,比如用户注册登录.管理员功能.图书借阅管理等.这叫做集中式系统.也就是一个人干了好几件事. 后来随着功能的增多,用户量也越来越大.集中式系统维护太麻烦,拓展性也不好.于是就考虑着把这些功能分开.通俗的理解就是原本需要一个人干的事,现在分给n个人干,各自干各自的,最终取得和一个人干的效果一样. 稍微正规一点的定义就是:一个业务分拆多个子业务,部署在不同的服务器上. 然后通过一定的通信协议,能够让这些子业

共识机制作为区块链的关键技术之一,在业务吞吐量.交易速度.不可篡改性.准入门槛等等方面发挥重要的作用. 区块链是去中心化的,没有中心记账节点,所以需要全网对账本达成共识.目前有POW.POS.DPOS.POOL四种共识机制. 首先从“拜占庭将军问题”开始(简书:中本聪与拜占庭将军问题), 用区块链技术中非对称加密和可信的分布式网络解决拜占庭将军问题中的共识问题. 非对称加密 可以解决古代难以解决的签名问题: 消息传送的私密性 能够确认身份 签名不可伪造.篡改 作用:保护消息内容, 并且让消息接收

最近阅读了<SRE Google运维解密>的第23章,有一些感触,记录一下. 日常工作中,我们经常需要一些服务分布式的运行.跨区域如跨城.跨洲部署运行分布式系统往往是容易的,但是如何保证各系统间状态的一致是困难的.如何保证服务的高可靠.高可用,就是服务提供的数据是准确的,关键在于一些状态的传递,这个时候就需要利用分布式共识系统来维护相关状态,确保大家拿到的状态信息最终是一致的. 要想实现一个分布式共识系统,需要采用一些经过理论验证的方案,最基础的就是CAP理论. CAP 理论 CAP原则是指对

Jason Wilder的一篇博客对分别对常见的服务发现开源项目Zookeeper.Doozer.etcd进行了总结介绍: Zookeeper是一个用户维护配置信息.命名.分布式同步以及分组服务的集中式服务框架,它使用Java语言编写,通过Zab协议来保证节点的一致性.因为Zookeeper是一个CP型系统,所以当网络分区问题发生时,系统就不能注册或查找服务. Doozer是一个一致性的.分布式存储系统,使用Go语言编写,通过Paxos来保证强一致性,Doozer项目目前已经停止更新并有将近16

Consul 是一套开源的分布式服务发现和配置管理系统,由 HashiCorp 公司用 Go 语言开发.它具有很多优点.包括:基于 raft 协议,比较简洁: 支持健康检查, 同时支持 HTTP 和 DNS 协议 支持跨数据中心的 WAN(广域网) 集群 提供图形界面 跨平台,支持 Linux.Mac.Windows. consul是使用go语言开发的服务发现.配置管理中心服务.内置了服务注册与发现框 架.分布一致性协议实现.健康检查.Key/Value存储.多数据中心方案,不再需要依赖其他工具

分布式理论系列(二)一致性算法:2PC 到 3PC 到 Paxos 到 Raft 到 Zab 本文介绍一致性算法: 2PC 到 3PC 到 Paxos 到 Raft 到 Zab 两类一致性算法(操作原子性与副本一致性) 2PC 3PC 协议用于保证属于多个数据分片上的操作的原子性.这些数据分片可能分布在不同的服务器上,2PC 协议保证多台服务器上的操作要么全部成功,要么全部失败. Paxos Raft Zab 协议用于保证同一个数据分片的多个副本之间的数据一致性.当这些副本分布到不同的数据中心时

搞懂分布式技术2:分布式一致性协议与Paxos,Raft算法 2PC 由于BASE理论需要在一致性和可用性方面做出权衡,因此涌现了很多关于一致性的算法和协议.其中比较著名的有二阶提交协议(2 Phase Commitment Protocol),三阶提交协议(3 Phase Commitment Protocol)和Paxos算法. 本文要介绍的2PC协议,分为两个阶段提交一个事务.并通过协调者和各个参与者的配合,实现分布式一致性. 两个阶段事务提交协议,由协调者和参与者共同完成. 角色 XA概

Redis缓存的设计.性能.应用与数据集群同步 http://youzhixueyuan.com/design-performance-and-application-of-redis-cache.html Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库.Redis本质上是一个Key-Value类型的内存数据库,很像memcached,整个数据库统统加载在内存当中进行操作,定期通过异步操作把数据库数据flush到硬盘上进行保存. 因为是纯内存操作,Redis

1.从单机数据库说起(Mysql.Oracle.PostgreSQL) 关系型数据库起源自1970年代,其最基本的功能有两个: 把数据存下来: 满足用户对数据的计算需求. 第一点是最基本的要求,如果一个数据库没办法把数据安全完整存下来,那么后续的任何功能都没有意义.当满足第一点后,用户紧接着就会要求能够使用数据,可能是简单的查询,比如按照某个Key来查找Value:也可能是复杂的查询,比如要对数据做复杂的聚合操作.连表操作.分组操作.往往第二点是一个比第一点更难满足的需求. 在数据库发展早期阶段

目录 缓存 什么是缓存 L1.L2.L3 为什么要设置那么多缓存.缓存在cup内还是cup外 MESI协议----主流的处理缓存和主存数据不一样问题 Cache line是什么已经 对编程中数组的影响.   内存 这就是为什么内存条是内存,而硬盘不是 这就是为什么现在 程序这么占内存?         先附上一张计算机硬件组成图片: 先说内核: 内核是操作系统最基本的部分.它是为众多应用程序提供对计算机硬件的安全访问的一部分软件,这种访问是有限的,并且内核决定一个程序在什么时候对某部分硬件操作多

从以下几个维度,对 redis.memcache.mongoDB 做了对比. 1.性能 都比较高,性能对我们来说应该都不是瓶颈. 总体来讲,TPS 方面 redis 和 memcache 差不多,要大于 mongodb. 2.操作的便利性 memcache 数据结构单一.(key-value) redis 丰富一些,数据操作方面,redis 更好一些,较少的网络 IO 次数,同时还提供 list,set, hash 等数据结构的存储. mongodb 支持丰富的数据表达,索引,最类似关系型数据库

from: http://yang.u85.us/memcache_redis_mongodb.pdf   从以下几个维度,对redis.memcache.mongoDB 做了对比. 1.性能 都比较高,性能对我们来说应该都不是瓶颈. 总体来讲,TPS 方面redis 和memcache 差不多,要大于mongodb. 2.操作的便利性 memcache 数据结构单一.(key-value) redis 丰富一些,数据操作方面,redis 更好一些,较少的网络IO 次数,同时还提供list,se

Zookeeper概论(对zookeeper的概论.原理.架构等的理解) 一.概论 Zookeeper是一个分布式的.开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是hadoop和hbase 的重要组件.它是一个为分布式应用提供一致性服务的软件.提供的功能包括:配置维护.名字服务.分布式服务.组服务等. Zookeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效.功能稳定的系统提供给用户. Zookeeper包含一个简单的原语集,提供Jav

from:http://yang.u85.us/memcache_redis_mongodb.pdf 从以下几个维度,对 redis.memcache.mongoDB 做了对比.1.性能都比较高,性能对我们来说应该都不是瓶颈.总体来讲,TPS(系统吞吐量) 方面 redis 和 memcache 差不多,要大于 mongodb.2.操作的便利性memcache 数据结构单一.(key-value)redis 丰富一些,数据操作方面,redis 更好一些,较少的网络 IO 次数,同时还提供 lis

从以下几个维度,对redis.memcache.mongoDB 做了对比,欢迎拍砖 1.性能 都比较高,性能对我们来说应该都不是瓶颈 总体来讲,TPS方面redis和memcache差不多,要大于mongodb 2.操作的便利性 memcache数据结构单一 redis丰富一些,数据操作方面,redis更好一些,较少的网络IO次数 mongodb支持丰富的数据表达,索引,最类似关系型数据库,支持的查询语言非常丰富 3.内存空间的大小和数据量的大小 redis在2.0版本后增加了自己的VM特性,突