本文是典型分布式系统分析系列的第四篇,主要介绍 Dynamo,一个在 Amazon 公司内部使用的去中心化的.高可用的分布式 key-value 存储系统. 在典型分布式系统分析系列的第一篇 MapReduce 中提出了本系列主要关心的问题: 系统在性能.可扩展性.可用性.一致性之间的衡量,特别是CAP 系统的水平扩展是如何实现的,是如何分片的 系统的元数据服务器的性能.可用性 系统的副本控制协议,是中心化还是去中心化 对于中心化副本控制协议,中心是如何选举的 系统还用到了哪些协议.理论.算法…

在 <分布式学习最佳实践:从分布式系统的特征开始(附思维导图)>一文中,提到学习分布式系统的一个好方法是思考分布式系统要解决的问题,有哪些衡量标准,为了解决这些问题:提出了哪些理论.协议.算法,这些解决办法各自的优缺点.适用场景:然后再思考,不同的系统是如何解决同一个问题的,比如说数据分片,比如说元数据的高可用,到了工程实践这个层面是怎么解决的. 上面是从问题出发,寻找答案.而另一个方法,是从一个具体的系统出发,分析这个分布式系统是如何解决需要解决所有问题,如何根据实际情况对分布式特性进行权衡…

在 <分布式学习最佳实践:从分布式系统的特征开始(附思维导图)>一文中,提到学习分布式系统的一个好方法是思考分布式系统要解决的问题,有哪些衡量标准,为了解决这些问题:提出了哪些理论.协议.算法,这些解决办法各自的优缺点.适用场景:然后再思考,不同的系统是如何解决同一个问题的,比如说数据分片,比如说元数据的高可用,到了工程实践这个层面是怎么解决的. 上面是从问题出发,寻找答案.而另一个方法,是从一个具体的系统出发,分析这个分布式系统是如何解决需要解决所有问题,如何根据实际情况对分布式特性进行权衡…

本文是典型分布式系统分析系列的第二篇,关注的是GFS,一个分布式文件存储系统.在前面介绍MapReduce的时候也提到,MapReduce的原始输入文件和最终输出都是存放在GFS上的,GFS保证了数据的可用性与可靠性,那么本文具体看看GFS是怎么做到的. GFS(Google File System)是Google研发的可伸缩.高可用.高可靠的分布式文件系统,提供了类似POSIX的API,按层级目录来组织文件.在网络上,有很多对该轮文的翻译和解读,尤其是经典论文翻译导读之<Google File…

本文是典型分布式系统分析的第三篇,分析的是Bigtable,一个结构化的分布式存储系统. Bigtable作为一个分布式存储系统,和其他分布式系统一样,需要保证可扩展.高可用与高性能.与此同时,Bigtable还有应用广泛的特点(wide applicability),既能满足对延时敏感的.面向终端用户的应用需求,又能hold住高吞吐需求的批处理程序. 不过,通读完整篇论文,会发现,Bigtable这个系统是建立在很多其他google的产品上的,如GFS.Chubby.GFS为Bigtable提…

背景 银行跨行转账业务是一个典型分布式事务场景,假设 A 需要跨行转账给 B,那么就涉及两个银行的数据,无法通过一个数据库的本地事务保证转账的 ACID ,只能够通过分布式事务来解决. 市面上使用比较多的分布式事务框架,支持 SAGA 的,大部分都是 JAVA 为主的,没有提供 C# 的对接方式,或者是对接难度大,一定程度上让人望而却步. 这里推荐一下叶东富大佬的分布式事务框架 dtm,一款跨语言的开源分布式事务管理器,优雅的解决了幂等.空补偿.悬挂等分布式事务难题.提供了简单易用.高性能.易水…

背景 银行跨行转账业务是一个典型分布式事务场景,假设 A 需要跨行转账给 B,那么就涉及两个银行的数据,无法通过一个数据库的本地事务保证转账的 ACID ,只能够通过分布式事务来解决. 在 聊一聊如何用C#轻松完成一个SAGA分布式事务 中介绍了借助 DTM 用 SAGA 事务模式解决了上面的银行跨行转账业务. 这一篇我们就来看看如何用 TCC 的事务模式来处理这个问题. 什么是 TCC TCC是Try.Confirm.Cancel三个词语的缩写,最早是由 Pat Helland 于 2007…

1.MongoDB 介绍 MongoDB是一个基于分布式文件存储的数据库.由C++语言编写.主要解决的是海量数据的访问效率问题,为WEB应用提供可扩展的高性能数据存储解决方案.当数据量达到50GB以上的时候,MongoDB的数据库访问速度是MySQL的10倍以上.MongoDB的并发读写效率不是特别出色,根据官方提供的性能测试表明,大约每秒可以处理0.5万~1.5万次读写请求.MongoDB还自带了一个出色的分布式文件系统GridFS,可以支持海量的数据存储. MongoDB也有一个Ruby的项…

1.MongoDB 介绍 MongoDB是一个基于分布式文件存储的数据库.由C++语言编写.主要解决的是海量数据的访问效率问题,为WEB应用提供可扩展的高性能数据存 储解决方案.当数据量达到50GB以上的时候,MongoDB的数据库访问速度是MySQL的10倍以上.MongoDB的并发读写效率不是特别出色,根 据官方提供的性能测试表明,大约每秒可以处理0.5万~1.5万次读写请求.MongoDB还自带了一个出色的分布式文件系统GridFS,可以支持海量 的数据存储. MongoDB也有一个Rub…

随着因特网web2.0该网站的兴起.非关系型数据库,现在已经成为一个非常受欢迎的新领域.非关系数据库产品的发展非常迅速.而在处理传统的关系数据库web2.0现场.特别是大规模,高并发SNS类型web2.0纯动态网站已经显得力不从心.暴露了非常多难以克服的问题.如:对数据库高并发读写的需求.对海量数据的高效率存储和訪问的需求.对数据库的高可扩展性和高可用性的需求等等,以下我就跟大家几种常见的nosql数据库. 1.MongoDB 介绍 MongoDB是一个基于分布式文件存储的数据库. 由C++语言…