作者：廖君
链接：https://www.zhihu.com/question/19868791/answer/88873783
来源：知乎

分布式系统(Distributed System)资料

介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是分布式系统,还有无线网络.如果感兴趣可以去他的主页了解.

介绍:分布式编程实验室,他们发表的很多的paper,其中不仅仅是学术研究,还有一些工业界应用的论文.

介绍:麻省理工的分布式系统理论主页,作者南希·林奇在2002年证明了CAP理论,并且著《分布式算法》一书.

介绍:分布式系统搭建初期的一些建议

介绍:分布式计算原理课程

介绍:Google全球分布式数据介绍

介绍:Algolia的分布式搜索网络的体系架构介绍

介绍:构建高可用分布式Key-Value存储系统

介绍:Nanomsg和Bond的分布式搜索引擎

介绍:使用MongoDB和Mongothon进行分布式处理

介绍:分布式数据库中把ACID与BASE结合使用.

介绍:理解的Paxos的分布式系统,参考阅读:关于Paxos的历史

介绍:There is No Now Problems with simultaneity in distributed systems

介绍:伦敦大学学院分布式系统课程课件.

介绍:分布式系统电子书籍.

介绍:卡内基梅隆大学春季分布式课程主页

介绍: 电子书,分布式系统概念与设计(第五版)

介绍:这是一位台湾网友 ccshih 的文字，短短的篇幅介绍了分布式系统的若干要点。pdf

介绍:清华大学分布式系统课程主页,里面的schedule栏目有很多宝贵的资源

介绍:免费的在线分布式系统书籍

介绍:Quora上面的一篇关于学习分布式计算的资源.

介绍:这个是第一个全球意义上的分布式数据库，也是Google的作品。其中介绍了很多一致性方面的设计考虑，为了简单的逻辑设计，还采用了原子钟，同样在分布式系统方面具有很强的借鉴意义.

介绍:Google的统面向松散耦合的分布式系统的锁服务,这篇论文详细介绍了Google的分布式锁实现机制Chubby。Chubby是一个基于文件实现的分布式锁，Google的Bigtable、Mapreduce和Spanner服务都是在这个基础上构建的，所以Chubby实际上是Google分布式事务的基础，具有非常高的参考价值。另外，著名的zookeeper就是基于Chubby的开源实现.推荐The google stack,Youtube:The Chubby lock service for loosely-coupled distributed systems

介绍:这篇论文是SOSP2007的Best Paper，阐述了一种构建分布式文件系统的范式方法，个人感觉非常有用。淘宝在构建TFS、OceanBase和Tair这些系统时都充分参考了这篇论文.

介绍:Ebook:Data-Intensive Text Processing with MapReduce.

介绍:Design and Implementation of a Query Processor for a Trusted Distributed Data Base Management System.

介绍:分布式查询入门.

介绍:分布式系统和api总结.

介绍:分布式系统阅读论文，此外还推荐github上面的一个论文列表The Distributed Reader。

介绍:Replication, atomicity and order in distributed systems

介绍:2015年MIT分布式系统课程主页，这次用Golang作为授课语言。6.824 Distributed Systems课程主页

介绍:免费分布式系统电子书。

介绍:斯坦福开源的分布式文件系统。

介绍:Google论文：设计一个高可用的全球分布式存储系统。

介绍:对于分区数据库的分布式事务处理。

介绍:Distributed Systems Building Block: Flake Ids.

介绍:Google Code University课程，如何设计一个分布式系统。

介绍:KVM的分布式存储系统.

介绍:分布式系统课程列表,包括数据库、算法等.

介绍:来自百度的分布式表格系统.

介绍:分布式系统的在线电子书.

介绍:分布式系统资料,此外还推荐Various articles about distributed systems.

介绍:Designs, Lessons and Advice from Building Large Distributed Systems.

介绍:Testing a distributed system can be trying even under the best of circumstances.

介绍: 基于普通服务器构建超大规模文件系统的典型案例，主要面向大文件和批处理系统， 设计简单而实用。 GFS是google的重要基础设施， 大数据的基石， 也是Hadoop HDFS的参考对象。 主要技术特点包括： 假设硬件故障是常态（容错能力强）， 64MB大块， 单Master设计，Lease/链式复制， 支持追加写不支持随机写.

介绍:支持PB数据量级的多维非关系型大表， 在google内部应用广泛，大数据的奠基作品之一 ， Hbase就是参考BigTable设计。 Bigtable的主要技术特点包括： 基于GFS实现数据高可靠， 使用非原地更新技术（LSM树）实现数据修改， 通过range分区并实现自动伸缩等.

介绍:面向log-based存储的强一致的主从复制协议， 具有较强实用性。 这篇文章系统地讲述了主从复制系统应该考虑的问题， 能加深对主从强一致复制的理解程度。 技术特点： 支持强一致主从复制协议， 允许多种存储实现， 分布式的故障检测/Lease/集群成员管理方法.

介绍:分布式存储论文:支持强一直的链式复制方法， 支持从多个副本读取数据,实现code.

介绍:Facebook分布式Blob存储,主要用于存储图片. 主要技术特色:小文件合并成大文件,小文件元数据放在内存因此读写只需一次IO.

介绍: 微软的分布式存储平台, 除了支持类S3对象存储，还支持表格、队列等数据模型. 主要技术特点：采用Stream/Partition两层设计（类似BigTable）;写错（写满）就封存Extent,使得副本字节一致, 简化了选主和恢复操作; 将S3对象存储、表格、队列、块设备等融入到统一的底层存储架构中.

介绍:从工程实现角度说明了Paxo在chubby系统的应用， 是理解Paxo协议及其应用场景的必备论文。 主要技术特点： paxo协议， replicated log， multi-paxo.参考阅读:关于Paxos的历史

介绍:Amazon设计的高可用的kv系统,主要技术特点：综和运用一致性哈希,vector clock,最终一致性构建一个高可用的kv系统， 可应用于amazon购物车场景.新内容来自分布式存储必读论文

介绍:分布式存储系统中的副本存储问题.

介绍:分布式存储系统架构.

介绍:开源分布式文件系统Chirp,对于想深入研究的开发者可以阅读文章的相关Papers.

介绍:经典论文分布式时钟顺序的实现原理.

介绍:面向软件错误构建可靠的分布式系统,中文笔记.

介绍:MapReduce:超大集群的简单数据处理.

介绍:麻省理工的分布式计算课程主页,里面的ppt和阅读列表很多干货.

介绍:分布式系统Styx的架构剖析.

介绍:Quora上面的一个问答:有哪些关于分布式计算学习的好资源.

介绍:下一代分布式k-v存储数据库.

介绍:分布式系统归根结底还是需要操作系统的知识,这是耶鲁大学的操作系统概念书籍首页,里面有提供了第8版的在线电子版和最新的学习操作系统指南,学习分布式最好先学习操作系统.

介绍:分布式系统Log剖析,非常的详细与精彩. 中文翻译 | 中文版笔记.

介绍:分布式系统基础之操作系统学习指南.

介绍:分布式系统领域经典论文翻译集.

介绍:分布式系统性能维护.

介绍:计算机科学，自底向上,小到机器码,大到操作系统内部体系架构,学习操作系统的另一个在线好材料.

介绍:<操作系统:三部曲>在线电子书,虚拟、并发、持续.

介绍:数据库系统经典论文阅读列,此外推送github上面的db reading.

介绍:Unix System Administration ebook.

介绍:分布式系统经典论文.

介绍:计算机系统概念，以分布式为主.此外推荐Introduction to Operating Systems笔记

介绍:推荐康奈尔大学的教授EMİN GÜN SİRER的主页,他的研究项目有分布式,数据存储。例如HyperDex数据库就是他的其中一个项目之一.

介绍:来自卡内基梅隆如何构建可扩展的、安全、高可用性的分布式文件系统,其他papers.

介绍:分布式机器学习常用库.

介绍:介绍了如何构建仓储式数据中心,尤其是对于现在的云计算,分布式学习来说很有帮助.本书是Synthesis Lectures on Computer Architecture系列的书籍之一,这套丛书还有 《The Memory System》,《Automatic Parallelization》,《Computer Architecture Techniques for Power Efficiency》,《Performance Analysis and Tuning for General Purpose Graphics Processing Units》,《Introduction to Reconfigurable Supercomputing》 等

介绍:来自芬兰赫尔辛基的分布式系统课程课件:什么是分布式,复制,一致性,容错,同步,通信.

介绍:分布式数据库TiDB,Golang开发.

介绍:课程资料:大规模系统.

介绍:使用MapReduce进行大规模分布式集群环境下并行L-BFGS.

介绍:Twitter是如何构建高性能分布式日志的.

介绍:在分布式系统中某个组件彻底死了影响很小，但半死不活（网络/磁盘），对整个系统却是毁灭性的.

介绍:来自百度的分布式数据库.

介绍:SequoiaDB分布式文档数据库开源.

介绍:这个网址里收集了一堆各TOP大学分布式相关的课程.

介绍:这个网站是Raft算法的作者为教授Paxos和Raft算法做的，其中有两个视频链接，分别讲上述两个算法.参考阅读:关于Paxos的历史

介绍:A Scalable Content-Addressable Network.

介绍:这个项目其实是一本书（ The Architecture of Open Source Applications）的源代码附录，是一堆大牛合写的.

介绍:这只是一个课程主页，没有上课的视频，但是并不影响你跟着它上课：每一周读两篇课程指定的论文，读完之后看lecture-notes里对该论文内容的讨论，回答里面的问题来加深理解，最后在课程lab里把所看的论文实现。当你把这门课的作业刷完后，你会发现自己实现了一个分布式数据库.

介绍:使用go开发的分布式文件系统.

介绍:Quora上关于学习分布式的资源问答.

介绍:SeaweedFS是使用go开发的分布式文件系统项目,代码简单，逻辑清晰.

介绍:Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别

介绍:Coordination Avoidance In Distributed Databases.

介绍:本文以TiDB 源码为例.

介绍:分布式系统概念梳理,为分布式系统涉及的主要概念进行了梳理.

介绍:使用Redis实现分布式锁.

介绍: 斯坦福2014年秋季分布式课程.

介绍: 分布式的“读原子性”.

介绍: 大数据分布式机器学习的策略与原理.

介绍: 分布式CAP法则.

介绍: 新手如何步入分布式存储系统.

介绍: 分布式存储系统Cassandra剖析,推荐白皮书Introduction to Apache Cassandra.

介绍: 分布式系统学习资源.

介绍: 一些高性能TCP黑客技巧.

介绍:分布式系统性能提升.

介绍:Benjamin Reed 和 Flavio P.Junqueira 所著论文,对Zab算法进行了介绍,zab算法是Zookeeper保持数据一致性的核心,在国内有很多公司都使用zookeeper做为分布式的解决方案.推荐与此相关的一篇文章ZooKeeper’s atomic broadcast protocol: Theory and practice.

介绍:可扩展的分布式文件系统ZFS,The Zettabyte File System,End-to-end Data Integrity for File Systems: A ZFS Case Study.

介绍:分布式Haskell在当前web中的应用.

介绍:POPL2016的论文,关于分布式系统一致性选择的论述,POPL所接受的论文,github上已经有人整理.

介绍:Paxos让分布式更简单.译文.参考阅读:关于Paxos的历史

介绍:分布式系统一致性协议:Paxos.参考阅读:关于Paxos的历史

介绍：事务提交的一致性探讨.

介绍:在《The Part-Time Parliament》中描述了基本协议的交互过程。在基本协议的基础上完善各种问题得到了最终的议会协议。 为了让人更容易理解《The Part-Time Parliament》中描述的Paxos算法，Lamport在2001发表了《Paxos Made Simple》，以更平直的口头语言描述了Paxos，而没有包含正式的证明和数学术语。《Paxos Made Simple》中，将算法的参与者更细致的划分成了几个角色：Proposer、Acceptor、Learner。另外还有Leader和Client.参考阅读:关于Paxos的历史

介绍:看这篇论文时可以先看看理解Paxos Made Practical.

介绍：PaxosLease：实现租约的无盘Paxos算法,译文.

介绍：Paxos算法实现,译文,同时推荐42 Paxos Made Moderately Complex.

介绍：Hadoop学习清单.

介绍：Hadoop学习清单.

介绍：NoSQL知识清单,里面不仅仅包含了数据库阅读清单还包含了分布式系统资料.

介绍：Raft可视化图帮助理解分布式一致性

介绍：Etcd分布式Key-Value存储引擎

介绍：理解peer-to-peer系统中的可用性究竟是指什么.同时推荐基于 Peer-to-Peer 的分布式存储系统的设计

介绍：经典论文

介绍：并行处理的编程语音

介绍：此篇论文对HDFS,MooseFS,iRODS,Ceph,GlusterFS,Lustre六个存储系统做了详细分析.如果是自己研发对应的存储系统推荐先阅读此篇论文

介绍：分布式文件系统综述

  • 《Concepts of Concurrent Programming》

介绍：并行编程的概念,同时推荐卡内基梅隆FTP

介绍：并发控制性能建模：选择与意义

介绍：ebook分布式系统概念与设计

介绍：分布式系统设计的形式方法

介绍：互斥和选举算法

介绍：经典论文

介绍：如何构建一个安全可靠的分布式系统,About the Author,Bibliography:文献资料,章节访问把链接最后的01换成01-27即可

介绍：卡内基梅隆大学的分布式系统博士生课程主页,有很丰富的资料

介绍：Dapper，大规模分布式系统的跟踪系统,译文,译文对照

介绍：伯克利大学计算机系统进阶课程,内容有深度,涵盖分布式,数据库等内容

介绍：PB级分布式系统构建/扩展经验

介绍：伯克利大学计算机系统课程:操作系统与系统编程

介绍：MDCC主要解决跨数据中心的一致性问题中间件,一种新的协议

介绍：google公开对外发表的分布式系统与并行计算论文

介绍：分布式文件系统HDFS架构

介绍：分布式 Key/Value数据库

介绍：是著名的Ceph的负载平衡策略，文中提出的几种策略都值得尝试，比较赞的一点是可以对照代码体会和实践,如果你还需要了解可以看看Ceph:一个 Linux PB 级分布式文件系统,除此以外,论文的引用部分也挺值得阅读的,同时推荐Ceph: A Scalable, High-Performance Distributed File System

介绍：Surrento的冷热平衡策略就采用了延迟写技术

介绍：对于分布式存储系统的元数据管理.

介绍：服务器端的I/O协调并行文件系统处理,网络,文件存储等都会涉及到IO操作.不过里面涉及到很多技巧性的思路在实践时需要斟酌

介绍：分布式文件系统概念与应用

介绍：加利福尼亚大学的研究生操作系统课程主页，论文很值得阅读

介绍：Yahoo出品的流式计算系统，目前最流行的两大流式计算系统之一（另一个是storm），Yahoo的主要广告计算平台

介绍：Google的大规模图计算系统，相当长一段时间是Google PageRank的主要计算系统，对开源的影响也很大（包括GraphLab和GraphChi）

介绍：CMU基于图计算的分布式机器学习框架，目前已经成立了专门的商业公司，在分布式机器学习上很有两把刷子，其单机版的GraphChi在百万维度的矩阵分解都只需要2~3分钟；

介绍：这篇论文是Google 2013年发表的，介绍了F1的架构思路，13年时就开始支撑Google的AdWords业务，另外两篇介绍文章F1 - The Fault-Tolerant Distributed RDBMS Supporting Google's Ad Business.Google NewSQL之F1

介绍：CockroachDB ：一个可伸缩的、跨地域复制的，且支持事务的数据存储,InfoQ介绍,Design and Architecture of CockroachDb

  • 《Multi-Paxos: An Implementation and Evaluation》

介绍：Multi-Paxos实现与总结，此外推荐Paxos/Multi-paxos Algorithm,Multi-Paxos Example，地址:ftp://ftp.cs.washington.edu/tr/2009/09/UW-CSE-09-09-02.PDF

介绍：一致性协议zab分析

介绍：分布式哈希算法论文,扩展阅读Introduction to Distributed Hash Tables,Distributed Hash Tables

介绍：分布式hash表性能的Churn问题

介绍：分布式系统的CAP问题,推荐Perspectives on the CAP Theorem.对CAP理论的解析文章,PODC ppt,A plain english introduction to CAP Theorem,IEEE Computer issue on the CAP Theorem

注：里面的很多内容需要梯子

想从事分布式系统，计算，hadoop等方面，需要哪些基础，推荐哪些书籍？--转自知乎的更多相关文章

  1. hadoop（三）HDFS基础使用

    一.HDFS前言 1. 设计思想          分而治之:将大文件,大批量文件,分布式的存放于大量服务器上.以便于采取分而治之的方式对海量数据进行运算分析     2. 在大数据系统架构中的应用  ...

  2. Hadoop 2.x从零基础到挑战百万年薪第一季

    鉴于目前大数据Hadoop 2.x被企业广泛使用,在实际的企业项目中需要更加深入的灵活运用,并且Hadoop 2.x是大数据平台处理 的框架的基石,尤其在海量数据的存储HDFS.分布式资源管理和任务调 ...

  3. Hadoop学习问题记录之基础篇

    目的 记录学习hadoop过程中遇到的基础问题,无关大小.无关困扰时间长短. 问题一 全分布式环境中运行mapred程序,报异常:java.net.NoRouteToHostException: 没有 ...

  4. hadoop 分布式系统与Hadoop MapReduce

    Hadoop分为两部分 Hadoop MapReduce和Hadoop分布式文件系统 1分布式系统由Master Node 和多台 slave Node组成. 1.1MasterNode Master ...

  5. hadoop大数据平台安全基础知识入门

    概述 以 Hortonworks Data Platform (HDP) 平台为例 ,hadoop大数据平台的安全机制包括以下两个方面: 身份认证 即核实一个使用者的真实身份,一个使用者来使用大数据引 ...

  6. 2020想学习JAVA的同学看过来，最基础的编程CRUD你会了没？

    一 JDBC简介 Java DataBase Connectivity Java语言连接数据库 官方(Sun公司)定义的一套操作所有关系型数据库的规则(接口) 各个数据库厂商去实现这套接口 提供数据库 ...

  7. [PHP] PHP初学者想了解"伪静态"，必须看这个贴 [复制链接] [推荐]

    一.何为“伪静态”? 以传智播客bbs论坛为例,这篇帖子的链接地址原本应该是“http://bbs.itcast.cn/forum.php?mod=post&action=newthread& ...

  8. 二十二、Hadoop学记笔记————Kafka 基础实战 ：消费者和生产者实例

    kafka的客户端也支持其他语言,这里主要介绍python和java的实现,这两门语言比较主流和热门 图中有四个分区,每个图形对应一个consumer,任意一对一即可 获取topic的分区数,每个分区 ...

  9. Ubuntu14下Hadoop开发&lt;1&gt; 基础环境安装

    准备了一台淘汰的笔记本.单核CPU.3G内存.160G硬盘:准备一个2G的U盘 在官网下载了64位的14.04版本号(麒麟)的ISO.下载UNetbootin(Ubuntu专用U盘安装工具) 使用UN ...

随机推荐

  1. PHP读取流文件

    $filepath = 'http://www.vip.com/down'; $fp = fopen($filepath,"r"); Header("Content-ty ...

  2. win7给C盘扩容

    win7给C盘扩容 需要给C盘在不重装系统的情况下进行扩容.在网上搜索了不少资料,包括使用系统自带的分区工具,PQ等软件,都没有成功.不小心看到了分区助手,使用之,迅速的解决了问题,而且解决的非常完美 ...

  3. input type=file美化

    最近碰到input type=file 之前用模拟点击来实现美化,发现在IE7下会有bug导致图片上传不上去,最后改用直接美化的方法 <!DOCTYPE html> <html la ...

  4. ubuntu下安装oracle

    本来打算在 redhat 下面安装了,但是没有 redhat 的盘了,就装了个 ubuntu 桌面版,结果安装起来十分费劲,主要是之前没安装过,对 oracle 的架构和配置也不太懂. 下面记录我安装 ...

  5. TaskHosting - 开发桌面工具原来还可以这么简单

    由来 对于喜欢开发的我经常会写一些小工具,这些小工具多以功能为主,不要求漂亮.个性化的UI.但起码要保证使用方便,因此最基本的功能要有: GUI(图片用户界面) 程序配置的保存与读取(让用户在GUI上 ...

  6. WebRTC is for Losers:WebRTC是输家

    该文章是引述,仅代表作者Dave Michels观点 WebRTC is for Losers WebRTC technology has fallen short on many of its pr ...

  7. How to get the Current Controller Name, Action, or ID in ASP.NET MVC

    public static class HtmlRequestHelper { public static string Id(this HtmlHelper htmlHelper) { var ro ...

  8. iOS CoreData技术学习资源汇总

    一.CoreData学习指引 1. 苹果官方:Core Data Programming Guide 什么是CoreData? 创建托管对象模型 初始化Core Data堆栈 提取对象 创建和修改自定 ...

  9. redhat下mysql安装与使用

    1.安装 (1)查看是否安装 yum list installed mysql* (2)查看现有安装包 yum list mysql* (3)安装mysql服务器端 yum install mysql ...

  10. js 判断微信浏览器

    上周接到个需求,需求是这样的:用户扫一扫二维码会产生一个链接,该链接会向后端发送个请求,返回一个 apk 的下载地址,用户点击下载按钮可以下载此 apk.然后就发生了问题,经过测试,发现用微信扫一扫打 ...