这是 MIT 6.824 课程 lab1 的学习总结,记录我在学习过程中的收获和踩的坑. 我的实验环境是 windows 10,所以对lab的code 做了一些环境上的修改,如果你仅仅对code 感兴趣,请移步 : github/zouzhitao mapreduce overview 先大致看一下 mapreduce 到底是什么 我个人的简单理解是这样的: mapreduce 就是一种分布式处理用户特定任务的系统.它大概是这样处理的. 用户提供两个函数 mapFunc(k1,v1)-> lis…

首发于公众号:努力学习的阿新 前言 大家好,这里是阿新. MIT 6.824 是麻省理工大学开设的一门关于分布式系统的明星课程,共包含四个配套实验,实验的含金量很高,十分适合作为校招生的项目经历,在文章<2022 双非应届 CS 硕士校招上岸字节跳动(校招总结)>中,我也将其推荐给了各位读者.但由于课程是全英的,实验说明也是全英的,实验过程中还需要阅读相关的英文文献,很多同学(包括曾经的笔者)受困于英语,对其望而却步.因此,笔者决定开启系列文章:MIT 6.824(Spring 2020)实验…

书接上文Raft Part C | MIT 6.824 Lab2C Persistence. 实验准备 实验代码:git://g.csail.mit.edu/6.824-golabs-2021/src/raft 如何测试:go test -run 2D -race 相关论文:Raft Extended Section 7 实验指导:6.824 Lab 2: Raft (mit.edu) 实验目标 实现Snapshot.CondInstallSnapshot.InstallSnapshot RPC…

书接上文Raft Part B | MIT 6.824 Lab2B Log Replication. 实验准备 实验代码:git://g.csail.mit.edu/6.824-golabs-2021/src/raft 如何测试:go test -run 2C -race 相关论文:Raft Extended 实验指导:6.824 Lab 2: Raft (mit.edu) 实验目标 完成persist()和readPersist()函数,编码方式参照注释. 优化nextIndex[]回退方式,…

书接上文Raft Part A | MIT 6.824 Lab2A Leader Election. 实验准备 实验代码:git://g.csail.mit.edu/6.824-golabs-2021/src/raft 如何测试:go test -run 2B -race 相关论文:Raft Extended Section 5.3 Section 5.4.1 实验指导:6.824 Lab 2: Raft (mit.edu) 实验目标 在Leader Election的基础上,完成Leader和…

本节内容:Lect 1 MapReduce框架的执行过程: master分发任务,把map任务和reduce任务分发下去 map worker读取输入,进行map计算写入本地临时文件 map任务完成通知master 告知本地中间结果文件的位置大小信息 master通知reduce worker reduce worker从不同的map worker读取自己负责的部分,这个过程称为shuffle reduce worker读取之后会在本地进行排序 调用用户的reduce方法进行计算 最终reduc…

概述 MapReduce是由JeffreyDean提出的一种处理大数据的编程模型,用户定义map和reduce函数,map函数处理原始数据生成一系列键值对中间数据,reduce函数并合相同key的键值对. 编程模型 整个计算过程输入的是键值对,输出的也是键值对.用户只需要提供两个函数分别是Map和Reduce. 比如要统计大数据文本中的词频,我们可以写出如下的Map和Reduce函数: map(String key, String value): // key: document name //…

现在我们准备做第一个作业Lab1啦 wjk大神也在做6.824,可以参考大神的笔记https://github.com/zzzyyyxxxmmm/MIT6824_Distribute_System Part I The Map/Reduce implementation you are given is missing some pieces. Before you can write your first Map/Reduce function pair, you will need to f…

源代码参见我的github: https://github.com/YaoZengzeng/MIT-6.824 Part I: Word count MapReduce操作实际上就是将一个输入文件拆分成M份,交由M个Map task进行操作.每个Map task生成R个包含中间键值对的结果.R个Reduce task执行Reduce操作,其中第i个Reduce task操作每个Map task的第i个输出文件.最终,生成R个结果文件,通过Merge操作,将结果生成一个输出文件. 1.mapred…

实验准备 实验代码:git://g.csail.mit.edu/6.824-golabs-2021/src/raft 如何测试:go test -run 2A -race 相关论文:Raft Extended Section 5.2 实验指导:6.824 Lab 2: Raft (mit.edu) 实验目标 实现Raft算法中Leader Election(RequestVote RPC)和Heartbeats(AppendEntries RPC).确保只有一个Leader被选中,且若无错误该L…

摘要: 源代码参见我的github:https://github.com/YaoZengzeng/MIT-6.824 Lab3: Paxos-based Key/Value Service Introduction 在Lab2中我们依靠单个的master view server来获取primary.如果view server不可用(崩溃了或者有网络问题),那么key/value service就不工作了,即使primary和backup都是可用的.而且它在处理server(primary或者ba…

源代码参见我的github:https://github.com/YaoZengzeng/MIT-6.824 Lab 2:Primary/Backup Key/Value Service Overview of lab 2 在本次实验中,我们将使用primary/backup replication 来提供能够容错的key/value service.为了让所有的clients和severs都认同哪个server是primary,哪个server是backup,我们将引入一个master ser…

Lecture 02 Infrastructure: RPC & threads 一.多线程挑战 共享数据: 使用互斥信号量.或者避免共享 线程间协作: 使用channels 或者 waitgroup 来等待所有map线程结束 并发粒度: 粗粒度: 简单,但是并发性不高 细粒度: 更多的并发,但是处理复杂,可能会有更多的冲突和死锁 以下这段代码就能说明并发的粒度问题: constructTaskArgs := func(phase jobPhase, task int) DoTaskArgs {…

本节内容:Lect 2   RPC and Threads 线程:Threads allow one program to (logically) execute many things at once.The threads share memory. However, each thread includes some per-thread state: program counter, registers, stack. 下面以go语言写一个爬虫作为例子来介绍线程: Go example:…

Lecture 03 : GFS 一.一致性 1, 弱一致性 可能会读到旧数据 2, 强一致性 读到的数据都是最新的 3, 一致性比较 强一致性对于app的写方便, 但是性能差 弱一致性有良好的性能, 并且容易延伸服务器, 但是出问题难定位 二.系统设计 1, 为什么chunks那么大 为了均摊费用 减小master的保存chunk状态 大小 (chunk handle) 2, master知道文件架构 对于目录, 知道什么文件在里面 对于文件, 知道每个64MB 的chunk 服务器 保存状态…

之前看过一个go语言并发的介绍:https://www.cnblogs.com/pdev/p/10936485.html   但这个太简略啦.下面看点深入的 还记得https://www.cnblogs.com/pdev/p/11095475.html中我们写过一个简单的爬虫.这里面就用到了Go的两种并发方式: 1.    Go routines和Go channels(ConcurrentChannel),这是Go语言特有的一种并发方式,可以简化编程 1.1 Go routines Gorou…

前言 The Paxos algorithm, when presented in plain English, is very simple. ------ Lamport,<Paxos Made Simple> Unfortunately, Paxos is quite difficult to understand, in spite of numerous attempts to make it more approachable. ------ Diego Ongaro,<In…

MapReduce是Google在2004年发表的论文<MapReduce: Simplified Data Processing on Large Clusters>中提出的一个用于分布式的用于大规模数据处理的编程模型. 原理 MapReduce将数据的处理分成了两个步骤,Map和Reduce.Map将输入的数据集拆分成一批KV对并输出,对于每一个<k1, v1>,Map将输出一批<k2, v2>:Reduce将Map对Map中产生的结果进行汇总,对于每一个<k…

最近终于抽出时间开始学习MIT 6.824,本文为我看MapReduce论文和做lab后的总结. [MapReduce英文论文] lab要用到go语言,这也是我第一次接触.可以参考go语言圣经学习基本语法. [Go语言圣经] MapReduce 简介 MapReduce描述了一种编程模型,由处理数据的map函数生成中间键值对(Key/Value),再由Reduce函数处理中间键值对生成输出文件.根据用户自定义的map和reduce函数不同,可以实现不同的功能.下面我简单总结了个人觉得比较关键的部…

MIT 6.824 LAB1 环境搭建 vmware 虚拟机 linux ubuntu server   安装 go 官方安装步骤: 下载此压缩包并提取到 /usr/local 目录,在 /usr/local/go 中创建Go目录树.例如: tar -C /usr/local -xzf go$VERSION.$OS-$ARCH.tar.gz 该压缩包的名称可能不同,这取决于你安装的Go版本和你的操作系统以及处理器架构. (此命令必须作为root或通过 sudo 运行.) 要将 /usr/loca…

这个资料关于分布式系统资料,作者写的太好了.拿过来以备用 网址:https://github.com/ty4z2008/Qix/blob/master/ds.md 希望转载的朋友,你可以不用联系我．但是一定要保留原文链接,因为这个项目还在继续也在不定期更新．希望看到文章的朋友能够学到更多． <Reconfigurable Distributed Storage for Dynamic Networks> 介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT…

作者:廖君链接:https://www.zhihu.com/question/19868791/answer/88873783来源:知乎 分布式系统(Distributed System)资料 <Reconfigurable Distributed Storage for Dynamic Networks> 介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是分布式系统,还有无线网络.如果感兴趣…

作者:廖君链接:https://www.zhihu.com/question/19868791/answer/88873783来源:知乎 分布式系统(Distributed System)资料 <Reconfigurable Distributed Storage for Dynamic Networks> 介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是分布式系统,还有无线网络.如果感兴趣…

Dapr是为云上环境设计的跨语言, 事件驱动, 可以便捷的构建微服务的系统. balabala一堆, 有兴趣的小伙伴可以去了解一下. Dapr提供有状态和无状态的微服务. 大部分人都是做无状态服务(微服务)的, 只是某些领域无状态并不好使, 因为开销实在是太大了; 有状态服务有固定的场景, 就是要求开销小, 延迟和吞吐都比较高. 废话少说, 直接来看Dapr是怎么实现有状态服务的. 先来了解一下有状态服务: 1. 稳定的路由 发送给A服务器的请求, 不能发给B服务器, 否则就是无状态的 2. 状…

通用的CP系统有etcd和consul, 通用的对立面就是专用系统. 所以在某些场合是有这种需求的. 然而etcd embed的可用性极差, Windows上面跑会出现各种问题, 而且不能定制协议, 你必须得用etcd定义好的协议和客户端来和etcd集群通讯. 所以这时候的选择: 1. 忍着 2. 自己实现一个raft算法库, 在这上面做应用 有一定的可能性, 起码MIT 6.824可以做出来, 但是和工业应用还是有很大的差距 3. 找一个工业级raft库, 然后在这上面做应用 这时候到Raft…

下载方式 根据你的操作系统下载不同的 BiliDrive 二进制. 执行: bilidrive download <link> 链接 文档 链接 斯坦福 cs224d 深度学习与自然语言处理讲义.epub (2.87 MB) bdrive://2771ca27aa5f0eb73bcf9591ee127c2d51270617 Matplotlib 用户指南.epub (4.67 MB) bdrive://0376e03bdbf46d1670cd8d955ccde094e226a2f8 OllyD…

Lab 1链接:https://pdos.csail.mit.edu/6.824/labs/lab-1.html Part I: Map/Reduce input and output Part I需要补充两个关键功能:为map函数分解输出的功能和为reduce函数收集输入的功能,这两个功能对应的函数分别在common_map.go的doMap()函数和common_reduce.go的doRedce()函数. 本人首先梳理程序运行流程,其次补充代码,最后测试结果. 程序运行流程简述如下: Se…

什么是Map-Reduce呢? Map指的是一个形如下面定义的函数. def Map(k, v): //return [(k1, v1), (k2, v2), (k3, v3), ...] pass 它接受一个key和一个value,返回一组所谓的中间值.注意,返回的不是一个dict,所以k1可能等于k2. Reduce指的是一个形如下面定义的函数. def Reduce(k, [v1, v2, v3, ....])://return v pass 它接受一个key和该key对应的所有在Map函…

简介 当我们要统计数亿文本的词频,单个机器性能一般,况且是数亿级数据,处理是十分缓慢的,对于这样的任务,希望的是多台电脑共同处理,大幅度减少任务时间.联合多台电脑一起工作的系统就是分布式系统. 最近在学MIT6.824分布式系统课程,第一个Lab就是MapReduce,MapReduce是Google公司2004年发表的一篇论文,介绍很多任务都可以分为两步操作--Map和Reduce(比如要统计词频,Map分别对每个文件生成单词和单一数目,分不同区块保存,Reduce对不同区块进行统计,得到最终…

前言 本系列是源于「码农翻身」所属知识星球发起的读书活动,由大佬 @我的UDP不丢包 推荐而来,这次的读书活动有一些另类,我们抛弃了传统的书籍,开始攻略最高学府的研究生顶级课程 <6.824>,该课程是很多年前的蠕虫病毒发明者Robert Morris大佬授课,归属于麻省理工大学,授课方式主要是:视频 + Lab 实验(Go 语言) + 论文,全程英语,难度较大. 分布式系统的判断依据 multiple cooperating computers (多台计算机协作) storage for b…