Lecture 03 : GFS

一、一致性

1, 弱一致性

可能会读到旧数据

2, 强一致性

读到的数据都是最新的

3, 一致性比较

  • 强一致性对于app的写方便, 但是性能差

  • 弱一致性有良好的性能, 并且容易延伸服务器, 但是出问题难定位

二、系统设计

1, 为什么chunks那么大

  • 为了均摊费用
  • 减小master的保存chunk状态 大小 (chunk handle)

2, master知道文件架构

  • 对于目录, 知道什么文件在里面
  • 对于文件, 知道每个64MB 的chunk 服务器
  • 保存状态在内存里
  • master可以恢复
    • 操作日志写到磁盘
    • 压缩checkpoint
  • shadow master 落后master, 可以被选拔为master

3, client读过程

  • 发送文件名和chunk index给master
  • master恢复包含目标 chunk 的chunkserver set
    • 包括chunk版本号
    • client缓存上面的信息
  • client询问最近的chunk server
    • 检查版本
    • 如果版本检查错误, 重新联系master

4, client写过程

  • 随机client写到已存在的文件

    • client询问master 目标chunk的位置 和 primary(leases 租约)
    • master回复: chunk servers set、chunk 版本、并且指定谁是primary(有60s的租约)
    • client计算副本的网络拓补结构
    • client发送数据到第一个备份,然后由备份发送给其他备份
      • 使用管道网络(pipeline network??)
    • 备份确认数据回执
    • client 通知primary写
      • primary写
      • 通知其他备份写
      • 全部完成通知client
    • 如果有另一个client对同一个chunk进行写,那么c1/c2会有数据冲突,但是所有的备份数据仍然相同
  • client 追加:

    • same deal, but may put parts from C1 and C2 in any order
      consistent, but not defined
      or, if just one client writes, no problem -- both consistent and defined

5,record append

Client record append
client asks master for chunk locations
client pushes data to replicas, but specifies no offset
client contacts primary when data is on all chunk servers
primary assigns sequence number
primary checks if append fits into chunk
if not, pad until chunk boundary
primary picks offset for append
primary applies change locally
primary forwards request to replicas
let's saw R3 fails mid-way through applying the write
primary detects error, tells client to try again
client retries after contacting master
master has perhaps brought up R4 in the meantime (or R3 came back)
one replica now has a gap in the byte sequence, so can't just append
pad to next available offset across all replicas
primary and secondaries apply writes
primary responds to client after receiving acks from all replicas

三、错误

如果master下线了 shadow master可以提供服务, 但是只能提供读操作(脑裂额综合征,导致不能写)

四、 总结

1, GFS缺陷

  • master容错性差
  • 小文件
  • 客户端能读到旧数据
  • 追加可能会有冗余

五、参考

1. GFS.paper

2. lecture 03

【MIT 6.824 】分布式系统 课程笔记(二)Lecture 03 : GFS的更多相关文章

  1. 李宏毅老师机器学习课程笔记_ML Lecture 3-1: Gradient Descent

    引言: 这个系列的笔记是台大李宏毅老师机器学习的课程笔记 视频链接(bilibili):李宏毅机器学习(2017) 另外已经有有心的同学做了速记并更新在github上:李宏毅机器学习笔记(LeeML- ...

  2. 【MIT 6.824 】分布式系统 课程笔记(一)

    Lecture 02 Infrastructure: RPC & threads 一.多线程挑战 共享数据: 使用互斥信号量.或者避免共享 线程间协作: 使用channels 或者 waitg ...

  3. 李宏毅老师机器学习课程笔记_ML Lecture 2: Where does the error come from?

    引言: 最近开始学习"机器学习",早就听说祖国宝岛的李宏毅老师的大名,一直没有时间看他的系列课程.今天听了一课,感觉非常棒,通俗易懂,而又能够抓住重点,中间还能加上一些很有趣的例子 ...

  4. 李宏毅老师机器学习课程笔记_ML Lecture 1: ML Lecture 1: Regression - Demo

    引言: 最近开始学习"机器学习",早就听说祖国宝岛的李宏毅老师的大名,一直没有时间看他的系列课程.今天听了一课,感觉非常棒,通俗易懂,而又能够抓住重点,中间还能加上一些很有趣的例子 ...

  5. 李宏毅老师机器学习课程笔记_ML Lecture 1: 回归案例研究

    引言: 最近开始学习"机器学习",早就听说祖国宝岛的李宏毅老师的大名,一直没有时间看他的系列课程.今天听了一课,感觉非常棒,通俗易懂,而又能够抓住重点,中间还能加上一些很有趣的例子 ...

  6. 李宏毅老师机器学习课程笔记_ML Lecture 0-2: Why we need to learn machine learning?

    引言: 最近开始学习"机器学习",早就听说祖国宝岛的李宏毅老师的大名,一直没有时间看他的系列课程.今天听了一课,感觉非常棒,通俗易懂,而又能够抓住重点,中间还能加上一些很有趣的例子 ...

  7. 李宏毅老师机器学习课程笔记_ML Lecture 0-1: Introduction of Machine Learning

    引言: 最近开始学习"机器学习",早就听说祖国宝岛的李宏毅老师的大名,一直没有时间看他的系列课程.今天听了一课,感觉非常棒,通俗易懂,而又能够抓住重点,中间还能加上一些很有趣的例子 ...

  8. 深度学习课程笔记(十二) Matrix Capsule

    深度学习课程笔记(十二) Matrix Capsule with EM Routing  2018-02-02  21:21:09  Paper: https://openreview.net/pdf ...

  9. 深度学习课程笔记(二)Classification: Probility Generative Model

    深度学习课程笔记(二)Classification: Probility Generative Model  2017.10.05 相关材料来自:http://speech.ee.ntu.edu.tw ...

随机推荐

  1. hdoj 1010-Tempter of the Bone

    Problem Description The doggie found a bone in an ancient maze, which fascinated him a lot. However, ...

  2. 详解Azure的权限控制

    注意:本文档仅限于Azure国际版,国内版略有不同   Azure中的角色分配相对来说是比较复杂的的,对于任何云组织来说,云的资源访问管理权限都是一项非常重要的功能,azure中的授权系统叫做基于角色 ...

  3. postgresql【二】postgresql强制删除数据库

    SELECT pg_terminate_backend(pg_stat_activity.pid) FROM pg_stat_activity WHERE datname='db_name' AND ...

  4. 阿里云ECS服务器环境搭建(1) —— ubuntu 16.04 图形界面的安装

    阿里云ECS服务器环境搭建(1) —— ubuntu 16.04 图形界面的安装1. 背景在我们购买阿里云ECS服务器之后,默认的系统环境是很干净的,我购买的是ubuntu16.04,远程登录进入之后 ...

  5. ES6深入浅出-8 新版的类(下集)-3.书籍推荐

  6. 【linux命令之 tail学习】

    tail 在屏幕上显示指定文件的末尾若干行 tail file #(显示文件file的最后10行) tail -n +20 file #(显示文件file的内容,从第20行至文件末尾) tail -c ...

  7. locust设置断言的方法

    https://blog.csdn.net/panyu881024/article/details/80146088 这里同样以测试百度首页为例. catch_response = True :布尔类 ...

  8. Embedding Layer

    在深度学习实验中经常会遇Eembedding层,然而网络上的介绍可谓是相当含糊.比如 Keras中文文档中对嵌入层 Embedding的介绍除了一句 “嵌入层将正整数(下标)转换为具有固定大小的向量” ...

  9. 静态站点生成器-md-vue-vuepress

    推荐指数:

  10. 静态站点生成器-md-mkdocs

    推荐指数: