程序员的智囊库系列之3--分布式文件系统(Distributed file systems)

这是程序员的智囊库系列的第三篇文章。上一篇文章本来打算介绍几个搭建网站的框架，但由于这部分的内容较多，还需要再整理一段时间，所以先放出这部分的第三篇文章。这一部分我们讲介绍分布式存储相关的一些知识，以及当下(2013-10-29)主流的分布式文件系统。由于有些NoSQL数据库也可以用来做分布式文件系统的替代物，所以这部分我们还将介绍几个NoSQL数据库。主要讲介绍以下几种分布式文件系统和NoSQL数据库:

背景

之前公司一直用nfs做文件服务器，nfs的好处就是配置简单，使用方便。但缺点是当数据量很多，尤其是小文件多的时候，其性能令人堪忧，往往会成为整个系统的性能瓶颈。所以准备在将来考虑用性能更好的方法替代nfs,于是花大工夫整理调查，横向对比了各分布式文件系统。调查报告的详细结果整理在这里，本文是从中抽出几个概要部分稍作讲解，具体内容请参见调查报告原文。我把分析报告原文放到了七牛上，但我感觉它最近不太稳定，如果下载不了，请与我联系，或直接在下面评论里留邮箱。

注：本来调查报告分两部分，理论分析报告和性能测试报告。本文的目的是介绍给大家更多的知识，扩展知识面，增加知识的广度。
而不是说直接告诉你，这个比那个好，你用这个，别用那个。
尤其是性能测试这种东西，别人的测试结果的参考价值并不是很大，必须沉下心来，自己去一点点的测才能找到最适合自己的工具、参数。
因此，本文只给出了理论分析报告，并没有给出性能测试报告。

几点基础知识

存储方案

数据存储的方法

块存储(block)
文件存储(file)
对象存储(object)

元数据(meta data)

元数据的概念：data about data
数据是指普通文件中的实际数据，而元数据指用来描述一个文件的特征的系统数据，
诸如访问权限、文件拥有者以及文件数据块的分布信息(inode...)等等。
在集群文件系统中，分布信息包括文件在磁盘上的位置以及磁盘在集群中的位置。
用户需要操作一个文件必须首先得到它的元数据，才能定位到文件的位置并且得到文件的内容或相关属性。
元数据对文件系统的影响：文件系统对元数据的操作占据了传统文件系统总负荷的近一半。
高效的元数据管理方式对提高整个系统的性能至关重要。
A comparison of file system workloads. 2000 USENIX Annual Technical Conference

单点依赖

当一台服务器出现故障后，整个服务器群瘫痪。
解决方案：
1 TFS 利用linux 高可用性（HA）机制，配置HA元数据服务集群。但这样只能配置主设备和从设备，事实上同一时刻还是只有一个服务器在服务。这样做只能提高系统的稳定性，并不能解决采用集成式元数据服务模式的瓶颈问题（由于系统需要同步，反而会降低性能）。
2 Ceph GPFS 分布式元数据服务模型将负载分散到多台服务器解决了性能瓶颈问题，利用对等的服务器或冗余元数据服务分区解决了单点故障问题。分布式看似非常完善，然而它大大增加了设计实现上的复杂性，同时可能会引入了新的问题，即性能开销和数据一致性问题。

3 GlusterFS 无元数据服务模型
无元数据服务器设计的好处是没有单点故障和性能瓶颈问题，可提高系统扩展性、性能、可靠性和稳定性。对于海量小文件应用，这种设计能够有效解决元数据的难点问题。它的负面影响是，数据一致问题更加复杂，文件目录遍历操作效率低下，缺乏全局监控管理功能。同时也导致客户端承担了更多的职能，比如文件定位、名字空间缓存、逻辑卷视图维护等等，这些都增加了客户端的负载，占用相当的CPU和内存。

HA高可用性

高可用性H.A.（High Availability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。它与被认为是不间断操作的容错技术有所不同。HA系统是目前企业防止核心计算机系统因故障停机的最有效手段。
实现方法：

heartbeat：比较常用
rhcs：redhat集群套件--redhat cluster suite 图形界面，实现方便，可有100多个节点
corosync/openais + paceker
2个节点：
采用主备模式：一台激活，另一台备份，对外呈现一个虚拟ip地址。两个节点之间采用心跳线，备份节点使用心跳线来探测活动节点是否处于活动状态。
心跳线：双绞线或光纤跳线或 serial线
采用主主模式：两个节点，在提供web服务时，左侧为激活状态，右侧为备份状态；在实现mail服务时，一个为激活状态，一个为备份状态。

FUSE

Filesystem in userspace
在用户态实现的文件系统

为什么使用FUSE：

首先要了解用户态和内核态
为了保证系统安全，在用户态执行的代码被硬件限制，不能进行某些操作，如修改其他程序的存储空间、修改配置文件、杀死其他进程、重启等。
而在内核态（核心态）执行的代码，可以不加限制地对系统存储、外部设备进行操作。

但是从用户态切换到核心态需要很大的开销。
所以FUSE有如下优点：
能够大幅提高效率，简化了为操作系统提供新的文件系统的工作量，特别适用于各种虚拟文件系统和网络文件系统。

开源软件的版本(copyleft)问题

GPL GPL2 GPL3 LGPL AGPL

题外话

无目录结构、扁平化存储是海量存储的未来发展方向
一般来讲计算机内部对文件的操作和查找不是按目录进行定位的
目录结构完全是为了方便用户浏览。
因而，一些不会与用户直接打交道的数据，完全可以不用目录结构存储。设计新产品的时候可以采用扁平化设计。

参考资料

关于存储，分布式存储，分布式文件系统的更多信息，可以参见以下几本资料：

刘爱贵整理的《分布式文件系统》。分布式文件系统的大体认识。
张冬写的《大话存储》和《大话存储2》。这个系列的书讲得非常通俗易懂，而且很详细，例子也很生动，我认为可以作为国内的权威了。
《海量存储》

分布式文件系统的评价标准

部署

部署复杂程度
服务器配置要求
文件系统接口
是否支持FUSE
是否需要配套的客户端
是否支持目录结构
可拓展性

性能

小文件支持
大文件支持
文件大小对性能的影响
平均传输速率

数据安全

单点依赖
冗余保护
故障恢复

实际应用

适用产品级别
是否成熟
实际应用
版本号

维护

是否开源
license
社区活跃程度
文档语言
开发语言
文档完善程度

其他

数据迁移成本
存储机制
元数据存储方式
其他特点

如何才能选择最好的分布式文件系统呢？没有最好的分布式文件系统，只有最适合你的实际情况的。不是说最近ceph很火，ceph就一定适合你，一定要在认真分析你的实际情况后，通过理论参数做出初步筛选，然后通过性能测试来做最后的筛选，切不可鲁莽选择。
详细的理论比对请参见理论分析报告的原文！

时间：2014-11-16
作者：FingerLiu
如果您对我介绍的知识感兴趣，欢迎收藏和推荐！谢谢您的支持！
-------------------------------