MooseFS分布式文件系统介绍及安装教程详解

MFS系统由4个部分构成：master、metalogger、chunkserver、client。
 
1、Master —— mfs的大脑，记录着管理信息，比如：文件大小，存储的位置，份数等，和innodb中共享空间（ibdata）中存储的信息类似，这些信息被记录到metadata.mfs中，当该文件被载入内存后，该文件会重命名为metadata.mfs.back，当chunkserver上有更新时，master会定期将获得的新的信息回写到metadata.mfs.back中，保证元数据的可靠。
 
　　硬件推荐：大内存，因为内存中需要将metadata.mfs加载进来，这个文件的大小取决于你chunkserver上存储的数据量，内存的大小会成为之后的问题，要ECC的可以进行错误校验，当内存中数据量达到一定程度，如果没有个容错的机制，会很可怕；冗余电池，和磁盘配置RAID1/RAID5/RAID10，都是为了保证高可靠。
 
2、Metalogger —— mfs的备份，好比mysql中的m-s结构，metalogger会定期重master上将的metadata、changelog、session类型的文件下载同步到本地目录下，并加后缀”_ml”将其重命名。
 
　　硬件推荐：与master机器配置一致，metalogger本身就是master的一个备机，当master宕机后，可以直接将metalogger提升为master。
 
3、Chunkserver —— 数据存储地，文件以chunk大小存储，每chunk最大为64M，小于64M的，该chunk的大小即为该文件大小，超过64M的文件将被均分，每一份（chunk）的大小以不超过64M为原则；文件可以有多份copy，即除了原始文件以外，该文件还存储的份数，当goal为1时，表示只有一份copy，这份copy会被随机存到一台chunkserver上，当goal的数大于1时，每一份copy会被分别保存到每一个chunkserver上，goal的大小不要超过chunkserver的数量，否则多出的copy，不会有chunkserver去存，goal设置再多实际上也就没有意义的。Copy的份数，一般设为大于1份，这样如果有一台chukserver坏掉后，至少还有一份copy，当这台又被加进来后，会将失去的那份copy补回来，始终保持原有的copy数，而如果goal设为1copy，那么当存储该copy的chunkserver坏掉，之后又重新加入回来，copy数将始终是0，不会恢复到之前的1个copy。
 
Chunkserver上的剩余存储空间要大于1GB（Reference Guide有提到），新的数据才会被允许写入，否则，你会看到No space left on device的提示，实际中，测试发现当磁盘使用率达到95%左右的时候，就已经不能写入了，当时可用空间为1.9GB。
 
　　硬件推荐：普通的机器就行，就是要来存几份数据，只要磁盘够大就好。
 
4、Client —— 客户端通过内核加载的FUSE模块，再通过和master的沟通，将chunkserver共享的分区挂载到本地，然后进行读写操作。由于FUSE模块是外加的模块，当系统重启后，需要执行modprobe fuse，将其加载到内核中。

MooseFS分布式文件系统安装步骤

1、准备工作
服务器操作系统与IP：

1 2 3 4 5 6

操作系统都为CentOS 6.5 x64   主控服务器 Master server: 　　　　192.168.0.160 主控备份服务器 Metalogger server: 192.168.0.161 存储块服务器 Chunk servers: 　　　192.168.0.162 and 192.168.0.163--本次实施部署2台存储服务器 客户端主机 (clients): 　　　　　　192.168.0.X

软件包下载：
MooseFS的最新稳定版：moosefs-ce-2.0.53-1.tar.gz
客户端挂载FUSE软件最新版：fuse-2.9.3.tar.gz

注：moosefs-ce-2.0.53-1.tar.gz下载后上传到所有服务器（主控、主备份、存储、客户端）上
的/usr/src目录下；fuse-2.9.3.tar.gz上传到所有客户端主机的/usr/src目录下

hosts指向：
在所有服务器上的/etc/hosts中添加下面指向，确保都能连接到主控服务器。

1	192.168.0.160 mfsmaster

2、Master server 安装
按以下命令步骤进行编译安装：

1 2 3 4 5 6 7 8

# groupadd mfs # useradd -g mfs mfs # cd /usr/src # tar -zxvf moosefs-ce-2.0.53-1.tar.gz # cd moosefs-ce-2.0.53 # ./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var/lib --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount # make # make install

成功安装 master 以后，系统会在/etc/mfs目录自动生成样例配置文件，这些样例文件是以.dist后缀命名。这里我们将借用这些样例文件作为 MooseFS 主控服务器的目标配置文件：

1 2 3 4

# cd /etc/mfs/ # cp mfsmaster.cfg.dist mfsmaster.cfg # cp mfsmetalogger.cfg.dist mfsmetalogger.cfg # cp mfsexports.cfg.dist mfsexports.cfg

二进制文件 metadata 和文本文件 changelog 将被保存在目录/var/lib/mfs，这是因为我们安装过程的 configure 步骤使用了选项 --localstatedir=/var/lib 。首次安装 master 时，会自动生成一个名为 metadata.mfs.empty 的元数据文件 metadata，该文件是空的。MooseFS master 运必须有文件 metadata.mfs，这个文件是从 metadata.mfs.empty 改名而来：

1 2	# cd /var/lib/mfs # cp metadata.mfs.empty metadata.mfs

现在启动master server服务

1	# /usr/sbin/mfsmaster start

为了监控 MooseFS 当前运行状态，我们可以运行 CGI 监控服务，这样就可以用浏览器查看整个
MooseFS 的运行情况：

1	# /usr/sbin/mfscgiserv

现在可以访问http://192.168.0.160:9425/看到一些信息（暂时还没有关于chunk servers的数据）。
 
设置mfsmaster、mfscgiserv进程在操作系统启动时自动运行：
编译/etc/rc.local，在最后面添加下面启动命令

1 2	/usr/sbin/mfsmaster start /usr/sbin/mfscgiserv

3、Metalogger server 安装
因为Metalogger server主要作用是主控服务器的备份，所以Metalogger server 的安装和master server的安装是一样的，我们用以下命令：

1 2 3 4 5 6 7 8

# groupadd mfs # useradd -g mfs mfs # cd /usr/src # tar -zxvf moosefs-ce-2.0.53-1.tar.gz # cd moosefs-ce-2.0.53 # ./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var/lib --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount # make # make install

启动Metalogger server备用服务器进程：

1	# /usr/sbin/mfsmetalogger start

设置mfsmetalogger进程在操作系统启动时自动运行：
编译/etc/rc.local，在最后面添加下面启动命令

1	/usr/sbin/mfsmetalogger start

4、Chunk servers 安装
在chunk server的机器上运行下面命令进行安装：

1 2 3 4 5 6 7 8

# groupadd mfs # useradd -g mfs mfs # cd /usr/src # tar -zxvf moosefs-ce-2.0.53-1.tar.gz # cd moosefs-ce-2.0.53 # ./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var/lib --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster # make # make install

重命名 chunk server 服务所需的配置文件:

1 2 3

#cd /etc/mfs #cp mfschunkserver.cfg.dist mfschunkserver.cfg #cp mfshdd.cfg.dist mfshdd.cfg

在配置文件 mfshdd.cfg 中，我们给出了用于客户端挂接 MooseFS 分布式文件系统根分区所使用的共享空间位置。建议在 chunk server 上划分单独的空间给 MooseFS 使用，这样做的好处是便于管理剩余空间。此处我们假定要使用一个共享点/mnt/mfschunk（如果没有，请先创建共享点）。
编辑/etc/mfs/mfshdd.cfg，在最后面添加下面的文本行：

1	/mnt/mfschunk

在启动 chunk server 前，需确保用户 mfs 有权限读写将要被挂接的分区（因为 chunk server 运
行时要在此创建一个.lock 的文件）：

1	# chown -R mfs:mfs /mnt/mfschunk

启动 chunk server服务：

1	# /usr/sbin/mfschunkserver start

设置chunk server进程在操作系统启动时自动运行：
编译/etc/rc.local，在最后面添加下面启动命令

1	/usr/sbin/mfschunkserver start

注：在MooseFS系统中，我们必须在所有chunk server存储服务器上执行上面同样的操作。

现在再通过浏览器访问 http://192.168.0.160:9425/ 应该可以看见这个 MooseFS 系统的全部信息（包括主控 master和存储服务 chunkserver）。

5、客户端的安装
为了挂载基于MooseFS的文件系统，需要所有客户端安装FUSE包：

1 2 3 4 5 6

# cd /usr/src # tar -zxvf fuse-2.9.3.tar.gz # cd fuse-2.9.3 # ./configure # make # make install

执行下面命令，不然编译mfsmount会报Fuse不存在的错：

1	export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH

编译安装客户端软件mfsmount：

1 2 3 4 5 6

# cd /usr/src # tar -zxvf moosefs-ce-2.0.53-1.tar.gz # cd moosefs-ce-2.0.53 # ./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var/lib --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster --disable-mfschunkserver # make # make install

假定客户端的挂接点是 /mnt/mfs ，我们将以下面的指令来使用 MooseFS 分布式共享文件系统:
创建挂接点：

1	# mkdir -p /mnt/mfs

执行挂载命令操作：

1 2 3

# /usr/bin/mfsmount /mnt/mfs -H mfsmaster 或 # /usr/bin/mfsmount /mnt/mfs -H 192.168.0.160

挂载成功后，执行命令 df –h 查看分区情况：

1 2 3 4 5 6

# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/vg_mfsclient1-lv_root 6.7G 2.2G 4.2G 35% / tmpfs 245M 0 245M 0% /dev/shm /dev/xvda1 485M 34M 426M 8% /boot mfsmaster:9421 169G 9.1G 160G 6% /mnt/mfs

MooseFS分布式文件系统基础用法

1、设置挂载目录/文件副本数
我们这次实施有两台存储服务器，就设置副本数为2。
 
使用命令 mfssetgoal –r 设定目录里文件的副本数:

1 2 3 4 5

# mfssetgoal -r 2 /mnt/mfs /mnt/mfs/ inodes with goal changed: 5 inodes with goal not changed: 0 inodes with permission denied: 0

拷贝一个文件到/mnt/mfs目录:

1	# cp /usr/src/moosefs-ce-2.0.53-1.tar.gz /mnt/mfs

用命令 mfschunkfile 来检查指定文件以多少副本数来存储。
 
在目录 /mnt/mfs 中，文件 moosefs-ce-2.0.53-1.tar.gz 是以两个副本保存的（后面的1代表1个块文件）：

1 2 3

# mfscheckfile /mnt/mfs/moosefs-ce-2.0.53-1.tar.gz /mnt/mfs/moosefs-ce-2.0.53-1.tar.gz: chunks with 2 copies: 1

注：当所有的组件被安装到同一个物理主机的时候，即便设定了 goal=2 来到达保存两个副本的目的，但你可能看到的只是一个副本而已—这是合理的，尽管有两个磁盘，但它只是一个 chunk server！

2、停止 MooseFS
为了安全停止 MooseFS 集群，建议执行如下的步骤：
 
　在所有客户端用 umount 命令先卸载挂载文件系统(本例将是: umount /mnt/mfs)
　停止所有 chunk server 进程: /usr/sbin/mfschunkserver stop
　停止 metalogger 进程: /usr/sbin/mfsmetalogger stop
　停止主控 master server 进程: /usr/sbin/mfsmaster stop