MFS
MooseFS 文件系统 可以实现RAID 功能;节约成本 实现在线扩展;是一种半分布式文件系统。

一、MFS文件系统的组成

1、mfsmaster 元数据服务器。

在整个体系中负责管理管理文件系统,目前MFS只支持一个元数据服务器master,这是一个单点故障,需要一个性能稳定的服务器来充当。希望今后MFS能支持多个master服务器,进一步提高系统的可靠性。

2、 数据存储服务器 chunkserver。

真正存储用户数据的服务器。存储文件时,首先把文件分成块,然后这些块在数据服务器chunkserver之间复制(复制份数可以手工指定,建议设置副本数为3)。数据服务器可以是多个,并且数量越多,可使用的“磁盘空间”越大,可靠性也越高。

3、 MFS客户端。
使用MFS文件系统来存储和访问的主机称为MFS的客户端,成功挂接MFS文件系统以后,就可以像以前使用NFS一样共享这个虚拟性的存储了。元数据服务器安装和配置元数据服务器可以是linux,也可以是unix,你可以根据自己的使用习惯选择操作系统,在我的环境里,我是用freebsd做为MFS元数据的运行平台。GNU源码,在各种类unix平台的安装都基本一致。

二、基础架构

1、MFSmaster
10.10.100.101 1、Metalogger 也可以和master在同一台
10.10.100.102 3、Chunkserver
10.10.100.103- 4、client
IP

1、yum 安装;设置 yum 源

For EL6 family:
# curl "http://ppa.moosefs.com/MooseFS-3-el6.repo" > /etc/yum.repos.d/MooseFS.repo
MooseFS.repo 需要设置 gpgcheck=

2、MFSmaster 管理服务器

1、mfsmaster.cfg 主配置文件
默认开放 端口;
配置元数据存放位置;
metadata.mfs 默认的元数据文件 需要放置到设置的DATA_PATH目录;
# cat /etc/mfs/mfsmaster.cfg |grep -v ^$ |grep -v ^#
DATA_PATH = /mfs/data 2、mfsexports.cfg 对被挂载目录及其权限配置
mfsexports.cfg 对被挂接目录及其权限进行设置
# cat /etc/mfs/mfsexports.cfg |grep -v ^$ |grep -v ^#
* / rw,alldirs,admin,maproot=:
* . rw 3、Metalogger -- 元数据日志服务器
主配置文件 mfsmetalogger.cfg
配置 master_host
# cat /etc/mfs/mfsmetalogger.cfg |grep -v ^$ |grep -v ^#
MASTER_HOST = 10.10.100.101

2、数据存储服务器

# yum install moosefs-chunkserver

1、 Chunkservers -- 数据存储服务器
主配置文件 mfschunkserver.cfg
master_host
master_port # cat /etc/mfs/mfschunkserver.cfg |grep -v ^$ |grep -v ^#
DATA_PATH = /mfs/data
MASTER_HOST = 10.10.100.101
MASTER_PORT = 2、mfshdd.cfg 指定服务器分配给 MFS 使用的空间;
配置MFS 分区
/mfsdata
chown -R mfs:mfs /mfsdata
# cat /etc/mfs/mfshdd.cfg |grep -v ^$ |grep -v ^#
/mfs/data 3、需要端口;
元数据日志服务监听端口
chunk server 数据存储服务器连接端地址;
客户端链接挂接链接端口
chunkserver 端口
moosefs-cgiserv 监控客户端的链接状态;

3、Clients 客户端挂载 需要 fuse 插件;

# yum install moosefs-client
# yum install fuse
# modprobe fuse ( 加载fuse 模块 ) fuse 设置 /etc/fstab
and then add one of the following entries to your /etc/fstab: "classic" entry (works with all MooseFS 3.0 and 2.0 verisons):
mfsmount /mnt/mfs fuse defaults or "NFS-like" entry (works with MooseFS 3.0.+):
mfsmaster.host.name: /mnt/mfs moosefs defaults

三、客户端创建挂载点;

mkdir /mnt/mfs

挂载 MFS
mfsmount /mnt/mfs -H mfsmasterIP
# -p 有密码就输入密码 (注 这只是挂载的是同一个元数据服务器IP ;而不是存储服务器的iP;)

四、 mfscgiserv 监控客户端链接状态

http://MFSMASTER:PORT/

五、源码编译

# useradd mfs -s /sbin/nologin
# wget http://ftp5.gwdg.de/pub/linux/archlinux/extra/os/x86_64//fuse2-2.9.7-3-x86_64.pkg.tar.xz
# wget http://ppa.moosefs.com/src/moosefs-3.0.91-1.tar.gz

管理服务 元数据服务 存储服务 针对不同的服务起:

mfsmaster
mfschunkserver
mfsmetalogger chown -R mfs:mfs /usr/local/mfs
cd /usr/local/mfs
./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
make &&make install

MFS 客户端

# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --enable-mfsmount
# make &&make install

MFS 常用操作

MFS - MooseFS 文件系统的更多相关文章

  1. 分布式文件系统MFS(moosefs)实现存储共享(第二版)

    分布式文件系统MFS(moosefs)实现存储共享(第二版) 作者:田逸(sery@163.com) 由于用户数量的不断攀升,我对访问量大的应用实现了可扩展.高可靠的集群部署(即lvs+keepali ...

  2. 分布式文件系统MFS(moosefs)实现存储共享(一)

    分布式文件系统MFS(moosefs)实现存储共享 作者:田逸(sery@163.com) from:[url]http://net.it168.com/a2009/0403/270/00000027 ...

  3. 分布式文件系统MFS(moosefs)实现存储共享

    分布式文件系统MFS(moosefs)实现存储共享(第二版) 作者:田逸(sery@163.com) 由于用户数量的不断攀升,我对访问量大的应用实现了可扩展.高可靠的集群部署(即lvs+keepali ...

  4. MFS分布式文件系统

    一.MFS概述: MooseFS(moose 驼鹿)是一款网络分布式文件系统.它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源.MFS也像其他类unix文件系统一样,包含了层级结构(目录树 ...

  5. 构建MFS分布式文件系统

    ++++++++++++++构建MFS分布式文件系统++++++++++++++PB级别:企业存储空间达到PB级别,即100万GB空间.(1PB=1000TB,1TB=1000GB,1GB=1000M ...

  6. mfs分布式文件系统,分布式存储,高可用(pacemaker+corosync+pcs),磁盘共享(iscsi),fence解决脑裂问题

    一.MFS概述 MooseFS是一个分布式存储的框架,其具有如下特性:(1)通用文件系统,不需要修改上层应用就可以使用(那些需要专门api的dfs很麻烦!).(2)可以在线扩容,体系架构可伸缩性极强. ...

  7. Centos 安装 Moosefs文件系统

    一.环境介绍Moosefs master:192.168.55.148Moosefs Metalogger:192.168.55.149Moosefs Chunk-01:192.168.55.150M ...

  8. MFS分布式文件系统【4】客户端的挂载MFS存储空间

    挂载基于MooseFS 分布式文件,客户端主机必须安装FUSE软件包(FUSE版本号至少2.6,推荐版本号大于2.7的fuse) [root@master ~]# rpm -qa|grep fuse ...

  9. MFS分布式文件系统【2】MFS MASTER 部署

    MFS版本 mfs-1.6.27 MFS-MASTER 192.168.1.190 MFS-CHUNKSERVER1 192.168.1.252 MFS-CHUNKSERVER2 192.168.1. ...

随机推荐

  1. [2017BUAA软工助教]结对组队

    请同学们把第一次结对编程双方的学号评论在本博客下,只要一位同学评论即可.例如: 14061195 + 14061183

  2. 20135119_涂文斌 实验三 敏捷开发与XP实践

    北京电子科技学院(BESTI) 实  验  报  告 课程: Java        班级:1351           姓名:涂文斌          学号:20135119 成绩:         ...

  3. Beta 讨论分析——持续更新ing

    wonderland Beta 讨论分析 标签(空格分隔): 软工实践 wonderland 主要工作: info信息: 1.关联账号界面:hbb 2.标签检索界面:hbb 3.近期活跃度(cf.hd ...

  4. Believe

    虽然上了一周的软件工程,可是还是不造软件工程是干什么的.听了一节gitlab,似懂非懂,感觉很高大上的样子,自己折腾了许久,还是没有进展,真心无奈. 真是件考验耐性的事~不过,so what?会成功的 ...

  5. asp.net简述MVC开发模式

    详情请参考:http://www.runoob.com/aspnet/mvc-intro.html 1.MVC 是三种 ASP.NET 编程模式中的一种.MVC 是一种使用 MVC(Model Vie ...

  6. Python入门:for循环、while循环

    Python中有两种循环,分别为:for循环和while循环. 1. for循环 for循环可以用来遍历某一对象(遍历:通俗点说,就是把这个循环中的第一个元素到最后一个元素依次访问一次).for循环的 ...

  7. Java学习之String

    一.String介绍(引用类型)1.java.lang.String字符串.用""括住的时字符串,都可以看做是实现此类的实例类String中也有许多简单方法 2.特点1).字符串不 ...

  8. JDK8新特性,方法的引用

    引用方法并运行 在Java中,方法和构造方法都看作是对象的一种,那么你要引用它(不是调用),则可以用::来引用.用来存储这个引用的类型用@FunctionlaInterface注解来标识. 示例: p ...

  9. c++ int转string类型

    std::string int2string(int input){ std::ostringstream ss; //clear string //ss.str(""); //s ...

  10. Problem B: 专家系统 解题报告

    Problem B: 专家系统 Description 一个专家系统是指,你雇佣了\(n\)个专家,他们每个人会做出一个结果,然后你从中选取较多的专家的结果组合而成最终的结果.专家系统广泛应用于传统机 ...