1.GFS介绍

GFS简要说明,它有两种:

1. Google文件系统:GFS是GOOGLE实现的是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。欲了解更多,可以访问:http://baike.baidu.com/item/GFS/1813072

2. Redhat 的GFS(Global File System)

GFS(Global File System)自己以本地文件系统的形式出现。多个Linux机器通过网络共享存储设备,每一台机器都可以将网络共享磁盘看作是本地磁盘,如果某台机器对 某个文件执行了写操作,则后来访问此文件的机器就会读到写以后的结果。可以根据对性能或是可扩展性,或者以经济性多个原则进行不同方案的部署。

GFS 主要组件,集群卷管理,锁管理,集群管理,围栏和恢复,集群配置管理。

本文主要介绍Redhat的GFS系统。

REDHAT CLUSTER SUITEWITH GFS :

RHCS(REDHAT CLUSTER SUITE)是一款能够提供高性能、高可靠性、负载均衡、高可用性的集群工具集,一个集群通常有两个或两个以上的计算机(称为“节点”或”成员“)共同执行一个任务。

RHCS主要组件:

  • 集群架构:

提供一个基本功能使节点作为集群工作在一起:配置文件管理,成员关系管理,锁管理和栅设备。

  • 高可用性管理:

提供节点失败转移服务,当一个节点失败后将服务转移到另一个节点上。

  • 集群管理工具:

通过配置和管理工具来配置和管理Red Hat集群。

  • Linux Virtual Server (LVS)

LVS提供一个基于IP的负载均衡功能,通过LVS可以将客户请求均匀的分配到集群节点上。

其它Red Hat集群组件:

  • Cluster Logical Volume Manager (CLVM)

提供逻辑卷管理集群存储。

  • 集群管理器:

CMAN是一个分布式集群管理器(DLM),它运行在每一个集群节点上,CMAN通过监视集群节点提供一个法定节点数(quorum),当集群 中有多于一半的节点处于活跃状态时,此时符合法定节点数,集群继续可用,当只有有一半或少于一半的节点处于活跃状态是则已达到不到法定节点数,此时整个集 群变得不可用。CMAN通过监控集群中节点来确定各节点的成员关系,当集群中的成员关系发生改变,CMAN会通架构中其它组件来进行相应的调整。

  • DLM锁管理:

分布式锁管理器,它运行在所有的集群节点上,锁管理是一个公共的基础结构,为集群提供一种共享集群资源的管理机制,GFS通过锁管理器使用锁机制来同步访问文件系统元数据,CLVM通过锁管理器来同步更新数据到LVM卷和卷组。

  • 数据的完整保证:

RHCS 通过 Fence设备从共享存储切断失效节点的I/O以保证数据的完整性。当CMAN确定一个节点失败后,它在集群结构中通告这个失败的节点(组播),fenced进程会将失败的节点隔离,以保证失败节点不破坏共享数据。

REDHAT集群配置系统:

集群配置文件:(/etc/cluster/cluster.conf) 是一个XML文件,用来描述下面的集群特性。

集群名称:列出集群名称、集群配置文件版本和一个隔离时间,隔离相应时间当一个新节点加入或从集群中隔离时。

集群:列出集群中的每一个节点,指定节点名称,节点ID,法定投票数,和栅模式。

fence设备:定义fence设备。

管理资源:定义创建集群服务需要的资源。管理资源包括失败转移域,资源和服务。

2.GFS搭建

设置环境如下,两节点操作共享文件:

  • 192.168.10.11 test01
  • 192.168.10.12 test02
  • OS:CentOS6.8 64位
  • VMware共享磁盘一块

以下操作如非特别注明,则需要在所有的节点上执行。

2.1配置网络

编辑hosts文件,使两节点间可通过主机名访问:

# more /etc/hosts
127.0.0.1 localhost localhost.localdomain
:: localhost localhost.localdomain
192.168.10.11 test01
192.168.10.12 test02

2.2安装集群文件系统相关的软件包

使用yum安装软件包:

# yum install cman openais gfs* kmod-gfs lvm2* rgmanager system-config-cluster scsi-target-utils cluster-snmp

上述软件包有众多的依赖包会被安装或更新,为避免出现意外情况,建议软件包安装后重启。

2.3配置iptables

允许test01和test02相互通信

test01配置文件/etc/sysconfig/iptables添加:

-A INPUT -s 192.168.10.12 -j ACCEPT

test02配置文件/etc/sysconfig/iptables添加:

-A INPUT -s 192.168.10.11 -j ACCEPT

2.4修改相关配置

修改/etc/sysconfig/selinux中selinux=disabled

修改lvm逻辑卷配置:

# vi /etc/lvm/lvm.conf

将locking_type = 1,改为locking_type = 3,允启用同时读写。

修改fallback_to_local_locking=0,以禁止回写,避免导致裂脑。

2.5生成集群配置文件

[root@test02 ~]# ccs_tool create GFSmail
[root@test02 ~]# ccs_tool addfence meatware fence_manual
[root@test02 ~]# ccs_tool lsfence
Name Agent
meatware fence_manual
[root@test02 ~]# ccs_tool addnode -n -f meatware test01
[root@test02 ~]# ccs_tool addnode -n -f meatware test02
[root@test02 ~]# ccs_tool lsnode
Cluster name: GFSmail, config_version:
Nodename Votes Nodeid Fencetype
test01 meatware
test02 meatware
[root@test02 ~]#
[root@test02 ~]# rsync -avz /etc/cluster/cluster.conf root@test01
sending
incremental file list
cluster.conf
sent bytes received bytes 676.00 bytes/sec
total size is speedup is 1.65
[root@test02 ~]#
[root@test02 data]# cat /etc/cluster/cluster.conf
<?xml version="1.0"?>
<cluster name="GFSmail" config_version=""> <clusternodes>
<clusternode name="test01" votes="" nodeid=""><fence><method name="single"><device name="meatware"/></method></fence></clusternode><clusternode name="test" votes="" nodeid=""><fence><method name="single"><device name="meatware"/></method></fence></clusternode></clusternodes> <fencedevices>
<fencedevice name="meatware" agent="fence_manual"/></fencedevices> <rm>
<failoverdomains/>
<resources/>
</rm>
</cluster>

而后可以执行ccs_config_validate命令检查配置文件是否合法。

2.6创建集群存储

先手动启动cman和clvmd命令,以便监控集群卷的中存储设备的状态:

# service cman start

# service clvmd start

# service rgmanager start

以下操作在节点1端执行:

创建物理卷和卷组和逻辑卷:

[root@test01 ~]# pvcreate /dev/sdb

  Physical volume "/dev/sdb" successfully created

[root@test01 ~]# vgcreate mailcluster /dev/sdb

  Clustered volume group "mailcluster" successfully created

[root@test01 ~]# pvs

  PV         VG          Fmt  Attr PSize   PFree

  /dev/sda2  vg_mail     lvm2 a--u .41g    

  /dev/sdb   mailcluster lvm2 a--u   .00t .00t

[root@test01 ~]# lvcreate -n maildata -l %FREE mailcluster

  Logical volume "maildata" created.

[root@test01 ~]# lvs

  LV       VG          Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert

  maildata mailcluster -wi-a-----   .00t

  home     vg_mail     -wi-ao----  .00g

  root     vg_mail     -wi-ao---- .41g

  swap     vg_mail     -wi-ao----   .00g

[root@test01 ~]#

2.7在新建的逻辑卷上创建gfs2文件系统:

[root@test01 ~]# mkfs.gfs2 -j  -p lock_dlm -t GFSmail:maildata /dev/mapper/mailcluster-maildata

This will destroy any data on /dev/mapper/mailcluster-maildata.

It appears to contain: symbolic link to `../dm-'

Are you sure you want to proceed? [y/n] y

Device:                    /dev/mapper/mailcluster-maildata

Blocksize:                 

Device Size                4096.00 GB ( blocks)

Filesystem Size:           4096.00 GB ( blocks)

Journals:                  

Resource Groups:           

Locking Protocol:          "lock_dlm"

Lock Table:                "GFSmail:maildata"

UUID:                      50e12acf-6fb0---856c383b51dd

[root@test01 ~]#

对于mkfs.gfs2命令来说,我们所使用的参数功能如下:

-p:用来指定gfs的锁机制,一般情况下会选择lock_dlm;

-j:指定journal个数(可加入节点数),一般情况下应留有冗余,否则后期还得再调整;

查看journals:# gfs2_tool journals /home/coremail/var

增加journals:# gfs2_jadd -j 1 /home/coremail/var  ##增加一个journals

-t:格式为ClusterName:FS_Path_Name

ClusterName:应与前面cluster.conf中指定的集群名称相同(上文为:GFSmail);

FS_Path_Name:这个块设备mount的路径(上文为:maildata);

最后一个参数是指定逻辑卷的详细路径;

2.8GFS挂载

创建目录:

[root@test01 ~]# mkdir /home/coremail/var

将刚刚创建的逻辑卷加入到/etc/fstab文件中,使其开机自动映射:

[root@test01 ~]# echo "/dev/mapper/mailcluster-maildata  /home/coremail/var            gfs2    defaults,noatime,nodiratime,noquota        0 0" >> /etc/fstab

启动gfs2服务:

[root@test01 ~]# /etc/init.d/gfs2 start

节点2端执行:

操作前可以先执行pvs,lvs命令,看看是否能够正常显示节点1端创建的物理卷和逻辑卷信息,如果看不到(先尝试lvscan),则说明并未使用共享存储,或者配置有异常,仍然需要排查,需要等问题解决后,再执行下列的命令。

[root@test02 ~]# mkdir /home/coremail/var

[root@test02 ~]# echo "/dev/mapper/mailcluster-maildata  /home/coremail/var            gfs2    defaults,noatime,nodiratime,noquota        0 0" >> /etc/fstab

[root@test02 ~]# /etc/init.d/gfs2 start

执行# clustat可以查询各成员节点的状态。

[root@test02 ~]# clustat

Cluster Status for GFSmail @ Thu Nov   :: 

Member Status: Quorate

 Member Name                                       ID   Status

 ------ ----                                       ---- ------

 test01                                          Online

 test02                                          Online, Local

[root@test02 ~]#

2.9在所有节点操作,配置服务的自动启动,这样就不必担心服务器重启了:

# chkconfig --add cman

# chkconfig --add clvmd

# chkconfig --add gfs2

# chkconfig --add rgmanager

# chkconfig --level  cman on

# chkconfig --level  clvmd on

# chkconfig --level  gfs2 on

# chkconfig --level  rgmanager on

参考资料:https://access.redhat.com/documentation/zh-CN/Red_Hat_Enterprise_Linux/6/html/Global_File_System_2/ch-overview-GFS2.html

VMware下CentOS6.8配置GFS文件系统的更多相关文章

  1. VMware下CentOS6.5无法连接网络

    VMware下CentOS6.5无法连接网络的主要原因就是eth0文件配置了不正确的地址 正确配置方法如下: 1.确保虚拟网卡(VMware Network Adapter VMnet8)是开启的,然 ...

  2. VMware下Centos6.4安装

    VMware(Virtual Machine ware)是一个“虚拟PC”软件公司,提供服务器.桌面虚拟化的解决方案. 小伙伴们网上下载VMware11,一路下一步自己安装吧!!! 打开 VMware ...

  3. VMware下Linux网络配置局域网和外网访问

    要使用Linux系统很重要的一个操作就是使Linux系统能够访问互联网,只有Linux系统能够访问互联网才能够去下载很多自己所需要的资源,如果不能访问互联网那么使用Linux系统往往会卡在这一步,假设 ...

  4. 错误处理:vmware下克隆centos7配置静态ip地址网卡问题

    vmware下克隆centos7,在配置静态ip地址,重启网卡存在问题,还是mac地址问题 ip addr show 查看下mac地址,配置文件修改下,重启网卡正常了

  5. vmware下centos6.7网络配置

    使用NAT方式: 查看/etc/sysconfig/network-script/ 下面没有ifcfg-eth0 新建ifcfg-eth0,内容如下 DEVICE=eth0 BOOTPROTO=dhc ...

  6. 虚拟机VMware下CentOS6.5安装教程图文详解(VMnet8)

    (写在最前面:如果你下载的iso文件 CentOS-6.*-x86_64-minimal.iso 系列,那么需要这么安装:https://blog.csdn.net/lixianlin/article ...

  7. VMware下centos6.3minimal搭建网络环境

    VMware提供3钟连接网络的方式,参看http://www.cnblogs.com/xiaochaohuashengmi/archive/2011/03/15/1985084.html 先确定VMw ...

  8. VMware Workstation CentOS-6.4-x86_64-minimal 配置网络以及安装JDK和tomcat

    1.配置网络(能够联网)转自:http://blog.sina.com.cn/s/blog_75ad10100101ma4c.html 1)vmware的网卡连接方式选择为桥接(bridged)不要用 ...

  9. VMware下Centos7-Minimal上网配置

    1.Centos7下载 http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1810.iso 2.推荐 ...

随机推荐

  1. Windows Service--Write a Better Windows Service

    原文地址: http://visualstudiomagazine.com/Articles/2005/10/01/Write-a-Better-Windows-Service.aspx?Page=1 ...

  2. Android Studio实现APK的更新、下载、安装

    先不讲那么多看效果图: 下面来讲解一些更新CODE,原理大家都知道,不废话,直接上代码.里面有一些是我自己做的测试例子,所以大家可以直接删掉就好了 第一个:activity_main.xml < ...

  3. es6 中增强的对象字面量

    http://www.cnblogs.com/Wayou/p/es6_new_features.html 对象字面量被增强了,写法更加简洁与灵活,同时在定义对象的时候能够做的事情更多了.具体表现在: ...

  4. Lind.DDD.Events领域事件介绍

    回到目录 闲话多说 领域事件大叔感觉是最不好讲的一篇文章,所以拖欠了很久,但最终还是在2015年年前(阴历)把这个知识点讲一下,事件这个东西早在C#1.0时代就有了,那时学起来也是一个费劲,什么是委托 ...

  5. 13、ASP.NET MVC入门到精通——MVC请求管道

    本系列目录:ASP.NET MVC4入门到精通系列目录汇总 ASP.NET MVC的请求管道和ASP.NET请求管道基本上一模一样,如果你对ASP.NET请求管道十分熟悉的话,你只要关注一下不同点.看 ...

  6. js中this的绑定

    人们对于this的绑定常常有两个误解,一:指向函数本身,二:指向函数作用域.这两种想法都是错的,this并不指向函数本身,也不指向函数作用域. function foo(){ this.count++ ...

  7. vue+ vue-router + webpack 踩坑之旅

    说是踩坑之旅 其实是最近在思考一些问题 然后想实现方案的时候,就慢慢的查到这些方案   老司机可以忽略下面的内容了 1)起因  考虑到数据分离的问题  因为server是express搭的   自然少 ...

  8. js正则表达式图形化工具-rline

    github地址:https://github.com/finance-sh/rline 在线demo: http://lihuazhai.com/demo/test.html 这是一个js正则表达式 ...

  9. json和jsonp的区别,ajax和jsonp的区别

    json和jsonp虽然只有一个字母的区别,但是它们之间扯不上关系. json是一种轻量级的数据交换格式. jsonp是一种跨域数据交互协议. json的优点:(1)基于纯文本传递极其简单,(2)轻量 ...

  10. Autodesk正在招聘Civil、Infraworks金牌支持工程师(Premium Support Specialist)

    Civil Infraworks金牌支持工程师,也不知道中文这么翻对不对,反正很牛的,地点优选上海,不过其他地区也没问题啊,感兴趣的,赶紧扔简历过来,我当你内线,帮你内推 :) Autodesk是全球 ...