GlusterFS ——分布式卷

GlusterFS概述

全部部署GlusterFS文件系统地址：https://www.cnblogs.com/Mercury-linux/p/12050389.html

GlusterFS系统是一个可扩展的网络文件系统，相比其他分布式文件系统，GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点，并且其没有元数据服务器的设计，让整个服务没有单点故障的隐患。

文件存储
通常支持POSIX接口（如glusterfs，但GFS、HDFS是非POSIX接口的），可以像普通文件系统（如ext4）那样访问，但又比普通文件系统多了并行化访问的能力和冗余机制。主要的分布式文件存储系统有TFS、cephfs、glusterfs和HDFS等。主要存储非结构化数据，如普通文件、图片、音视频等。可以采用NFS和CIFS等协议访问，共享方便。NAS是文件存储类型。

块存储
这种接口通常以QEMU Driver或者Kernel Module的方式存在，主要通过qemu或iscsi协议访问。主要的块存储系统有ceph块存储、sheepdog等。主要用来存储结构化数据，如数据库数据。数据共享不方便。DAS和SAN都是块存储类型。

对象存储
对象存储系统综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的数据共享等优势。以对象作为基本的存储单元，向外提供RESTful数据读写接口，常以网络服务的形式提供数据访问。主要的对象存储系统有AWS、swift和ceph对象存储。主要用来存储非结构化数据

 

分布式Glusterfs卷

这是默认的glusterfs卷，即，如果未指定卷的类型，则在创建卷时，默认选项是创建分布式卷。在这里，文件分布在卷中的各个块之间。因此，file1只能存储在brick1或brick2中，而不能存储在两者中。因此，没有数据冗余。这种存储卷的目的是轻松而便宜地缩放卷大小。但是，这也意味着砖块故障将导致数据完全丢失，并且必须依靠底层硬件来提供数据丢失保护。（数据一但丢了也就丢了）

环境准备

操作系统	ip	主机名	硬盘数量（两块）
centos 7.6	10.0.0.11	node01	sdb: 20G sdc: 20G
centos 7.6	10.0.0.12	node02	sdb: 20G sdc: 20G
centos 7.6	10.0.0.13	node03	sdb: 20G sdc: 20G
centos 7.6	10.0.0.14	node04	sdb: 20G sdc: 20G
centos 7.6	10.0.0.7	web01（client）	sda: 50G
......

GlusterFS客户端常用命令                                   

命令	功能
gluster peer probe	添加节点
gluster peer detach	移除节点
gluster volume create	创建卷
gluster volume start $VOLUME_NAFME	启动卷
gluster volume stop $VOLUME_NAME	停止卷
gluster volume delete $VOlUME_NAME	删除卷
gluster volume quota enable	开启卷配额
gluster volume quota disable	关闭卷配额
gluster volume quota limitusage	设定卷配额

#以下部分在node主机上面操作 

服务端部署

. 安装GlusterFS源
[root@gs-node1 ~]# yum install centos-release-gluster -y

. 安装GlusterFS
[root@gs-node1 ~]# yum install -y glusterfs-server

. 启动GlusterFS
[root@gs-node1 ~]# systemctl start glusterfsd glusterfssharedstorage
[root@gs-node1 ~]# systemctl enable glusterfsd glusterfssharedstorage

. 检查端口是否存在24007
[root@gs-node1 ~]# netstat -lntup
netstat -lntup  | grep
tcp               0.0.0.0:           0.0.0.0:*               LISTEN      /glusterd   

. 查看GlusterFS版本
[root@node01 ~]# glusterfs -V
glusterfs 6.6
Repository revision: git://git.gluster.org/glusterfs.git
Copyright (c) - Red Hat, Inc. <https://www.gluster.org/>
GlusterFS comes with ABSOLUTELY NO WARRANTY.
It is licensed to you under your choice of the GNU Lesser
General Public License, version  or any later version (LGPLv3
or later), or the GNU General Public License, version  (GPLv2),
in all cases as published by the Free Software Foundation.

. hosts文件解析
注：node01~node04所有的主机hosts文件均为此内容；同时全部修改为对应的主机名，centos7修改主机名方式：#hostnamectl set-hostname 主机名 （即为临时和永久生效）可以使用#hostnamectl status   查看系统基本信息

[root@gs-node1 ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.0.0.11 node01
10.0.0.12 node02
10.0.0.13 node03
10.0.0.14 node04
10.0.0.7  web

#查看版本

[root@node01 ~]# cat /etc/redhat-release
CentOS Linux release 7.6. (Core)

创建受信任地址池

主机node01添加

#在node01添加完个gluterfs服务端后不需要在其他主机上进行添加，它们是一个互联的关系，关系同等相互之间可以通信了。

[root@node01 ~]# gluster peer probe node02
[root@node01 ~]# gluster peer probe node03
[root@node01 ~]# glutser peer probe node04

查看地址池信息

#在主机node02上面查看
[root@node02 ~]# gluster peer status
Number of Peers: 

Hostname: node01
Uuid: f86a4fad-3c98-4e36-9d8e-d0e01db6b9d3
State: Peer in Cluster (Connected)

Hostname: node03
Uuid: 61d970f4-11d8-4b39-a16a-7c9070a14ac7
State: Peer in Cluster (Connected)

Hostname: node04
Uuid: 81f83924-b480-4a70-868c-59ebb1ab1583
State: Peer in Cluster (Connected)

格式化磁盘挂载

#node全部主机格式化磁盘

如果磁盘大于4T的话就使用parted命令进行分区

#查看所有主机的磁盘
[root@node ~]# fdisk -l
#格式化全部主机分区
[root@node ~]# mkfs.xfs  /dev/sdb
[root@node ~]# mkfs.xfs  /dev/sdc

挂载分区

#在xshell下选择全部会话进行创建

[root@node ~]#  mkdir -p /data/gv{..5}
[root@node ~]#  mount  /dev/sdb  /data/gv1
[root@node ~]#  mount  /dev/sdc  /data/gv2
[root@node ~]#  df -h
/dev/sdb         20G   33M   20G   % /data/gv1
/dev/sdc         20G   33M   20G   % /data/gv2

创建卷

#在node01上面操作

[root@node01 /]# gluster  volume create gv1 node03:/data/gv1 node02:/data/gv2 force
volume create: gv1: success: please start the volume to access data
# 创建分布式卷，卷名是gv1 

[root@node01 /]# gluster  volume info gv1    #查看gv1卷的状态
Volume Name: gv1          #卷名：gv1
Type: Distribute          #类型：分布式卷
Volume ID: 4dad3829--488e-812e-9a2b1833bc3b     #卷的ID
Status: Created           #状态：创建
Snapshot Count:          #快照计数：
Number of Bricks:        #块的数量：
Transport-type: tcp       #传输类型：tcp协议
Bricks:                   #以下是哪些主机块的信息
Brick1: node03:/data/gv1
Brick2: node02:/data/gv2
Options Reconfigured:    #选项配置
transport.address-family: inet
nfs.disable: on          #nfs禁用：开启

客户端操作

Gluster Native Client 是基于FUSE的，所以需要保证客户安装了FUSE。这个官方推荐的客户端，支持高并发和高效的写性能。

客户端部署

#安装客户端软件
[root@web01 /]# yum install glusterfs-client -y  

创建挂载目录

[root@web01 /]# mkdir /gv1
#这个目录需要挂载分布式文件系统服务

[root@web01 /]# mount.glusterfs   node01:/gv1 /gv1
#进行挂载    `df -h` 命令会显示

[root@web01 /]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        49G  .9G   47G   % /
devtmpfs        476M       476M   % /dev
tmpfs           487M       487M   % /dev/shm
tmpfs           487M  7.7M  479M   % /run
tmpfs           487M       487M   % /sys/fs/cgroup
/dev/sda1       197M  105M   93M  % /boot
tmpfs            98M        98M   % /run/user/
node01:gv2       40G  475M   40G   % /gv1

创建文件检验

#在目录创建目录
[root@web01 /]# cd  /gv1
[root@web01 /gv1]#  touch {..}

#node主机查看
[root@node02 /data/gv1]# ls

[root@node03 /data/gv1]# ls
  

https://blog.csdn.net/w20010106/article/details/87994374参考：