准备工作

1、安装IBA

yum install libradmacm librdmacm-devel libmlx4 infiniband-diags

2、配置IPOIB

   /etc/sysconfig/network-scripts/ifcfg-ib0
   DEVICE=ib0
   TYPE=InfiniBand
   BOOTPROTO=static
   ONBOOT=yes
   IPADDR=17.0.31.3
   NETMASK=255.255.0.0

修改完配置之后,需要重启ib0

ifdown ib0
ifup ib0

ib0无法识别

service rdma restart

3、配置hosts

127.0.0.1   localhost localhost.localdomain localhost4    localhost4.localdomain4
::         localhost localhost.localdomain localhost6 localhost6.localdomain6
173.0.31.1      datasrv001
173.0.31.2      datasrv002
173.0.31.3      datasrv003
17.0.31.1       ibdatasrv001    datasrv001.ib
17.0.31.2       ibdatasrv002    datasrv002.ib
17.0.31.3       ibdatasrv003    datasrv003.ib

安装glusterfs-3.6.7
1、下载glusterfs-3.6.7
2、

configure;make;make clean

3、打包后,放在

/root/rpmbuild/SOURCES/glusterfs-3.6..tar.gz

目录下。
4、

rpmbuild -ta glusterfs-3.6..tar.gz

rpmbuild -ba glusterfs.spec

生成包。
5、将Centos自带的glusterfs-3.6.0(卸载)

rpm -qa |grep glusterfs|xargs rpm -e --nodeps

6、安装生成的rpm包,

rpm -ivh *.rpm --nodeps

(注): ibstat 发现ib状态无法过去,缺少 ib_umad模块,可以使用modprobe加载模块。

modprobe ib_umad

加载成功之后,使用ibstat查看IB状态。

[root@datasrv001 ~]# ibstat
 CA 'mlx4_0'
 CA type: MT4099
 Number of ports:
 Firmware version: 2.35.
 Hardware version:
 Node GUID: 0xe41d2d030050b260
 System image GUID: 0xe41d2d030050b263
 Port :
  State: Active
  Physical state: LinkUp
  Rate: (FDR10)
  Base lid:
  LMC:
  SM lid:
  Capability mask: 0x02514868
  Port GUID: 0xe41d2d030050b261
  Link layer: InfiniBand

启动glusterfs
1、打开防火墙

 iptables -I INPUT -p tcp --dport : -j ACCEPT
 iptables -I INPUT -p tcp --dport : -j ACCEPT

2、修改glusterd.vol文件

volume management
    type mgmt/glusterd
    option working-directory /var/lib/glusterd
    option transport-type socket,rdma
    option transport.socket.keepalive-time
    option transport.socket.keepalive-interval
    option transport.socket.read-fail-log off
    option ping-timeout
#   option base-port
    option base-port
    option rpc-auth-allow-insecure on
   end-volume

3、启动服务

 service glusterd start

4、探测节点
    在cinder的服务器datasrv001上

 gluster peer probe ibdatasrv002
 gluster peer probe ibstatsrv003

挂载卷
    格式化磁盘  mkfs.ext4
    准备服务
    1、在存储服务器上准备卷

gluster volume create datavolume1 transport tcp ibdatasrv001:/mnt/test1/dv1
   

2、把datavolume也给设置上insecure on

 gluster volume set datavolume1 server.allow-insecure on

3、启动datavolume服务

 gluster volume start datavolume1

4、挂载客户端

 mount -t glusterfs ibdatasrv001:/datavolume1 /mnt/mount_test

glusterFS分布式文件系统的搭建的更多相关文章

  1. GlusterFS 分布式文件系统的使用入门-管理GlusterFS卷

    GlusterFS 分布式文件系统的使用入门-管理GlusterFS卷 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.卷的扩容 您可以根据需要在群集联机且可用时扩展卷.例如,您 ...

  2. GlusterFS分布式文件系统部署及基本使用(CentOS 7.6)

    GlusterFS分布式文件系统部署及基本使用(CentOS 7.6) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. Gluster File System 是一款自由软件,主要由 ...

  3. GlusterFS分布式文件系统高速管理

    TaoCloud XDFS基于GlusterFS开源分布式文件系统,进行了系统优化.project化.定制化和产品化工作,五年以上的实践积累了大量实践经验,包含客户案例.最佳实践.定制开发.咨询服务和 ...

  4. Centos7下GlusterFS 分布式文件系统环境搭建

    Centos7下 GlusterFS 环境搭建准备工作glusterfs-3.6.9.tar.gzuserspace-rcu-master.zip三台服务器:192.168.133.53.192.16 ...

  5. GlusterFS分布式文件系统的使用

    glusterfs是一款开源的分布式文件系统. 它具备高扩展.高可用及高性能等特性,由于其无元数据服务器的设计,使其真正实现了线性的扩展能力,使存储总容量可轻松达到PB级别,支持数千客户端并发访问. ...

  6. GlusterFS分布式文件系统部署

    GlusterFS是一个可伸缩的网络文件系统,使用常见的现成的硬件,您可以创建大型分布式存储流媒体解决方案.数据分析.和其他数据相关的任务.GlusterFS是自由和开源软件. 详细参考官网:http ...

  7. GlusterFS 分布式文件系统

    简介 官方文档:https://docs.gluster.org/en/latest/Quick-Start-Guide/Architecture/ Glusterfs是一个开源的分布式文件系统,是S ...

  8. 分布式文件系统FastDFS搭建实操

    转载---------佳先森--- 一.什么是文件系统 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节 ...

  9. CentOS7.5 GlusterFS 分布式文件系统集群环境搭建

    环境准备: 系统版本:CentOS Linux release 7.5.1804 (Core) glusterfs:3.6.9 userspace-rcu-master: 硬件资源: 10.200.2 ...

随机推荐

  1. Bzoj4066 简单题

    Time Limit: 50 Sec  Memory Limit: 20 MBSubmit: 2185  Solved: 581 Description 你有一个N*N的棋盘,每个格子内有一个整数,初 ...

  2. django1.8 提示(1_8.W001) The standalone TEMPLATE_* settings were deprecated in Django 1.8 and the TEMPLATES dictionary takes precedence. You must put the values of the following settings into your defau

    原因是升级之后不推荐使用单独的 TEMPLATES_DIR这样的设置了,使用TEMPLATE = []这种就好了 详细见https://openedx.atlassian.net/browse/TNL ...

  3. PHP的单引号与双引号的区别

    字符串应用 单引号 较好! 在某些特定情况下,单引号的效率比双引号高. PHP把单引号中的数据视为普通字符串,不再处理. 而双引号还要对其中的字符串进行处理,比如遇到$了会把其后的内容视为变量等.

  4. PHP之:PHP框架

    ThinkPHP - 国内PHP框架 http://www.thinkphp.cn/. OneThink-基于tp框架开发的CMS  (适于小项目) http://www.onethink.cn/. ...

  5. 无法启动此程序,因为计算机中丢失MSVCP110.dll

    安装Visual C++ Redistributable for Visual Studio 2012 有arm.x86.x64有三个版本. 如果应用程序为debug版本而不是release版本,可能 ...

  6. mongo&node

    /////  node install $ sudo apt-get install python-software-properties $ curl -sL https://deb.nodesou ...

  7. D/A转换器实验

    1.代码: #include<reg52.h>typedef unsigned char u8;typedef unsigned int u16;void delay (u16 num){ ...

  8. tomcat添加https

    1.下载依赖包    wget http://archive.apache.org/dist/apr/apr-1.4.5.tar.gz      wget http://archive.apache. ...

  9. swfUpload 上传图片

    前端: <script src="~/Scripts/swfupload/swfupload.js"></script> <script src=&q ...

  10. electron-Node.js Error: Module version mismatch. Expected

    本来以为是nodejs的版本问题,后来才发现是electron用本地包的问题 Installing modules and rebuilding for Electron You can also c ...