NFS共享存储实战

NFS共享存储实战

NFS基本概述

NFS主要功能是通过局域网络让不同的主机系统之间可以共享文件或目录。

NFS用于企业集群架构中, 如果是大型网站, 会用到更复杂的分布式文件系统FastDFS,glusterfs,HDFS

NFS一般用于文件服务器（共享存储）

为什么要使用共享存储

1.实现多台服务器之间数据共享

2.实现多台服务器之间数据一致

企业中文件服务器（共享存储）

NFS

GFS

FastDFS

HDFS

Ceph

NAS

NFS应用场景

集群没有共享存储时

1.A用户上传图片经过负载均衡，负载均衡将上传请求调度至WEB1服务器上。

2.B用户访问A用户上传的图片，此时B用户被负载均衡调度至WEB2上，因为WEB2上没有这张图片，所

以B用户无法看到A用户传的图片。

集群有共享存储

1.A用户上传图片无论被负载均衡调度至WEB1还是WEB2, 最终数据都被写入至共享存储

2.B用户访问A用户上传图片时，无论调度至WEB1还是WEB2，最终都会上共享存储访问对应的文件，这

样就可以访问到资源了

NFS实现原理

NFS的函数

Read			#读取数据（访问）

write			#写入（原本自己有的，写进共享存储）

create			#创建（原本自己没有，在共享存储中创建出来）

remove			#删除

rename			#改名

注意：rpcbind是管理nfs的

portmap：端口映射，rpcbind端口号是111

rpc.nfsd：是验证客户端IP是否在IP段

rpc.mount：检测是否有权限挂载共享目录

本地文件操作方式

1.当用户执行mkdir命令, 该命令会调用shell解释器翻译给内核。

2.内核解析完成后会驱动对应的硬件设备，完成相应的操作

NFS原理

1.用户进程访问NFS客户端，使用不同的函数对数据进行处理（这里NFS客户端就是web服务器）

2.NFS客户端通过TCP/IP的方式传递给NFS服务端。

3.NFS服务端接收到请求后，会先调用portmap进程进行端口映射（rpcbind端口号111）

4.nfsd进程用于判断NFS客户端是否拥有权限连接NFS服务端。

5.Rpc.mount进程判断客户端是否有对应的权限进行验证。

6.idmap进程实现用户映射和压缩

7.最后NFS服务端会将对应请求的函数转换为本地能识别的命令，传递至内核，由内核驱动硬件

注意: rpc是一个远程过程调用，那么使用nfs必须有rpc服务

NFS服务实战

环境准备

主机名	主机角色	外网IP	内网IP
web01	NFS客户端	10.0.0.7	172.16.1.7
web02	NFS客户端	10.0.0.8	172.16.1.8
nfs	NFS服务端	10.0.0.31	172.16.1.31

NFS服务部署（服务端操作）

NFS服务安装

[root@nfs ~]$ yum -y install nfs-utils rpcbind

查看nfs匿名用户

[root@web01 ~]$ cat /etc/passwd

nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin

修改配置文件

[root@nfs ~]$ vim /etc/exports

/data 172.16.1.0/24(rw,sync,all_squash)

#NFS服务配置文件语法：/data（NFS共享目录） 172.16.1.0/24（NFS客户端IP段） (rw,sync,all_squash)（参数1，参数2......）

#PS：下面有参数详解

创建共享目录

[root@nfs ~]$ mkdir /data

#/data就是nfs服务端的共享存储目录

修改目录权限

[root@nfs ~]$ chown nfsnobody.nfsnobody /data

#将目录属主属组修改后，因为我们用的是（all_squash：无论NFS客户端使用什么账户访问，均映射为NFS服务器的匿名用户），这样不管哪个客户端需要访问nfs服务端都有权限操作

启动服务

[root@nfs ~]$ systemctl start nfs-server

加入开机自启

[root@nfs ~]$ systemctl enable nfs-server

检查进程

[root@nfs ~]$ ps -ef|grep [n]fs

root       7168      2  0 18:31 ?        00:00:00 [nfsd4_callbacks]

root       7174      2  0 18:31 ?        00:00:00 [nfsd]

root       7175      2  0 18:31 ?        00:00:00 [nfsd]

root       7176      2  0 18:31 ?        00:00:00 [nfsd]

root       7177      2  0 18:31 ?        00:00:00 [nfsd]

root       7178      2  0 18:31 ?        00:00:00 [nfsd]

root       7179      2  0 18:31 ?        00:00:00 [nfsd]

root       7180      2  0 18:31 ?        00:00:00 [nfsd]

root       7181      2  0 18:31 ?        00:00:00 [nfsd]

检查rpcbind端口号

[root@nfs ~]$ netstat -lntup|grep 111

tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      5571/rpcbind

tcp6       0      0 :::111                  :::*                    LISTEN      5571/rpcbind

udp        0      0 0.0.0.0:111             0.0.0.0:*                           5571/rpcbind

udp6       0      0 :::111                  :::*                                5571/rpcbind

客户端操作

安装nfs-utils

[root@web01 ~]$ yum -y install nfs-utils

查看nfs服务端可用的挂载点（共享目录）

root@web01 ~]$ showmount -e 172.16.1.31

Export list for 172.16.1.31:

/data 172.16.1.0/24

#/data目录可用

创建一个用户上传数据的目录

[root@web01 ~]$ mkdir /user_pic

挂载nfs服务端的共享目录

[root@web01 ~]$ mount -t nfs 172.16.1.31:/data /user_pic

#将nfs服务端的/data目录挂载至客户端/user_pic目录

#-t:type,类型

[root@web01 ~]$ df -h

172.16.1.31:/data   19G  1.4G   18G   8% /user_pic

[root@web01 ~]$ ll /user_pic/ -d

drwxr-xr-x. 2 nfsnobody nfsnobody 6 Jul  7 18:29 /user_pic/

#此时的/user_pic/目录已经是nfs服务端的/data目录了，所以属组属主也变了

NFS配置详解

nfs共享参数	参数作用
rw	读写权限（客户端可以上传）
ro	只读权限（客户端只能读取）
root_squash	当NFS客户端以root管理员访问时，映射为NFS服务器的匿名用户(不常用)
no_root_squash	当NFS客户端以root管理员访问时，映射为NFS服务器的root管理员(不常用)
all_squash	无论NFS客户端使用什么账户访问，均映射为NFS服务器的匿名用户(常用)
no_all_squash	无论NFS客户端使用什么账户访问，都以自身账户操作NFS（肯定没权限操作）
sync*	同时将数据写入到内存与硬盘中，保证不丢失数据
async	优先将数据保存到内存，然后再写入硬盘；这样效率更高，但可能会丢失数据
anonuid*	配置all_squash使用,指定NFS的用户UID,必须存在系统
anongid*	配置all_squash使用,指定NFS的用户UID,必须存在系统

企业实战

NFS客户端部署web站点

安装网站服务

[root@web01 ~]$  yum install -y httpd php

[root@web02 ~]$  yum install -y httpd php

查找http服务的站点目录

[root@web01 ~]$ rpm -ql httpd

/var/www/html

#httpd是http的守护进程

部署代码

[root@web01 ~]$ cd /var/www/html/			#进入/var/www/html/中

[root@web01 /var/www/html]$

[root@web01 /var/www/html]$ rz -E			#上传桌面的作业网站的代码文件

rz waiting to receive.

[root@web01 /var/www/html]$ ll

total 28

-rw-r--r--. 1 root root 26927 Jul  7 11:21 kaoshi.zip

[root@web01 /var/www/html]$ systemctl start httpd

解压代码

[root@web01 /var/www/html]$ unzip kaoshi.zip

Archive:  kaoshi.zip

  inflating: info.php

  inflating: upload_file.php

  inflating: bg.jpg

  inflating: index.html

#解压该压缩文件

修改了php代码，改了里面上传目录

[root@web01 /var/www/html]$ vim upload_file.php

$wen="/var/www/html/pic";

查看httpd服务的匿名用户

[root@web01 /var/www/html]$ ps -ef|grep httpd

root       8272      1  0 01:45 ?        00:00:00 /usr/sbin/httpd -DFOREGROUND

apache     8273   8272  0 01:45 ?        00:00:00 /usr/sbin/httpd -DFOREGROUND

apache     8274   8272  0 01:45 ?        00:00:00 /usr/sbin/httpd -DFOREGROUND

apache     8275   8272  0 01:45 ?        00:00:00 /usr/sbin/httpd -DFOREGROUND

apache     8276   8272  0 01:45 ?        00:00:00 /usr/sbin/httpd -DFOREGROUND

apache     8277   8272  0 01:45 ?        00:00:00 /usr/sbin/httpd -DFOREGROUND

root       8288   7023  0 01:49 pts/0    00:00:00 grep --color=auto httpd

#用户是apache

修改目录的权限

[root@web01 /var/www/html]$ chown apache.apache /var/www/html/

关闭selinux服务

[root@web01 /var/www/html]$ setenforce 0

[root@web01 /var/www/html]$ sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/sysconfig/selinux

启动服务

[root@web01 /var/www/html/]$ systemctl start httpd

#此时就可以通过IP10.0.0.7（web01）进入网站并上传文件，并且在/var/www/html/pic中创建的文件也能在网页中10.0.0.7/pic查看到

将用户上传文件的路径做成共享存储

mount -t nfs 172.16.1.31:/data /var/www/html/pic/

#开启共享存储后10.0.0.8（web02）也可以上传文件至10.0.0.7/pic目录下，实现共享

查看挂载

df -h

如何将nfs的客户端做成开机自动挂载

# 编辑开机挂载的配置文件（不建议）

vim /etc/fstab

172.16.1.31:/data     /var/www/html/pic    nfs  defauts   0 0

注意：如果NFS服务端出现问题，客户端一直挂载不上，可能会导致系统起不来，如果挂载不上只能进入救援模式

nfs卸载

umount /var/www/html/pic

umount -f ：强制卸载

增加挂载安全性

在企业工作场景，通常情况NFS服务器共享的只是普通静态数据（图片、附件、视频），不需要执行suid、exec等权限，挂载的这个文件系统只能作为数据存取之用，无法执行程序，对于客户端来讲增加了安全性。例如: 很多木马篡改站点文件都是由上传入口上传的程序到存储目录。然后执行的

#通过mount -o指定挂载参数，禁止使用suid，exec，增加安全性能

mount -t nfs -o nosuid,noexec,nodev 172.16.1.31:/data 挂载点

验证nfs的ro权限

[root@nfs ~]# vim /etc/exports

/pic 10.0.0.0/24(ro,sync,all_squash)

客户端验证：

# 挂载

[root@nfs ~]$ mkdir /pic

[root@web01 ~]$ mount -t nfs 10.0.0.31:/pic /mnt/

# 查看

[root@web01 ~]$ df -h

Filesystem      Size  Used Avail Use% Mounted on

/dev/sda3        19G  1.4G   18G   8% /

devtmpfs        476M     0  476M   0% /dev

tmpfs           487M     0  487M   0% /dev/shm

tmpfs           487M  7.7M  479M   2% /run

tmpfs           487M     0  487M   0% /sys/fs/cgroup

/dev/sda1       497M  120M  378M  25% /boot

tmpfs            98M     0   98M   0% /run/user/0

10.0.0.31:/pic   19G  1.4G   18G   8% /mnt

# 创建文件报错，显示只是一个只读文件

[root@web01 ~]$ touch /mnt/1.txt

touch: cannot touch ‘/mnt/1.txt’: Read-only file system

# 查看etab配置文件是否生效

[root@nfs ~]# cat /var/lib/nfs/etab

企业中一定要统一用户权限

#统一用户，一定要保证uid和gid一样

[root@nfs ~]$ groupadd www -g 666

[root@nfs ~]$ useradd www -u 666 -g 666 -s /sbin/nologin -M

[root@backup ~]$ groupadd www -g 666

[root@backup ~]$ useradd www -u 666 -g 666 -s /sbin/nologin -M

[root@web01 ~]$ groupadd www -g 666

[root@web01 ~]$ useradd www -u 666 -g 666 -s /sbin/nologin -M

[root@web02 ~]$ groupadd www -g 666

[root@web02 ~]$ useradd www -u 666 -g 666 -s /sbin/nologin -M

#1.统一apache服务用户

[root@web01 ~]$ vim /etc/httpd/conf/httpd.conf

[root@web02 ~]$ vim /etc/httpd/conf/httpd.conf

1）修改前

66 User apache

67 Group apache

2）修改后

66 User www

67 Group www

#更改/var/www/html目录的属主属组为www

[root@web01 ~]$ chown www.www /var/www/html/

[root@web01 ~]$ ll /var/www/html/ -d

drwxr-xr-x. 3 www www 106 Jul  8 01:56 /var/www/html/

[root@web02 ~]$ chown www.www /var/www/html/

[root@web02 ~]$ ll /var/www/html/ -d

drwxr-xr-x. 2 www www 6 Nov 17  2020 /var/www/html/

#再重启httpd服务

[root@web01 ~]$ systemctl restart httpd

#2.统一nfs服务用户

[root@nfs ~]$ vim /etc/exports

/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

#更改共享目录的属主属组

[root@nfs ~]$ chown www.www /data/

[root@nfs ~]$ ll -d /data/

drwxr-xr-x. 2 www www 19 Jul  8 01:02 /data/

#再重启nfs-server服务

[root@nfs ~]$ systemctl restart nfs-server

#3.rsync服务的用户

[root@backup ~]$ vim /etc/rsyncd.conf

uid = www

gid = www

#更改同步目录的属主属组

[root@backup ~]$ chown www.www /backup/

[root@backup ~]$ ll -d /backup/

drwxr-xr-x. 5 www www 108 Jul  8 01:00 /backup/

#再重启rsyncd服务

[root@backup ~]$ systemctl restart rsyncd

NFS小结

1.NFS存储优点

1）NFS文件系统简单易用、方便部署、数据可靠、服务稳定、满足中小企业需求。

2）NFS文件系统内存放的数据都在文件系统之上，所有数据都是能看得见。

2.NFS存储局限

1）存在单点故障, 如果构建高可用维护麻烦web->nfs()->backup

2）NFS数据明文, 并不对数据做任何校验。

3）客户端挂载NFS服务没有密码验证, 安全性一般(内网使用)

3.NFS应用建议

1）生产场景应将静态数据尽可能往前端推, 减少后端存储压力

2）必须将存储里的静态资源通过CDN缓存jpg\png\mp4\avi\css\js

3）如果没有缓存或架构本身历史遗留问题太大, 在多存储也无用

NFS实践案例

环境准备

主机名	角色	外网IP	内网IP
nfs	nfs服务端，rsync的客户端	10.0.0.31	172.16.1.31
backup	rsync服务端	10.0.0.41	172.16.1.41
web01	nfs客户端，rsync的客户端	10.0.0.7	172.16.1.7
web02	nfs客户端，rsync的客户端	10.0.0.8	172.16.1.8

要求：

1.目录名$hostname_$ip_$date

2.无差异同步

1.将三台rsync客户端的数据同步到rsync服务端

1.web01：

[root@web01 ~]$ vim tb1.sh

#!/bin/bash

bak_dir=/backup/

HOSTNAME=$(hostname)

IP=$(ifconfig eth1|awk 'NR==2 {print $2}')

DATE=$(date +%F-%T)

tar_dir=$bak_dir/${HOSTNAME}_${IP}_${DATE}

echo '123' > /etc/rsync.passwd

chmod 600 /etc/rsync.passwd

mkdir -p $tar_dir

cd /etc

tar zcf $tar_dir/passwd.tgz passwd

rsync -avz --delete $bak_dir/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.passwd

2.web02:

[root@web01 ~]$ vim tb2.sh

#!/bin/bash

bak_dir=/backup01/

HOSTNAME=$(hostname)

IP=$(ifconfig eth1|awk 'NR==2 {print $2}')

DATE=$(date +%F-%T)

tar_dir=$bak_dir/${HOSTNAME}_${IP}_${DATE}

echo '123' > /etc/rsync.passwd

chmod 600 /etc/rsync.passwd

mkdir -p $tar_dir

cd /etc

tar zcf $tar_dir/passwd.tgz passwd

rsync -avz --delete $bak_dir/ rsync_backup@172.16.1.41::backup01 --password-file=/etc/rsync.passwd

#在backup服务端创建/backup01目录，并指定属组属主为www

3.nfs:

[root@nfs ~]$ vim tb3.sh

#!/bin/bash

bak_dir=/backup02/

HOSTNAME=$(hostname)

IP=$(ifconfig eth1|awk 'NR==2 {print $2}')

DATE=$(date +%F-%T)

tar_dir=$bak_dir/${HOSTNAME}_${IP}_${DATE}

echo '123' > /etc/rsync.passwd

chmod 600 /etc/rsync.passwd

mkdir -p $tar_dir

cd /

tar zcf $tar_dir/data.tgz data

rsync -avz --delete $bak_dir/ rsync_backup@172.16.1.41::backup02 --password-file=/etc/rsync.passwd

#在backup服务端创建/backup02目录，并指定属组属主为www

2.将web01，web02nfs客户端挂载nfs服务端

[root@web01 ~]$ mount -t nfs 172.16.1.31:/data /user_pic/

[root@web01 ~]$ df -h

172.16.1.31:/data   19G  1.4G   18G   8% /user_pic

[root@web02 ~]$ mount -t nfs 10.0.0.31:/pic /user_pic/

[root@web02 ~]$ df -h

10.0.0.31:/pic   19G  1.4G   18G   8% /user_pic		#这里挂载的是nfs服务端的/pic