Fastdfs集群部署以及基本操作

FastDFS引言

本地存储与分布式文件系统

本地存储的缺点：

1. 是否有备份？ 没有

2. 成本角度？ 贵

   ​ 服务器 ：用于计算 ---- cpu/内存

   ​ 用于存储 ---- 硬盘大

3. 存储瓶颈？ 容量有限

4. 是否使用于应用服务器的集群环境？ 不适用

5. 。。。等等

解决本地存储的缺点 : 使用分布式文件系统 — 引入存储服务的概念

支持冗余备份；可以增加节点，所以理论上没有瓶颈；支持集群环境；支持负载均衡特性，可以在一个存储节点压力大时，将请求分给其他存储节点。

数据存储的方式：

1. 关系型数据库(mysql,oracle…)：用于强事务环境
2. 非关系型数据库(redis…)：用于弱化事务环境，性能高
3. 分布式文件系统(FastDFS…)：用于存储二进制数据（图片/视频/音频）

FastDFS概述

​ FastDFS（Distributed File System (DFS)）是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步（冗余备份）、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等

​ FastDFS服务端有两个角色：跟踪器(tracker)和存储节点(storage)。

​ 跟踪器主要做调度工作，在访问上起负载均衡的作用。

​ 存储节点存储文件，完成文件管理的所有功能：存储、同步和提供存取接口，FastDFS同时对文件的meta data（元数据）进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key value pair）方式表示，如：width=1024，其中的key为width，value为1024。文件meta data是文件属性列表，可以包含多个键值对。

FastDFS架构

FastDFS架构图：

FastDFS架构图详解 :

注：图中文件上传到存储节点后返回的文件在文件系统中的path，即为文件在FastDFS中的文件标识，分为两个部分：卷名和文件名，二者缺一不可。

跟踪器和存储节点都可以由一台至多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。

​ 为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷 的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起 到了冗余备份和负载均衡的作用。

​ 在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。

​ 当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。

FastDFS的集群部署

一、服务器规划

服务器地址	用途
192.168.0.121	跟踪服务器1（Tracker-01）
192.168.0.122	跟踪服务器2（Tracker-02）
192.168.0.123	存储服务器1（Storage-group1-01）
192.168.0.124	跟踪服务器2（Storage-group1-02）
192.168.0.125	跟踪服务器3（Storage-group2-01）
192.168.0.126	跟踪服务器4（Storage-group2-02）

系统：centos7
用户：root

二、相关软件安装包

libfastcommon-1.0.7.tar.gz
FastDFS_v5.05.tar.gz
fastdfs-nginx-module_v1.16.tar.gz
nginx-1.13.11.tar.gz
ngx_cache_purge-2.3.tar.gz

相关软件包已经上传至github  
github地址： https://github.com/yaoxipenga/software-pag.git

三、FastDFS 的安装（所有跟踪服务器和存储服务器均执行如下操作）

1、安装所需的依赖包

yum install make cmake gcc gcc-c++

2、安装FastDFS依赖包libfastcommon

cd /usr/local/src
tar -zxvf libfastcommon-1.0.7.tar.gz
cd libfastcommon-1.0.7
./make.sh
./make.sh install

3、安装FastDFS

cd /usr/local/src/
tar -zxvf FastDFS_v5.05.tar.gz
cd FastDFS
./make.sh
./make.sh install

采用默认安装方式，相应的文件与目录检查如下：

1）服务脚本

/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_trackerd

2）配置文件（示例配置文件）

/etc/fdfs/client.conf.sample
/etc/fdfs/storage.conf.sample
/etc/fdfs/tracker.conf.sample

3）命令行工具（/usr/bin目录下）

4）因为 FastDFS 服务脚本设置的 bin 目录是/usr/local/bin， 但实际命令安装在/usr/bin，所以需要修改 FastDFS 服务脚本中相应的命令路径，也就是把/etc/init.d/fdfs_storaged和/etc/init.d/fdfs_tracker 两个脚本中的/usr/local/bin 修改成/usr/bin:

注意： 以上操作无论是配置 tracker 还是配置 storage 都是必须的，而 tracker 和 storage 的区别主要是在安装完 fastdfs 之后的配置过程中。

三、配置tracker服务器（192.168.0.121、192.168.0.122）

1、复制tracker样例配置文件，并重命名

cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

2、修改tracker配置文件

vim /etc/fdfs/tracker.conf
# 修改的内容如下：
disabled=false              # 启用配置文件
port=22122                  # tracker服务器端口（默认22122）
base_path=/fastdfs/tracker  # 存储日志和数据的根目录
store_lookup=0              # 轮询方式上传

其它参数保留默认配置， 具体配置解释可参考官方文档说明：
http://bbs.chinaunix.net/thread-1941456-1-1.html
3、创建基础数据目录

mkdir -p /data/fastdfs/tracker

4、启动tracker服务器

/etc/init.d/fdfs_trackerd start
或者
systemctl start fdfs_trackerd
或者
fdfs_trackerd /etc/fdfs/tracker.conf start

初次启动，会在/data/fastdfs/tracker目录下生成logs、data两个目录。

drwxr-xr-x 2 root root 178 May  3 22:34 data
drwxr-xr-x 2 root root  26 May  2 18:57 logs

检查FastDFS Tracker Server是否启动成功：

ps aux | grep fdfs_trackerd

5、tracker server的关闭命令

/etc/init.d/fdfs_trackerd stop
或者
systemctl stop fdfs_trackerd
或者
fdfs_trackerd /etc/fdfs/tracker.conf stop

6、设置tracker server开机启动

chkconfig fdfs_trackerd on

四、配置storage服务器（192.168.0.123、192.168.0.124、192.168.0.125、192.168.0.126）

1、复制storage样例配置文件，并重命名

cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

2、修改storage配置文件

vim /etc/fdfs/storage.conf
# 修改的内容如下：
disabled=false     # 启用配置文件
port=23000                                         # storage的端口号,同一个组的 storage 端口号必须相同
base_path=/data/fastdfs/storage       # 存储日志和数据的根目录
store_path0=/data/fastdfs/storage     # 第一个存储目录
store_path_count=1                    #存储路径个数，需要和store_path个数匹配
tracker_server=192.168.0.121:22122    # tracker服务器的IP地址和端口
tracker_server=192.168.0.122:22122    # 多个tracker直接添加多条配置

配置group_name
不同分组配置不同group_name，第一组为group1， 第二组为group2

group_name=group1
group_name=group2

其它参数保留默认配置， 具体配置解释可参考官方文档说明：
http://bbs.chinaunix.net/thread-1941456-1-1.html
3、创建基础数据目录

mkdir -p /data/fastdfs/storage

4、启动storage服务器

/etc/init.d/fdfs_storaged start
或者
systemctl start fdfs_storaged
或者
fdfs_storaged /etc/fdfs/tracker.conf start

初次启动，会在/data/fastdfs/storage目录下生成logs、data两个目录。

drwxr-xr-x 259 root root 8192 May  3 23:06 data
drwxr-xr-x   2 root root   26 May  2 19:12 logs

检查FastDFS Tracker Server是否启动成功：

ps aux | grep fdfs_storaged

所有 Storage 节点都启动之后，可以在任一 Storage 节点上使用如下命令查看集群信息：

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

看到存储节点状态为 ACTIVE 则表示已生效。

5、storage server的关闭命令

/etc/init.d/fdfs_storaged stop
或者
systemctl stop fdfs_storaged
或者
fdfs_storaged /etc/fdfs/tracker.conf stop

6、设置storage server开机启动

chkconfig fdfs_storaged on

五、文件上传测试（192.168.0.121）

1、修改Tracker服务器客户端配置文件

cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
# 修改以下配置，其它保持默认
base_path=/data/fastdfs/tracker
tracker_server=192.168.0.121:22122 # tracker服务器IP和端口
tracker_server=192.168.0.122:22122  #tracker服务器IP2和端口

2、执行文件上传命令

#/root/test.png 是需要上传文件路径
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/test.png
返回文件ID号：group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
（能返回以上文件ID，说明文件已经上传成功）

六、在所有storage节点（192.168.0.123、192.168.0.124、192.168.0.125、192.168.0.126）安装Nginx

1、fastdfs-nginx-module 作用说明
FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储， 但是同组存储服务器之间需要进入文件复制， 有同步延迟的问题。假设 Tracker 服务器将文件上传到了 192.168.50.137，上传成功后文件 ID已经返回给客户端。此时 FastDFS 存储集群机制会将这个文件同步到同组存储 192.168.50.138，在文件还没有复制完成的情况下，客户端如果用这个文件 ID 在 192.168.50.138 上取文件,就会出现文件无法访问的错误。而 fastdfs-nginx-module 可以重定向文件连接到源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误。（解压后的 fastdfs-nginx-module 在 nginx 安装时使用）
2、解压fastdfs-nginx-module_v1.16.tar.gz

cd /usr/local/src/
tar -zxvf fastdfs-nginx-module_v1.16.tar.gz

3、修改 fastdfs-nginx-module的config配置文件

cd fastdfs-nginx-module/src
vim config
将/usr/local/路径改为/usr/，或者直接执行命令:%s+/usr/local/+/usr/+g批量替换

4、安装nginx

yum install -y gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel
cd /usr/local/src/
tar -zxvf nginx-1.13.11.tar.gz
cd nginx-1.13.11
./configure --prefix=/usr/local/nginx --with-http_ssl_module --with-http_stub_status_module --with-pcre --with-http_realip_module --add-module=/usr/local/src/fastdfs-nginx-module/src
make && make install

5、复制 fastdfs-nginx-module 源码中的配置文件到 /etc/fdfs 目录，并修改

cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vim /etc/fdfs/mod_fastdfs.conf

修改以下配置：

connect_timeout=10
base_path=/tmp
tracker_server=192.168.0.121:22122  # tracker服务器IP和端口
tracker_server=192.168.0.122:22122  # tracker服务器IP2和端口
group_name=group1                   # 当前服务器的group名
url_have_group_name=true            # url中包含group名称
store_path0=/data/fastdfs/storage   # 存储路径
group_count=2                       # 设置组的个数

#在最后添加
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/storage

[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/storage

注意group_name的设置，如果是group1就设置为group1，如果是group2就设置为group2。

6、复制 FastDFS 的部分配置文件到 /etc/fdfs 目录

cd /usr/local/src/FastDFS/conf
cp http.conf mime.types /etc/fdfs/

7、配置 Nginx，简洁版nginx配置样例

user nobody;
worker_processes 1;
events {
    worker_connections 1024;
}
http {
    include mime.types;
    default_type application/octet-stream;
    sendfile on;
    keepalive_timeout 65;
    server {
        listen 8888;
        server_name localhost;
        location ~/group[1-2]/M00 {
            ngx_fastdfs_module;
        }
        error_page 500 502 503 504 /50x.html;
        location = /50x.html {
            root html;
        }
    }

}

说明：
A、8888 端口值是要与/etc/fdfs/storage.conf中的 http.server_port=8888 相对应，因为 http.server_port 默认为 8888，如果想改成 80，则要对应修改过来。
B、Storage 对应有多个 group 的情况下，访问路径带 group 名，如/group1/M00/00/00/xxx，对应的 Nginx 配置为：

location ~/group([0-9])/M00 {
       ngx_fastdfs_module;
}

C、如查下载时如发现老报 404,将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。

8、启动Nginx

/usr/local/nginx/sbin/nginx

9、通过浏览器访问测试时上传的文件
http://192.168.0.123:8888/group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
http://192.168.0.124:8888/group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg

七、在tracker节点（192.168.0.121、192.168.0.122）安装Nginx

1、 在 tracker 上安装的 nginx 主要为了提供 http 访问的反向代理、负载均衡以及缓存服务

2、安装nginx，加入ngx_cache_purge（加入缓存模块）

yum install -y gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel
cd /usr/local/src/
tar -zxvf nginx-1.13.11.tar.gz
tar -zxvf ngx_cache_purge-2.3.tar.gz
cd nginx-1.13.11
./configure --prefix=/usr/local/nginx --with-http_ssl_module --with-http_stub_status_module --with-pcre --with-http_realip_module --add-module=/usr/local/src/ngx_cache_purge-2.3
make && make install

3、配置nginx负载均衡和缓存

user root;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
	worker_connections 1024;
	use epoll;
}
http {
	include mime.types;
	default_type application/octet-stream;
	#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
	# '$status $body_bytes_sent "$http_referer" '
	# '"$http_user_agent" "$http_x_forwarded_for"';
	#access_log logs/access.log main;
	sendfile on;
	tcp_nopush on;
	#keepalive_timeout 0;
	keepalive_timeout 65;
	#gzip on;
	#设置缓存
	server_names_hash_bucket_size 128;
	client_header_buffer_size 32k;
	large_client_header_buffers 4 32k;
	client_max_body_size 300m;
	proxy_redirect off;
	proxy_set_header Host $http_host;
	proxy_set_header X-Real-IP $remote_addr;
	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
	proxy_connect_timeout 90;
	proxy_send_timeout 90;
	proxy_read_timeout 90;
	proxy_buffer_size 16k;
	proxy_buffers 4 64k;
	proxy_busy_buffers_size 128k;
	proxy_temp_file_write_size 128k;
	#设置缓存存储路径、存储方式、分配内存大小、磁盘最大空间、缓存期限
	proxy_cache_path /data/fastdfs/cache/nginx/proxy_cache levels=1:2 keys_zone=http-cache:200m max_size=1g inactive=30d;
	proxy_temp_path /data/fastdfs/cache/nginx/proxy_cache/tmp;
	#设置 group1 的服务器
	upstream fdfs_group1 {
		server 192.168.0.123:8888 weight=1 max_fails=2 fail_timeout=30s;
		server 192.168.0.124:8888 weight=1 max_fails=2 fail_timeout=30s;
	}
	#设置 group2 的服务器
	upstream fdfs_group2 {
		server 192.168.0.125:8888 weight=1 max_fails=2 fail_timeout=30s;
		server 192.168.0.126:8888 weight=1 max_fails=2 fail_timeout=30s;
	}
	server {
		listen 8000;
		server_name localhost;
		#charset koi8-r;
		#access_log logs/host.access.log main;
		#设置 group 的负载均衡参数
		location /group1/M00 {
			proxy_next_upstream http_502 http_504 error timeout invalid_header;
			proxy_cache http-cache;
			proxy_cache_valid 200 304 12h;
			proxy_cache_key $uri$is_args$args;
			proxy_pass http://fdfs_group1;
			expires 30d;
		}
		location /group2/M00 {
			proxy_next_upstream http_502 http_504 error timeout invalid_header;
			proxy_cache http-cache;
			proxy_cache_valid 200 304 12h;
			proxy_cache_key $uri$is_args$args;
			proxy_pass http://fdfs_group2;
			expires 30d;
		}
		#设置清除缓存的访问权限
		location ~/purge(/.*) {
			allow 127.0.0.1;
			allow 192.168.0.0/24;
			deny all;
			proxy_cache_purge http-cache $1$is_args$args;
		}
		#error_page 404 /404.html;
		# redirect server error pages to the static page /50x.html
		#
		error_page 500 502 503 504 /50x.html;
			location = /50x.html {
			root html;
		}
	}
}

按以上 nginx 配置文件的要求，创建对应的缓存目录：

mkdir -p /data/fastdfs/cache/nginx/proxy_cache
mkdir -p /data/fastdfs/cache/nginx/proxy_cache/tmp

4、启动Nginx

/usr/local/nginx/sbin/nginx

5、文件访问测试
前面直接通过访问Storage节点中的Nginx来访问文件
http://192.168.0.123:8888/group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
http://192.168.0.124:8888/group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
现在可以通过Tracker中的Nginx来进行访问
1）通过Tracker1中的Nginx来访问
http://192.168.0.121:8000/group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
2）通过Tracker2中的Nginx来访问
http://192.168.0.122:8000/group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg

由上面的文件访问效果可以看到，每一个 Tracker 中的 Nginx 都单独对后端的 Storage 组做了负载均衡，但整套FastDFS集群如果想对外提供统一的文件访问地址，还需要对两个Tracker中的Nginx进行HA集群。

八、实现高可用的访问

上面说到了，现在的文件访问时通过192.168.0.121:8000或者192.168.0.122:8000来实现的,这样并未实现访问文件的高可用。
1、如果是在阿里云的ECS上搭建FastDFS集群（或者其他云平台）
如果是在阿里云上，那非常简单，直接用SLB（或者类似负载均衡）代理到两台Tracker服务器上就行。

2、内网环境搭建FastDFS集群
我们需要在内网环境中再搭建两套Nginx+Keepalived服务，用一个VIP实现高可用。具体实现比较简单，这边不在赘述。

FastDFS部分指令简介

​ 输入fdfs_ —> 连按两下tab键 —> 显示所有FastDFS的fdfs_xxx指令

1. 监控指令 — fdfs_monitor

1. 指令参数

   fdfs_monitor <config_file> [-h <tracker_server>] [list|delete|set_trunk_server <group_name> [storage_id]]

2. 注： 参数含义：

   1. <config_file> ：配置文件路径
   2. [-h <tracker_server>] ：（可选参数）
   3. [list|delete|set_trunk_server [storage_id]] ：（可选参数）

3. 指令使用

   [root@tracker fdfs]# fdfs_monitor /etc/fdfs/client.conf

4. 

2. 上传指令 — fdfs_upload_file

1. 指令参数

   fdfs_upload_file <config_file> <local_filename> [storage_ip:port] [store_path_index]

2. 注： 参数含义：

   1. <config_file> ：配置文件路径
   2. <local_filename> ：本地文件路径
   3. [storage_ip:port] ：（可选参数）
   4. [store_path_index] ：（可选参数）

3. 指令使用

   [root@tracker fdfs]# fdfs_upload_file /etc/fdfs/client.conf 上传的文件路径

4. 
   注： 上传文件后会返回文件在FastDFS中的唯一文件标识，即卷名+文件名

3. 下载指令 — fdfs_download_file

1. 指令参数

   fdfs_download_file <config_file> <file_id> [local_filename] [<download_offset> <download_bytes>]

2. 注： 参数含义：

    1. <config_file> ：配置文件路径
    2. <file_id> ：文件在FastDFS中的唯一文件标识，即卷名+文件名
    3. [local_filename] ：文件下载地址
    4. <download_offset> ：（可选参数）文件下载开始时间
    5. <download_bytes> ：（可选参数）文件下载的字节数

3. 指令使用

   [root@tracker fdfs]# fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/wKhygVwnUUOAcgYHCCZp2Ahsb3g964.rpm /root/java/xxx.rpm

4. 

4. 查看文件信息指令 — fdfs_file_info

1. 指令参数

   fdfs_file_info <config_file> <file_id>

2. 注： 参数含义：

   1. <config_file> ：配置文件路径
   2. <file_id> ：文件在FastDFS中的唯一文件标识，即卷名+文件名

3. 指令使用

   [root@tracker fdfs]# fdfs_file_info /etc/fdfs/client.conf group1/M00/00/00/wKhygVwnUUOAcgYHCCZp2Ahsb3g964.rpm

4. 

5. 删除指令 — fdfs_delete_file

1. 指令参数

   fdfs_delete_file <config_file> <file_id>

2. 注： 参数含义：

   1. <config_file> ：配置文件路径
   2. <file_id> ：文件在FastDFS中的唯一文件标识，即卷名+文件名

3. 指令使用

   [root@tracker fdfs]# fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/wKhygVwnUUOAcgYHCCZp2Ahsb3g964.rpm

4. 

   注： 删除指令使用后，文件在该卷中的所有备份都会被删除，因为卷内的存储节点会相互同步，故慎用。

6. 文件追加上传及追加内容指令 — fdfs_upload_appender & fdfs_append_file

注意： 文件追加命令 fdfs_append_file 的使用前提是 要追加内容的文件是通过 文件追加上传命令 fdfs_upload_appender 上传的

1. 指令参数

   fdfs_upload_appender <config_file> <local_filename>

2. 注： 参数含义：

   1. <config_file> ：配置文件路径
   2. <local_filename> ：将要上传的可追加内容的文件的本地路径

   fdfs_append_file <config_file> <appender_file_id> <local_filename>

3. 注： 参数含义：

   1. <config_file> ：配置文件路径
   2. <appender_file_id> ：需要追加内容的文件在FastDFS中的唯一文件标识，即卷名+文件名
   3. <local_filename> ：将要追加到其他文件的文件的本地路径

4. 指令使用

   # ====== 上传需要追加内容的文件 ======
   [root@tracker fdfs]# fdfs_upload_appender /etc/fdfs/client.conf /root/java/a.txt
   # ====== 追加内容 ======
   [root@tracker fdfs]# fdfs_append_file /etc/fdfs/client.conf group1/M00/00/00/wKhygVwnhXWEcq9VAAAAAJXO_uM135.txt /root/java/b.txt

5. 
   
   注： 上传文件后会返回文件在FastDFS中的唯一文件标识，即**卷名+文件名 **