最近被安排开发文件存储微服务,要求是能够通过配置来无缝切换我们公司内部研发的文件存储系统,FastDFS,MongDb GridFS,阿里云OSS,腾讯云OSS等。根据任务紧急度暂时先完成了通过配置来无缝切换内部文件系统以及FastDFS。至于MongDb GridFS,阿里云OSS,腾讯云OSS等则后期需要的话再开发对应的提供者程序集合。

作者:依乐祝

首发公众号:DotNetCore实战

原文链接: https://www.cnblogs.com/yilezhu/p/12797543.html

今天主要是对开发过程,以及对FastDFS这个通用的分布式文件存储服务的单机及集群安装部署过程做个总结。希望对想要自建分布式文件系统的朋友有所帮助。

什么是FastDFS

这里先简单介绍下分布式文件存储系统。

FastDFS 是一个开源的高性能分布式文件系统(DFS)。 它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡。主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务。

FastDFS 系统有三个角色:跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。

  Tracker Server:跟踪服务器,主要做调度工作,起到均衡的作用;负责管理所有的 storage server和 group,每个 storage 在启动后会连接 Tracker,告知自己所属 group 等信息,并保持周期性心跳。

  Storage Server:存储服务器,主要提供容量和备份服务;以 group 为单位,每个 group 内可以有多台 storage server,数据互为备份。

  Client:客户端,上传下载数据的服务器,也就是我们自己的项目所部署在的服务器。

FastDFS开源地址:https://github.com/happyfish100

FastDFS的单机版安装

这里先简单介绍下单机版的安装,跟着做你也可以从0还是搭建一个单机版的FastDFS。集群版也是在单机版基础上安装的。

第一步 安装相关工具

如果已经安装和wget可以跳过这一步

  1. yum -y install vim wget unzip

-y:不经过询问直接同意所有操作

vim:linux上面一个比较好用的文本编辑软件

wget:linux上文件下载工具

第二步 安装相关依赖

  1. yum install -y gcc-c++ perl

第三步 安装libfastcommon

大家可以直接到github上面先找到ibfastcommon。这里为了大家方便查找。我已经把把链接给大家整理好了

libfastcommon

这里大家可以先下载到本地,然后再传至服务器上面。这里我使用的是FinalShell。具体操作就不在这里详细说了。

这里目录为:/root/fastdfs/

下载下来的是zip格式压缩包,然后,我们解压zip

  1. unzip libfastcommon-master.zip

进入到刚刚解压的文件里面

  1. cd libfastcommon-master/

进行编译安装

  1. ./make.sh && ./make.sh install



``shell

./make.sh && ./make.sh install

  1. #### 第五步 修改配置文件
  2. 切换到配置文件目录下
  3. ```shell
  4. cd /etc/fdfs/

查看所有配置文件

使用ls命令就行了

去除所有的.sample后缀

  1. cp client.conf.sample client.conf
  2. cp storage.conf.sample storage.conf
  3. cp storage_ids.conf.sample storage_ids.conf
  4. cp tracker.conf.sample tracker.conf

我们再次使用ls命令查看

可以看到我们已经去除了所有的.sample后缀

下一步,创建文件夹,分别创建client,storage,tracker文件夹

  1. mkdir -p /home/software/fastfdfs/data/client
  2. mkdir -p /home/software/fastfdfs/data/storage
  3. mkdir -p /home/software/fastfdfs/data/tracker
client.config配置

下面我们开始配置文件修改,首先修改的是clietn.conf,使用vim编辑器进行文件的编辑

  1. vim client.conf

使用 :set number 显示行数

修改第11行,确定日志文件的存储路径,这里用我们刚刚创建client文件夹路径

base_path = /home/software/fastdfs/data/client

修改第22 行,tracker的地址与端口,根据实际情况进行修改,我的是192.168.1.14。

这里貌似有两个tracker_server,毕竟是单机版部署因此我这里注释了一个

tracker_server = 192.168.1.14:22122

修改号之后记得保存修改!

storage.conf修改

下面我们修改storage.conf。同上是用vim进行修改

首先我们修改下11行的分组设置

group_name = group1

接下来修改49行的基础路径,这里也用上面我们已经创建的路径

base_path = /home/software/fastdfs/data/storage

修改第129行的storage路径。

store_path0 = /home/software/fastdfs/data/storage

注意:这里提示下:存储路径的顺序很重要,不要弄乱了,

基础路径应该独立于存储路径,即尽量让这两个路径不一样。这里我设置了一样

修改第145行 ,配置tracker的IP地址与端口。至于如何填写这个地址,上面配置client.conf的时候,我们就已经说过了。

tracker_server = 192.168.1.14:22122

tracker.conf 配置

现在修改tracker.conf文件

修改第23行,修改tracker的基础路径。这个路径的文件夹我们刚刚在上面已经创建过了

base_path = /home/software/fastdfs/data/tracker

修改第57行 归属组设置

store_group = group1

第六步 启动tracker 与storage

启动tracker

  1. fdfs_trackerd /etc/fdfs/tracker.conf start

启动storage

  1. fdfs_storaged /etc/fdfs/storage.conf start

测试是否启动成功,我们尝试上传文件。我的root文件夹下有一张图片

  1. fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg

如上图所示表示上传成功。

第七步 安装nginx访问图片

这里由于服务器已经安装了nginx,因此需要在现有的nginx的版本基础上安装新的fastdfs的模块。,安装方法可能略有不同

首先查看下nginx的版本

  1. nginx -V

这里需要注意一下,如果你服务器上没有安装过nginx则需要先安装nginx的依赖,然后再进行安装

  1. yum -y install gcc-c++ zlib-devel pcre-devel

如下图所示:

因此我们需要下载对应版本的源码

  1. wget http://nginx.org/download/nginx-1.16.1.tar.gz

解压安装包

  1. tar zxvf nginx-1.14.0.tar.gz

下载nginx的fastdfs模块,这里我已经帮大家把这个项目github地址整理好了。

astdfs-nginx-module

这这里我们可以先下载到自己电脑上,再上传服务器。

进行解压

  1. unzip fastdfs-nginx-module-master.zip

这里由于我们已经安装了nginx,因此需要备份之前的nginx防止出现问题进行还原

  1. mv /usr/sbin/nginx /usr/sbin/nginx.back
  2. cp -rf /etc/nginx/ /etc/nginx.back

切换到nginx压缩包的解压目录里面去

  1. cd nginx-1.16.1

进行配置检测并且添加模块

  1. ./configure --prefix=/etc/nginx/ --sbin-path=/usr/sbin/nginx --add-module=/root/fastdfs/fastdfs-nginx-module-master/src/

--prefix : nginx的安装目录

--add-module:解压后模块所在目录,记得要加上src

执行如下命令进行nginx的重新编译,如果之前已经安装了nginx则不能执行install,否则会覆盖之前的配置文件,也可以在安装后再把之前的配置覆盖过来。

  1. make && make install

拷贝编译后的nginx到原来的安装目录

  1. cp objs/nginx /usr/sbin/nginx

重启nginx

  1. systemctl restart nginx
  2. //第二种方式
  3. nginx -s reload
  4. //第一次安装,直接输入nginx
  5. nginx

切换至fastdfs的解压包里面去

  1. cd /root/fastfdfs/fastdfs-master

进行文件的复制

  1. cp conf/http.conf /etc/fdfs/
  2. cp conf/mime.types /etc/fdfs/

切换至fastdfs-nginx-module的解压目录下面

  1. cd /root/fastdfs/fastdfs-nginx-module-master

进行配置文件的复制

  1. cp src/mod_fastdfs.conf /etc/fdfs/
mod_fastdfs.conf配置

修改/etc/fdfs下面的mod_fastdfs.conf配置文件

  1. vim /etc/fdfs/mod_fastdfs.conf

修改 40行,更改tracker的ip地址与端口

tracker_server=192.168.1.14:22122

修改48行的group_name

修改53行 url地址中是否包含组名,如果链接中包含group则需要设置为true

  1. url_have_group_name = true

修改62行 storage所在目录

  1. store_path0=/home/software/fastdfs/data/storage

保存修改。

nginx修改

这里注意,每个笨的配置文件存储的方式不同,此步骤可能有所不同。

进行nginx配置文件的修改,我们可以切换到nginx的安装目录下面。也可以直接输入如下命令

注意:这里我的nginx版本为1.16.1,配置文件为conf.d下面的所有的*.conf文件。因此我的输入命令如下:

  1. vim /etc/nginx/conf.d/default.conf

进行nginx.conf的修改,如下图所示:

  1. server {
  2. listen 8888;
  3. server_name 192.168.1.93;
  4. location ~/group([0-9])/M00 {
  5. #root html;
  6. #index index.html index.htm;
  7. root /home/software/fastdfs/data/storage/data;
  8. ngx_fastdfs_module;
  9. }
  10. }

多个group的配置

当配置多个组,且mod_fastdfs.conf 里面指定了url_have_group_name= true 时,配置方式:

  1. location ~ /group([0-9]) /M00 {
  2. root /home/software/fastdfs/data/storage/data;
  3. ngx_fastdfs_module;
  4. }

比如:在group1上的 nginx 的nginx.conf 配置是

  1. location /group1/M00 {
  2. root /home/software/fastdfs/data/storage/data;
  3. ngx_fastdfs_module;
  4. }

比如:在group2上的 nginx 的nginx.conf 配置是

  1. location /group2/M00 {
  2. root /home/software/fastdfs/data/storage/data;
  3. ngx_fastdfs_module;
  4. }

查看nginx的配置文件是否有效

  1. nginx -t

显示 is ok没有任何问题,现在启动nginx。这里我配置为开机自动启动

  1. systemctl restart nginx
  2. // 第二种方式
  3. nginx -s reload

依照上面的方式,我们重新上传一张图片。并进行访问

测试是否启动成功,我们尝试上传文件。我的root文件夹下有一张图片

  1. fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg

上传成功,访问下面的地址

路径说明

group1:表示这张图片被保存在了哪个组当中,

M00:代表磁盘目录,如果电脑只有一个磁盘那就只有M00, 如果有多个磁盘,那就M01、M02...等等。

00/00:代表磁盘上的两级目录,每级目录下是从00到FF共256个文件夹,两级就是256*256个。

wKgBE1r-fICAcd3kAAHY-4ojheI481.jpeg表示被存储到storage上的test.jpeg被重命名的名字,这样做的目的是为了防止图片名字重复。

我们到单机版的数据目录下查看一下是否有我们刚才上传的图片,发现是有的返回的图片信息中明确说明了存储在了group1下面。

FastDFS集群版的安装

这里集群版的安装是在单机版的基础上安装的。

机器准备

IP 作用 模块
192.168.1.14 storage(group1)    tracker1 fastdfs+nginx+fastdfs-nginx-module
192.168.1.15 storage(group1) fastdfs+nginx+fastdfs-nginx-module
192.168.1.16 storage(group2)   tracker2 fastdfs+nginx+fastdfs-nginx-module
192.168.1.93 storage(group2) fastdfs+nginx+fastdfs-nginx-module
192.168.1.197 VIP(对外提供服务) nginx

安装步骤

软件准备

在所有服务器上创建如下目录用来存储需要安装的软件包

  1. mkdir -p ~/fastdfs/

在tracker1上下载所需要的软件安装包,并放在如下目录下

  1. ~/fastdfs/

查看如下所示:

进入对应的文件夹并拷贝对应的文件到其他几台服务器上:

  1. scp ./* root@192.168.1.15:~/fastdfs/
  2. scp ./* root@192.168.1.16:~/fastdfs/
  3. scp ./* root@192.168.1.93:~/fastdfs/
  4. scp ./* root@192.168.1.197:~/fastdfs/

在storage服务器及tracker服务器都创建如下的文件夹,用来存放fastdfs的数据及日志文件

  1. mkdir -p /home/software/fastfdfs/client
  2. mkdir -p /home/software/fastfdfs/storage
  3. mkdir -p /home/software/fastfdfs/tracker

在所有服务器上执行·如下命令安装相关工具

  1. yum -y install vim wget unzip

在所有sotrage及tracker服务器上执行如下命令安装相关依赖

  1. yum install -y gcc-c++ perl
安装

这些操作需要在所有storage及tracker服务器上都进行操作

storage及tracker服务器安装libfastcommon

在需要安装fastdfs的storage及tracker服务器上安装libfastcommon

这里我们进入安装文件目录~/fastdfs/,执行如下命令,解压并编译安装:

  1. unzip libfastcommon-master.zip
  2. cd libfastcommon-master/
  3. ./make.sh && ./make.sh install

出现如下图所示则表示安装成功

storage及tracker服务器安装fastdfs

在需要安装fastdfs的storage及tracker服务器上安装fastdfs

这里我们进入安装文件目录~/fastdfs/,执行如下命令,解压并编译安装:

  1. unzip fastdfs-master.zip
  2. cd fastdfs-master/
  3. ./make.sh && ./make.sh install
  4. cp conf/http.conf /etc/fdfs/
  5. cp conf/mime.types /etc/fdfs/

进行文件的复制

  1. cp conf/http.conf /etc/fdfs/
  2. cp conf/mime.types /etc/fdfs/
修改配置文件

切换到配置文件目录,并执行如下命令去除所有的.sample后缀:

  1. cd /etc/fdfs/
  2. cp client.conf.sample client.conf
  3. cp storage.conf.sample storage.conf
  4. cp storage_ids.conf.sample storage_ids.conf
  5. cp tracker.conf.sample tracker.conf

修改client.config配置

需要测试的时候才需要配置此client.conf配置

  1. vim client.conf

修改内容如下:

  1. 11 base_path = /home/software/fastdfs/client
  2. 22 tracker_server = 192.168.1.14:22122

vim修改storage.conf 

修改内容如下:

  1. 11 group_name = group1
  2. 49 base_path = /home/software/fastdfs/storage
  3. 129 /home/software/fastdfs/data/storage
  4. 145 tracker_server = 192.168.1.14:22122

vim修改tracker.conf配置

这里只有tracker服务器才需要配置此配置及 14跟16

修改内容如下:

  1. 23 base_path = /home/software/fastdfs/tracker
  2. 57 store_group = group1
安装nginx

只有sotrage服务器及vip服务器需要安装nginx用来提供文件的访问

在安装nginx前需要安装相关的依赖并下载对应的源码,执行如下命令。此文件也保存到文件安装目录

  1. yum -y install gcc-c++ zlib-devel pcre-devel
  2. wget http://nginx.org/download/nginx-1.16.1.tar.gz
  3. tar zxvf nginx-1.14.0.tar.gz

解压nginx的fastdfs模块,并进入到文件夹下进行配置文件的复制

nginx的fastdfs模块在所有storage服务器上进行安装

  1. unzip fastdfs-nginx-module-master.zip
  2. cd ~/fastdfs/fastdfs-nginx-module-master
  3. cp src/mod_fastdfs.conf /etc/fdfs/

进入到nginx源码目录,进行配置检测并添加对应的fastdfs模块。然后进行nginx的安装

  1. ./configure --prefix=/etc/nginx/ --sbin-path=/usr/sbin/nginx --add-module=/root/fastdfs/fastdfs-nginx-module-master/src/
  2. make && make install
  3. #如有需要可以拷贝nginx到sbin目录
  4. cp objs/nginx /usr/sbin/nginx
mod_fastdfs.conf配置

vim修改/etc/fdfs下面的mod_fastdfs.conf配置文件

  1. 40 tracker_server=192.168.1.14:22122
  2. 48 group_name=group1
  3. 53 url_have_group_name = true
  4. 62 store_path0=/home/software/fastdfs/storage
nginx配置修改

只有sotrage服务器及vip服务器需要安装,

group1的服务器需要新增如下server配置,root路径为storage的data路径

  1. server {
  2. listen 8888;
  3. server_name 192.168.1.93;
  4. location /group1/M00 {
  5. #root html;
  6. #index index.html index.htm;
  7. root /home/software/fastdfs/storage/data;
  8. ngx_fastdfs_module;
  9. }
  10. }

group2的服务器上新增如下server配置,root路径为storage的data路径

  1. server {
  2. listen 8888;
  3. server_name 192.168.1.93;
  4. location /group2/M00 {
  5. #root html;
  6. #index index.html index.htm;
  7. root /home/software/fastdfs/storage/data;
  8. ngx_fastdfs_module;
  9. }
  10. }

vip服务器的nginx配置如下:

  1. #设置 group1 的服务器
  2. upstream fdfs_group1 {
  3. server 192.168.1.14:8888 weight=1 max_fails=2 fail_timeout=30s;
  4. server 192.168.1.15:8888 weight=1 max_fails=2 fail_timeout=30s;
  5. }
  6. #设置 group2 的服务器
  7. upstream fdfs_group2 {
  8. server 192.168.1.16:8888 weight=1 max_fails=2 fail_timeout=30s;
  9. server 192.168.1.93:8888 weight=1 max_fails=2 fail_timeout=30s;
  10. }
  11. server {
  12. listen 80;
  13. server_name 192.168.1.197;
  14. #charset koi8-r;
  15. #access_log /var/log/nginx/host.access.log main;
  16. #设置默认路径
  17. location / {
  18. root html;
  19. index index.html index.htm;
  20. }
  21. #设置 group 的负载均衡参数
  22. location /group1/M00 {
  23. proxy_set_header Host $host;
  24. proxy_set_header X-Real-IP $remote_addr;
  25. proxy_pass http://fdfs_group1;
  26. }
  27. location /group2/M00 {
  28. proxy_set_header Host $host;
  29. proxy_set_header X-Real-IP $remote_addr;
  30. proxy_pass http://fdfs_group2;
  31. }
  32. }

查看nginx的配置文件是否有效

  1. nginx -t

显示 is ok没有任何问题,现在启动nginx。这里我配置为开机自动启动

  1. # 服务形式的nginx重启方式
  2. systemctl restart nginx
  3. //第二种方式
  4. nginx -s reload
  5. //第一次安装,直接输入nginx
  6. nginx

依照上面的方式,我们重新上传一张图片。并进行访问

测试是否启动成功,我们尝试上传文件。我的root文件夹下有一张图片

  1. fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg

上传成功,访问下面的地址

asp.net core操作FastDFS

这里的微服务是基于abp vnext的。只是在应用层进行相关的服务开发。这里需要说明下,这里我是使用工厂模式,根据配置来创建对应的文件操作提供者,进而对对应的文件服务器上的文件进行操作的。这里我只摘录FastDFS相关的代码供大家参考。

第一步 安装对应的nuget包

这里我用的是更新时间相对比较近下载量相对比较多的作者的nuget包,

  1. Install-Package FastDFSNetCore -Version 1.2.5

第二步,编写一个FastDFSProvider

具体的代码如下所示:

  1. /// <summary>
  2. /// 功能介绍:FastDFS提供者
  3. /// 作者:lzhu
  4. /// 创建日期:2020/4/23 19:54:35
  5. /// </summary>
  6. public class FastDFSProvider : IStorageProvider, ITransientDependency
  7. {
  8. /// <summary>
  9. /// 提供程序名称
  10. /// </summary>
  11. public string ProviderName => "FastDFS";
  12. //配置
  13. private readonly FastDFSConfig _fastDFSConfig;
  14. /// <summary>
  15. /// 构造函数
  16. /// </summary>
  17. /// <param name="fastDFSConfig">注入配置数据</param>
  18. public FastDFSProvider(FastDFSConfig fastDFSConfig)
  19. {
  20. _fastDFSConfig = fastDFSConfig ?? throw new ArgumentNullException(nameof(fastDFSConfig));
  21. string[] trackers = fastDFSConfig.Trackers.Split(',', StringSplitOptions.RemoveEmptyEntries);
  22. var trackerIPs = new List<IPEndPoint>();
  23. foreach (var onetracker in trackers)
  24. {
  25. trackerIPs.Add(new IPEndPoint(IPAddress.Parse(onetracker), fastDFSConfig.Port));
  26. }
  27. ConnectionManager.Initialize(trackerIPs);
  28. }
  29. /// <summary>
  30. /// 通过文件名删除对应的文件
  31. /// </summary>
  32. /// <param name="objectName">对象名称</param>
  33. /// <param name="groupName">分组名称</param>
  34. /// <returns>是否成功</returns>
  35. public async Task<bool> DeleteObjectByNameAsync(string objectName, string groupName = "")
  36. {
  37. RestoreFileName(objectName, out string fileName, out groupName);
  38. await FastDFSClient.RemoveFileAsync(groupName, fileName);
  39. return true;
  40. }
  41. /// <summary>
  42. /// 获取网关连接
  43. /// </summary>
  44. /// <returns>网关连接</returns>
  45. public Task<string> GetGateWayUrl() => Task.FromResult(_fastDFSConfig.GateWayUrl);
  46. /// <summary>
  47. /// 获取对象二进制数组
  48. /// </summary>
  49. /// <param name="groupName">组名称</param>
  50. /// <param name="objectName">对象名称</param>
  51. /// <returns>对象的二进制数组</returns>
  52. public async Task<byte[]> GetObjectByteAsync(string objectName, string groupName = "")
  53. {
  54. RestoreFileName(objectName, out string fileName, out groupName);
  55. var storageNode = await GetStorageNodeAsync(groupName);
  56. return await FastDFSClient.DownloadFileAsync(storageNode, fileName);
  57. }
  58. /// <summary>
  59. /// 获取对象流
  60. /// </summary>
  61. /// <param name="groupName">组名称</param>
  62. /// <param name="objectName">对象名称</param>
  63. /// <returns>对象流</returns>
  64. public async Task<Stream> GetObjectStreamAsync(string objectName, string groupName = "")
  65. {
  66. RestoreFileName(objectName, out string fileName, out groupName);
  67. var storageNode = await GetStorageNodeAsync(groupName);
  68. FDFSFileInfo fileInfo = await FastDFSClient.GetFileInfoAsync(storageNode, fileName);
  69. Stream stream = new MemoryStream();
  70. int limit = 1024 * 100;//每次获取100KB的数据
  71. //如果文件大小大于100KB 分次写入
  72. if (fileInfo.FileSize >= limit)
  73. {
  74. long offset = 0;
  75. long len = limit;
  76. while (len > 0)
  77. {
  78. byte[] buffer = await FastDFSClient.DownloadFileAsync(storageNode, fileName, offset, len);
  79. stream.Write(buffer, 0, int.Parse(len.ToString()));
  80. stream.Flush();
  81. offset += len;
  82. len = (fileInfo.FileSize - offset) >= limit ? limit : (fileInfo.FileSize - offset);
  83. }
  84. }
  85. else
  86. {
  87. //如果文件大小小小于100KB 直接写入文件
  88. byte[] buffer = await FastDFSClient.DownloadFileAsync(storageNode, fileName);
  89. stream.Write(buffer, 0, buffer.Length);
  90. stream.Flush();
  91. }
  92. stream.Seek(0, SeekOrigin.Begin);
  93. return stream;
  94. }
  95. /// <summary>
  96. /// 存储文件
  97. /// </summary>
  98. /// <param name="objectByte">对象</param>
  99. /// <param name="objectName">对象名</param>
  100. /// <param name="groupName">分组</param>
  101. /// <returns></returns>
  102. public async Task<string> StoreObjectByteAsync(byte[] objectByte, string objectName, string groupName = "")
  103. {
  104. var storageNode = await GetStorageNodeAsync("");
  105. var filePath = await FastDFSClient.UploadFileAsync(storageNode, objectByte, Path.GetExtension(objectName));
  106. return storageNode.GroupName + "/" + filePath;
  107. }
  108. /// <summary>
  109. /// 存储文件
  110. /// </summary>
  111. /// <param name="objectStream">文件流</param>
  112. /// <param name="objectName">对象名</param>
  113. /// <param name="groupName">分组</param>
  114. /// <returns>文件路径</returns>
  115. public async Task<string> StoreObjectStreamAsync(Stream objectStream, string objectName, string groupName = "")
  116. {
  117. var storageNode = await GetStorageNodeAsync("");
  118. var filePath = await FastDFSClient.UploadFileAsync(storageNode, objectStream, Path.GetExtension(objectName));
  119. return storageNode.GroupName + "/" + filePath;
  120. }
  121. }

第三步 在分布式配置中心中进行配置

这里的分布式配置中心中进行FastDFS的配置如下:

  1. "ObjectStorage": {
  2. "StoreType": "FastDFS",
  3. "FastDFS": {
  4. "Trackers": "192.168.1.14,192.168.1.16",
  5. "Port": 22122,
  6. "GateWayUrl": "http://192.168.1.197"
  7. }
  8. }

第四步 文件提供者工厂方法中加入FastDFS的处理

工厂方法根据上面配置中的StoreType从而知道对应的存储是往FastDFS集群进行存储的,进而再加载对应的FastDFS的配置,然后创建上面的FastDFSProvider。

主要代码摘录如下:

  1. case "RondsDFS":
  2. {
  3. var rondsDFSSection = _configuration.GetSection("ObjectStorage:RondsDFS");
  4. if (rondsDFSSection == null)
  5. throw new ArgumentNullException("RondsDFS is not configured![OObjectStorage:RondsDFS]");
  6. StorageProvider = _serviceProvider.GetRequiredService<RondsDFSProvider>();
  7. break;
  8. }

总结

今天首先给大家讲解了如何搭建FastDFS单机版及集群版,然后讲解了如何通过asp.net core对FastDFS进行操作。当然由于我的文件系统对应多个文件存储程序,因此这里只是把FastDFS作为其中一个提供者进行处理。大伙可以只参考其中的操作方法即可。本来想录个视频的,毕竟安装过程稍显复杂,奈何机器不允许,Pass了!有问题可以加QQ两千人群637326624进行交流。

参考文章

https://zhuanlan.zhihu.com/p/80256918

https://blog.51cto.com/13712476/2130525

https://www.cnblogs.com/youzhibing/p/9187765.html

https://github.com/happyfish100/fastdfs/wiki

用asp.net core结合fastdfs打造分布式文件存储系统的更多相关文章

  1. ASP.NET Core 使用 Redis 实现分布式缓存:Docker、IDistributedCache、StackExchangeRedis

    ASP.NET Core 使用 Redis 实现分布式缓存:Docker.IDistributedCache.StackExchangeRedis 前提:一台 Linux 服务器.已安装 Docker ...

  2. ASP.NET Core 导入导出Excel xlsx 文件

    ASP.NET Core 使用EPPlus.Core导入导出Excel xlsx 文件,EPPlus.Core支持Excel 2007/2010 xlsx文件导入导出,可以运行在Windows, Li ...

  3. 【ASP.Net Core】不编译视图文件

    原文:[ASP.Net Core]不编译视图文件 版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/aqtata/article/details/818 ...

  4. asp dotnet core 支持客户端上传文件

    本文告诉大家如何在 asp dotnet core 支持客户端上传文件 新建一个 asp dotnet core 程序,创建一个新的类,用于给客户端上传文件的信息 public class Kanaj ...

  5. ASP.NET Core WEB API 使用element-ui文件上传组件el-upload执行手动文件文件,并在文件上传后清空文件

    前言: 从开始学习Vue到使用element-ui-admin已经有将近快两年的时间了,在之前的开发中使用element-ui上传组件el-upload都是直接使用文件选取后立即选择上传,今天刚好做了 ...

  6. 淘宝分布式文件存储系统:TFS

    TFS ——分布式文件存储系统 TFS(Taobao File System)是淘宝针对海量非结构化数据存储设计的分布式系统,构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问. ...

  7. 一图看懂hadoop分布式文件存储系统HDFS工作原理

    一图看懂hadoop分布式文件存储系统HDFS工作原理

  8. 必须掌握的分布式文件存储系统—HDFS

    HDFS(Hadoop Distributed File System)分布式文件存储系统,主要为各类分布式计算框架如Spark.MapReduce等提供海量数据存储服务,同时HBase.Hive底层 ...

  9. ASP.NET Core 使用 JWT 搭建分布式无状态身份验证系统

    为什么使用 Jwt 最近,移动开发的劲头越来越足,学校搞的各种比赛都需要用手机 APP 来撑场面,所以,作为写后端的,很有必要改进一下以往的基于 Session 的身份认证方式了,理由如下: 移动端经 ...

随机推荐

  1. JSP学习笔记(四)

    Java Servlet servlet的部署.创建与运行 servlet的工作原理 重定向与转发 使用session 1.servlet的部署.创建与运行 [1].创建Servlet 创建一个Ser ...

  2. sql 数据库操作语句 不带select

    MySQL数据操作语句 1.总纲 DDL -数据定义语句** create/drop/alter ** create: 创建 drop:删除 alter:修改 DML -数据操作语句 ** inser ...

  3. Selenium Grid 的使用

    简介 Selenium Grid 是 selenium 的三大组件之一,允许用户同时在不同的机器和系统上测试不同的浏览器,可以分布式的来执行我们的自动化测试,也可以测试不同浏览器的兼容性. Selen ...

  4. 粘包处理现象及其解决方案——基于NewLife.Net网络库的管道式帧长粘包处理方法

    [toc] #1.粘包现象 每个TCP 长连接都有自己的socket缓存buffer,默认大小是8K,可支持手动设置.粘包是TCP长连接中最常见的现象,如下图 socket缓存中有5帧(或者说5包)心 ...

  5. lly的瞬移方块(并查集)

    lly的瞬移方块 Description llyllylly最近发明了一个叫瞬移方块的游戏,为啥llyllylly这么闲呢,这得从一只蝙蝠说起..... llyllylly决定给大家也分享一下这个游戏 ...

  6. oracle实现分页功能 limit功能例子

    oracle数据库不支持mysql中limit功能,但可以通过rownum来限制返回的结果集的行数,rownum并不是用户添加的字段,而是oracle系统自动添加的. 记录两种常用方法: (1)使查询 ...

  7. Vim查找与替换命令大全,功能完爆IDE!

    Vi/Vim 可以说是文本编辑中的一代传奇人物,直至现在,它仍然在高级程序员的武器库中占有一席之地.每个 Linux 发行版默认都包含Vim ,而且即使你不是 Linux 系统用户,你也可以安装 Vi ...

  8. 判断移动端还是PC端JS

    if(/Android|webOS|iPhone|iPod|BlackBerry/i.test(navigator.userAgent)) {         // alert("手机&qu ...

  9. C++类的成员初始化

    C++类的成员初始化 学到一个类的成员初始化,目前已知的用途是给类内部的const类型变量进行赋值. 首先,如果像这么干,编译器会报错. class MyClass{ public: Myclass( ...

  10. golang--安装golang并安装grpc-grpcgateway环境

    安装goland环境 下载golang安装包,国内环境打开https://studygolang.com/dl,国外环境打开https://golang.google.cn/dl/下载对应系统的安装包 ...