在《Kubernetes中分布式存储Rook-Ceph部署快速演练》文章中,我快速介绍了Kubernetes中分布式存储Rook-Ceph的部署过程,这里介绍如何在部署于Kubernetes的ASP.NET Core MVC的应用程序中使用Rook-Ceph所创建的存储对象。

构建ASP.NET Core MVC (.NET 5)应用程序

这个程序的基本功能就是用户可以通过主页上传一个文件并保存到由Rook-Ceph创建的S3对象存储,同时将文件信息和上传时间保存为一个MongoDB的文档。MongoDB使用Rook-Ceph创建的块存储(Block Storage)。

首先,新建一个基于.NET 5的ASP.NET Core MVC应用程序,添加AWSSDK.S3MongoDB.Driver这两个NuGet Package的引用。

然后,修改Startup.csConfigureServices方法:

public void ConfigureServices(IServiceCollection services)
{
services.AddControllersWithViews();
services.Configure<FormOptions>(options =>
{
options.MultipartBodyLengthLimit = 268435456;
}); var s3Endpoint = Configuration["s3:endpoint"];
var s3AccessKey = Configuration["s3:accessKey"];
var s3SecretKey = Configuration["s3:secretKey"]; var s3Configuration = new AmazonS3Config
{
RegionEndpoint = RegionEndpoint.USEast1,
ServiceURL = s3Endpoint,
ForcePathStyle = true
}; services.AddTransient<IAmazonS3>(sp => new AmazonS3Client(s3AccessKey, s3SecretKey, s3Configuration)); var mongoConnectionString = Configuration["mongo:connectionString"];
var mongoDatabase = Configuration["mongo:database"];
services.AddTransient<IDataAccessObject>(sp => new MongoDataAccessObject(new MongoUrl(mongoConnectionString), mongoDatabase));
}

这里用到了配置信息,为了调试方便,可以修改appsettings.json文件,添加对于S3和MongoDB的配置信息:

{
"Logging": {
"LogLevel": {
"Default": "Information",
"Microsoft": "Warning",
"Microsoft.Hosting.Lifetime": "Information"
}
},
"s3": {
"endpoint": "http://localhost:9000",
"accessKey": "AKIAIOSFODNN7EXAMPLE",
"secretKey": "wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY"
},
"mongo": {
"connectionString": "mongodb://localhost:27017",
"database": "form-file-upload"
},
"AllowedHosts": "*"
}

之后,修改Index.cshtml文件,将界面元素准备好:

@{
ViewData["Title"] = "Home Page";
}
@model FileUploadModel <div class="text-center">
<h1 class="display-4">Welcome</h1>
<p>Learn about <a href="https://docs.microsoft.com/aspnet/core">building Web apps with ASP.NET Core</a>.</p>
<form method="post" enctype="multipart/form-data" asp-controller="Home" asp-action="Index">
<div class="form-group">
<div class="col-md-10">
<p>Upload one or more files using this form:</p>
<input type="file" name="file" />
</div>
</div>
<div class="form-group">
<div class="col-md-10">
<input type="submit" value="Save" />
</div>
</div>
</form>
</div>

修改HomeController:

public class HomeController : Controller
{
private readonly ILogger<HomeController> _logger;
private readonly IDataAccessObject _dao;
private readonly IAmazonS3 _s3; public HomeController(ILogger<HomeController> logger, IAmazonS3 s3, IDataAccessObject dao)
=> (_logger, _s3, _dao) = (logger, s3, dao); public IActionResult Index()
{
return View();
} [HttpPost]
[ValidateAntiForgeryToken]
public async Task<IActionResult> Index(FileUploadModel model)
{
if (model.File != null)
{
var fileName = Path.GetFileName(model.File.FileName);
var fileTransUtility = new TransferUtility(_s3);
using var stream = model.File.OpenReadStream();
await fileTransUtility.UploadAsync(stream, "data", $"FormFileUpload/{fileName}");
await _dao.AddAsync<SavedFile>(new SavedFile
{
Timestamp = DateTime.UtcNow,
FileName = fileName
}); return View();
}
else
{ }
return View();
} public IActionResult Privacy()
{
return View();
} [ResponseCache(Duration = 0, Location = ResponseCacheLocation.None, NoStore = true)]
public IActionResult Error()
{
return View(new ErrorViewModel { RequestId = Activity.Current?.Id ?? HttpContext.TraceIdentifier });
}
}

其它相关代码这里就不全部贴出来了,可以直接参考本案例的源代码

在开发模式下,我使用运行于Docker的MongoDB以及MINIO分别作为数据库后端和S3服务后端。在按下F5进行Debug之前,请先确保MongoDB和MINIO已经运行。可以参考https://github.com/daxnet/form-file-upload/blob/main/docker-compose.yml。

生成用于部署应用程序的HELM Chart

仍然使用上面提到的docker-compose.yml文件,然后使用下面的命令来生成HELM Chart:

kompose convert -f docker-compose.yml -c -o k8s

执行成功后会在k8s的目录下产生用于部署到Kubernetes的HELM Chart。完整内容可以参考:https://github.com/daxnet/form-file-upload/tree/main/k8s

需要注意几个内容:

使用Ceph Object Store (S3)

要使用Ceph Object Store,只需要正确配置app中S3的Access Key、Secret Key以及Endpoint即可。对应的就是form-file-upload-service-deployment.yaml中的s3__accessKeys3__endpoints3__secretKey环境变量设置。它们的取值在《Kubernetes中分布式存储Rook-Ceph部署快速演练》文章中已经介绍过了,只是在Endpoint的Host名称上需要加上http://。详细可以参考values.yaml文件。

使用Ceph Block Storage

部署到Kubernetes的MongoDB会需要使用Ceph Block Storage。在mongodb-deployment.yaml中,会指定容器的volumeMount:

volumeMounts:
- mountPath: /data/db
name: mongo-data

然后在Volume的定义部分,指定使用名为{{ .Release.Name }}-form-file-upload-mongo-data的PersistentVolumeClaim:

volumes:
- name: mongo-data
persistentVolumeClaim:
claimName: {{ .Release.Name }}-form-file-upload-mongo-data

这里的{{ .Release.Name }}表示HELM的release的名字。接下来,在这个PersistentVolumeClaim中(mongo-data-persistentvolumeclaim.yaml),可以指定所需使用的StorageClass:

spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 20Gi
storageClassName: {{ .Values.mongoStorageClassName }}

在这里,storageClassNamevalues.yaml中设置:

mongoStorageClassName: "rook-ceph-block"

rook-ceph-block就是我们在前文中创建的Block Storage的名字。

部署并运行程序

使用git将https://github.com/daxnet/form-file-upload.git克隆到本地,进入k8s目录,然后:

helm install ffu .

安装成功后,查看pods:

$ kubectl get po
NAME READY STATUS RESTARTS AGE
dnsutils 1/1 Running 2 160m
ffu-form-file-upload-mongo-8c46f48fc-vm76k 1/1 Running 0 23m
ffu-form-file-upload-service-7c5c679b96-rxl5s 1/1 Running 0 23m

查看PersistentVolumeClaims:

$ kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
ffu-form-file-upload-mongo-data Bound pvc-8e681be4-4378-11eb-8a9b-0ac973bf1e37 20Gi RWO rook-ceph-block 64m

可以看到,ffu-form-file-upload-mongo-data这个PVC使用的StorageClass就是rook-ceph-block。

查看Services:

$ kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
ffu-form-file-upload-mongo ClusterIP 10.43.83.79 <none> 27017/TCP 65m
ffu-form-file-upload-service ClusterIP 10.43.57.233 <none> 8080/TCP 65m
kubernetes ClusterIP 10.43.0.1 <none> 443/TCP 3d10h

通过port-forward来访问应用程序:

$ kubectl port-forward svc/ffu-form-file-upload-service 8081:8080
Forwarding from 127.0.0.1:8081 -> 80
Forwarding from [::1]:8081 -> 80

打开浏览器,访问http://localhost:8081



点击Choose File按钮,选择一个文件(测试方便尽量选择小一点的文件)点击Save。成功后没有任何信息提示,会返回到没有上传文件时的状态。

验证结果

使用下面的命令查看S3中已经保存的文件:

$ kubectl exec -it -n rook-ceph deploy/rook-ceph-tools -- s3cmd ls s3://data/FormFileUpload/
2020-12-21 11:47 1260 s3://data/FormFileUpload/abc.sldimport

可以看到,文件已经成功上传到S3。

使用下面的命令查看MongoDB中的数据:

$ kubectl exec -it deploy/ffu-form-file-upload-mongo -- mongo --eval "db.SavedFile.find().pretty()" form-file-upload
MongoDB shell version v3.6.21
connecting to: mongodb://127.0.0.1:27017/form-file-upload?gssapiServiceName=mongodb
Implicit session: session { "id" : UUID("85f7d362-13d6-41b9-90f9-9de86f711eb0") }
MongoDB server version: 3.6.21
{
"_id" : BinData(3,"NyKi+5Q5N0O9B1bIddlk/g=="),
"Timestamp" : ISODate("2020-12-21T11:47:01.853Z"),
"FileName" : "abc.sldimport"
}

可以看到,数据记录已经成功保存到MongoDB。

源代码和部署脚本

一切的一切,尽在https://github.com/daxnet/form-file-upload。

Enjoy!

Kubernetes中分布式存储Rook-Ceph的使用:一个ASP.NET Core MVC的案例的更多相关文章

  1. Kubernetes初探[1]:部署你的第一个ASP.NET Core应用到k8s集群

    Kubernetes简介 Kubernetes是Google基于Borg开源的容器编排调度引擎,作为CNCF(Cloud Native Computing Foundation)最重要的组件之一,它的 ...

  2. ASP.NET Core 中文文档 第二章 指南(4.1)ASP.NET Core MVC 与 Visual Studio 入门

    原文:Getting started with ASP.NET Core MVC and Visual Studio 作者:Rick Anderson 翻译:娄宇(Lyrics) 校对:刘怡(Alex ...

  3. 跨平台应用集成(在ASP.NET Core MVC 应用程序中集成 Microsoft Graph)

    作者:陈希章 发表于 2017年6月25日 谈一谈.NET 的跨平台 终于要写到这一篇了.跨平台的支持可以说是 Office 365 平台在设计伊始就考虑的目标.我在前面的文章已经提到过了,Micro ...

  4. ASP.NET CORE MVC 2.0 项目中引用第三方DLL报错的解决办法 - InvalidOperationException: Cannot find compilation library location for package

    目前在学习ASP.NET CORE MVC中,今天看到微软在ASP.NET CORE MVC 2.0中又恢复了允许开发人员引用第三方DLL程序集的功能,感到甚是高兴!于是我急忙写了个Demo想试试,我 ...

  5. 在ASP.NET Core MVC中子类Controller拦截器要先于父类Controller拦截器执行

    我们知道在ASP.NET Core MVC中Controller上的Filter拦截器是有执行顺序的,那么如果我们在有继承关系的两个Controller类上,声明同一种类型的Filter拦截器,那么是 ...

  6. ASP.NET Core MVC中URL和数据模型的匹配

    Http GET方法 首先我们来看看GET方法的Http请求,URL参数和ASP.NET Core MVC中Controller的Action方法参数匹配情况. 我定义一个UserController ...

  7. ASP.NET Core MVC中Controller的Action,默认既支持HttpGet,又支持HttpPost

    我们知道ASP.NET Core MVC中Controller的Action上可以声明HttpGet和HttpPost特性标签,来限制可以访问Action的Http请求类型(GET.POST等). 那 ...

  8. 如何在ASP.NET Core中构造UrlHelper,及ASP.NET Core MVC路由讲解

    参考文章: Unable to utilize UrlHelper 除了上面参考文章中介绍的方法,其实在ASP.NET Core MVC的Filter拦截器中要使用UrlHelper非常简单.如下代码 ...

  9. Kubernetes中分布式存储Rook-Ceph部署快速演练

    最近在项目中有涉及到Kubernetes的分布式存储部分的内容,也抽空多了解了一些.项目主要基于Rook-Ceph运行,考虑到Rook-Ceph部署也不那么简单,官方文档的步骤起点也不算低,因此,在整 ...

随机推荐

  1. Redis-第七章节-持久化

    目录 概述 RDB AOF 如何选择持久化机制 1.概述 Redis 是内存数据库,如果不能将内存中的数据保存到磁盘中,那么一旦服务器进程退出,服务器的数据库数据也会消失,所以Redis提供了持久化的 ...

  2. 搭建tdh平台

    1.卸载tdh平台(见tdh集群卸载文件夹) 在manager节点执行chmod +x uninstall.sh (非root用户执行sudo chmod +x uninstall.sh)开始卸载TD ...

  3. 2019牛客多校 Round3

    Solved:3 Rank:105 治哥出题了 我感动哭了 A Graph Game (分块) 题意:1e5个点 2e5条边 s(x)表示与x点直接相邻的点集合 有两种操作 1种将按输入顺序的边第l条 ...

  4. HDU 3336——Count the string

    It is well known that AekdyCoin is good at string problems as well as number theory problems. When g ...

  5. hdu-6699 Block Breaker

    题意: 就是给你一个n行m列的矩形,后面将会有q次操作,每次操作会输入x,y表示要击碎第x行第y列的石块,当击碎它之后还去判断一下周围石块是否牢固 如果一个石块的左右两边至少一个已经被击碎且上下也至少 ...

  6. hdu5358 First One

    Problem Description soda has an integer array a1,a2,-,an. Let S(i,j) be the sum of ai,ai+1,-,aj. Now ...

  7. Docker网络模式详解

    一.Docker四种工作模式 安装Docker时,它会自动创建三个网络,bridge(创建容器默认连接到此网络). none .hosthost:容器将不会虚拟出自己的网卡,配置自己的IP等,而是使用 ...

  8. eclipse中使用debug,显示参数配置

    打开Window---->Preferences------>java------>Editor-------->Hovers 效果:

  9. 爬虫入门二 beautifulsoup

    title: 爬虫入门二 beautifulsoup date: 2020-03-12 14:43:00 categories: python tags: crawler 使用beautifulsou ...

  10. 2018牛客多校第一场 E-Removal【dp】

    题目链接:戳这里 转自:戳这里 题意:长度为n的序列,删掉m个数字后有多少种不同的序列.n<=10^5,m<=10. 题解:dp[i][j]表示加入第i个数字后,总共删掉j个数字时,有多少 ...