s3对象存储
bkstorages 模块帮助你在蓝鲸应用中使用多种文件存储服务作为后端,用于加速静态资源,管理用户上传文件。
自定静态文件 storage
如果通过修改配置文件满足不了你的需求,你随时可以通过继承 RGWBoto3Storage 的方式来自定义你自己的 storage:
class MyStaticRGWBoto3Storage(RGWBoto3Storage):
"""My Storage class for storing static files
"""
bucket_name = 'another_bucket'
location = '/my_static_path'
object_parameters = {
'Expires': 'Wed, 30 Nov 2016 04:12:29 GMT',
'CacheControl': 'max-age=86400'
}
# 修改 settings
STATICFILES_STORAGE = 'custom_backend.MyStaticRGWBoto3Storage'
除了将 RGWBoto3Storage 指定为文件存储后端外,你还可以通过 RGWBoto3Storage API 来手动使用它来管理文件。
上传内容文件:
from bkstorages.backends.rgw import RGWBoto3Storage
storage = RGWBoto3Storage()
# 使用 ContentFile
f = ContentFile('Hello, RGW!')
storage.save(u'/test/hello', f)
上传文件对象:
from tempfile import NamedTemporaryFile
from django.core.files import File
with NamedTemporaryFile() as fp:
fp.write('Temp file')
fp.flush()
f = File(fp)
storage.save(u'/test/temp_file.txt', f)
查看文件链接:
storage.url('/test/temp_file.txt')
列出目录下所有文件:
storage.listdir('/test')
删除文件:
storage.delete('/test/temp_file.txt')
from bkstorages.backends.rgw import RGWBoto3Storage
storage = RGWBoto3Storage()
def task_file_upload(request):
random_str = ''.join(random.sample(string.ascii_lowercase, 8))
upload_dir = "%s/task_data/tmp/%s" % (FileUploadDir, random_str)
response_dic = {'files': {}}
user = request.COOKIES.get('bk_uid')
l, l1, l2 = [], [], []
l.append(user)
l.sort(cmp)
user_list = Users.objects.values('username')
for i in user_list:
username = i.get('username')
l1.append(username)
l1.sort(cmp)
a = list(set(l) - set(l1))
if a:
Users(username=a[0]).save()
user_name = Users.objects.get(username=user)
for k, file_obj in request.FILES.items():
filename = '%s/%s' % (upload_dir, file_obj.name)
with NamedTemporaryFile() as destination:
for chunk in file_obj.chunks():
destination.write(chunk)
f = File(destination)
storage.save(filename, f)
size = storage.size(filename)
ctime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(time.time()))
FileList(file_name=file_obj.name, file_size=size, file_create_time=ctime, user=user_name, files_dir=random_str).save()
filelist = FileList.objects.filter(user=user_name)
for file in filelist:
response_dic['files'][file.id] = {'file_name': file.file_name, 'user': file.user.username, 'file_create_time': file.file_create_time, 'file_size': file.file_size, 'files_dir': file.files_dir}
return HttpResponse(json.dumps(response_dic)) def delete_file(request, random_str):
response, file_abs = {}, ''
if request.method == "POST":
upload_dir = "%s/task_data/tmp/%s" % (FileUploadDir, random_str)
filename = request.POST.get('filename')
file_id = request.POST.get('fileid')
if filename and file_id:
file_abs = "%s/%s" % (upload_dir, filename.strip())
if storage.exists(file_abs):
storage.delete(file_abs)
FileList.objects.filter(id=file_id).delete()
response['msg'] = "file '%s' got deleted " % filename
else:
response["error"] = "file '%s' does not exist on server" % filename
return HttpResponse(json.dumps(response)) def send_zipfile(request, file_path, file_name):
zip_file_name = '%s_files' % file_name
archive = zipfile.ZipFile(zip_file_name, 'w', zipfile.ZIP_DEFLATED)
file__name = file_name.encode('utf-8')
filepath = storage.url('%s/%s' % (file_path, file__name.strip()))
file_path = urllib.unquote(filepath.encode('utf-8'))
bash('curl -O %s' % file_path)
if os.path.isfile(file__name):
archive.write(file__name, arcname=file__name)
archive.close()
wrapper = FileWrapper(open(zip_file_name, 'rb'))
response = HttpResponse(wrapper, content_type='application/zip')
response['Content-Disposition'] = 'attachment; filename=%s.zip' % (urlquote(zip_file_name))
response['Content-Length'] = os.path.getsize(zip_file_name)
return response def file_download(request, random_str):
file_path, file_name = '', ''
if request.method == "POST":
file_path = "%s/task_data/tmp/%s" % (FileUploadDir, random_str)
file_name = request.POST.get('filename')
return send_zipfile(request, file_path, file_name)
s3对象存储的更多相关文章
- Golang 调用 aws-sdk 操作 S3对象存储
Golang 调用 aws-sdk 操作 S3对象存储 前言 因为业务问题,要写一个S3对象存储管理代码,由于一直写Go,所以这次采用了Go,Go嘛,快,自带多线程,这种好处就不用多说了吧. 基础的功 ...
- 【系统设计】S3 对象存储
在本文中,我们设计了一个类似于 Amazon Simple Storage Service (S3) 的对象存储服务.S3 是 Amazon Web Services (AWS) 提供的一项服务, 它 ...
- ceph 007 双向池同步 rgw对象网关配置 s3对象存储
增量导入导出要基于快照 导出的过程当中害怕镜像被修改所以打快照.快照的数据是不会变化的 镜像级别的双向同步 镜像主到备,备到主.一对一 就算是池模式的双向同步,镜像也具有主备关系 双向同步,池模式 [ ...
- 使用s3fs-fuse 挂载minio s3 对象存储
minio 是一个aws s3 兼容的对象存储系统,我们可以通过s3fs 进行数据桶的挂载,这样可以做好多方便的事情 环境准备 使用docker-compose 运行 minio docker-com ...
- 【Python】使用 boto 调用 S3 对象存储API
代码示例: import logging #from django.conf import settings import boto from boto.s3.key import Key impor ...
- AWS S3 对象存储服务
虽然亚马逊云非常牛逼,虽然亚马逊云财大气粗,虽然亚马逊用的人也非常多,可是这个文档我简直无法接受,特别是客服,令人发指的回复速度,瞬间让人无语,可是毕竟牛逼.忍了,躺一次坑而已 1.图片上传 1.1 ...
- 010 Ceph RGW对象存储
一.对象存储 1.1 介绍 通过对象存储,将数据存储为对象,每个对象除了包含数据,还包含数据自身的元数据 对象通过Object ID来检索,无法通过普通文件系统操作来直接访问对象,只能通过API来访问 ...
- FreeNAS 11.0 正式发布,提供 S3 兼容的对象存储服务
FreeNAS 11.0 正式版已发布,该版本带来了新的虚拟化和对象存储功能.FreeNAS 11.0 将 bhyve 虚拟机添加到其受欢迎的 SAN / NAS.Jail 和插件中,让用户可以在 F ...
- 基于LAMP php7.1搭建owncloud云盘与ceph对象存储S3借口整合案例
ownCloud简介 是一个来自 KDE 社区开发的免费软件,提供私人的 Web 服务.当前主要功能包括文件管理(内建文件分享).音乐.日历.联系人等等,可在PC和服务器上运行. 简单来说就是一个基于 ...
随机推荐
- oracle的loop等循环语句的几个用法小例子[转]
--loop循环用法 (输出1到10) declare v_num number(2) := 0; begin loop v_num := v_num + 1; exit when v_num > ...
- CentOS7下Tomcat启动慢的原因及解决方案
现象 在一次CentOS 7系统中安装Tomcat,启动过程很慢,需要几分钟,经过查看日志,发现耗时在这里:是session引起的随机数问题导致的.Tocmat的Session ID是通过SHA1算法 ...
- otunnel : 一个和lcx差不多的端口转发的工具
项目地址 ooclab/otunnel 下载地址(内涵各大平台) http://dl.ooclab.com/otunnel/ otunnel 用法 前提: 1. 假设 server 的地址为 exam ...
- Hbase学习之javaApI封装
http://qindongliang.iteye.com/blog/2096140
- WPF 在事件中绑定命令
导航:MVVMLight系列文章目录:<关于 MVVMLight 设计模式系列> 其实这也不属于MVVMLight系列中的东东了,没兴趣的朋友可以跳过这篇文章,本文主要介绍如何在WPF中实 ...
- HTML&CSS精选笔记_CSS入门
CSS入门 CSS核心基础 CSS样式规则 选择器{属性1:属性值1; 属性2:属性值2; 属性3:属性值3;} CSS代码结构中的特点 CSS样式中的选择器严格区分大小写,属性和值不区分大小写,按照 ...
- swift--添加新手引导页
swift和oc逻辑上都是一样的,只是写法不一样,可以使用一个view,也可以使用一个viewController,两种都可以的,使用view注意初始化的时候给他一个frame,vc的话,直接在本控制 ...
- 使用NSTimer实现动画
1.新建empty AppLication,添加HomeViewController页面, iphone.png图片 2.在 HomeViewController.xib中添加Image View,并 ...
- 一次Win10安装体验
我下载的是win10 Build 14279版本.http://www.iwin10.com/xiazai/1071.html 下载之后就直接拷到U盘安装了. 安装完之后发现(因为我是分区成了两个)我 ...
- HTTP/2笔记之流和多路复用
零.前言 本部分将讲解HTTP/2协议中对流的定义和使用,其实就是在说HTTP/2是若何做到多路复用的. 一.流和多路复用的关系 1. 流的概念 流(Stream),服务器和客户端在HTTP/2连接内 ...