七牛云数据存储Demo
利用七牛云的Python SDK实现文件上传、下载等操作。
import os
import requests
import qiniu
from qiniu import BucketManager
from qiniu import Auth
from qiniu import utils
# 你自己的accessKey
accessKey = 'DjZp39jT_GN7yr0i_vf5Zs3vBnzYjzkxd7kt6tuK'
# 你自己的secretKey
secretKey = 'HouhuF7Essfu-VveQ3GYXTcEddgP1qrwtblWuMNa'
# 你自己的bucket_domain
bucket_domain = '7xjsrw.com3.w1.blg.clouddn.com'
class Kpan():
def __init__(self, base_dir, ak=accessKey, sk=secretKey):
"""初始化Kpan类
base_dir:工作路径
ak:accessKey
sk: secretKey
"""
self.auth = Auth(ak, sk)
self.bucket_manager = BucketManager(self.auth)
self.kpan_bucket = 'kpan'
self.base_dir = os.path.abspath(base_dir)
def upload_file(self, key):
filePath = os.path.join(self.base_dir, key)
# 计算当前文件的hash值,如果服务器上存在相同的副本取消上传
file_hash = utils.etag(filePath)
if file_hash == self.is_file_exist(key):
print('服务器已存在相同的副本,上传取消...')
return
upToken = self.auth.upload_token(self.kpan_bucket, key)
ret, info = qiniu.put_file(upToken, key, filePath)
print('%s上传成功...' % key)
def download_file(self, key, toPath=None):
'''下载单个文件
key:要下载的文件
toPath:存储路径,默认为base_dir
'''
if not toPath:
toPath = self.base_dir
base_url = 'http://%s/%s' % (bucket_domain, key)
# 设置token过期时间
private_url = self.auth.private_download_url(base_url, expires=3600)
r = requests.get(private_url)
path = os.path.join(toPath, key)
dir, _ = os.path.split(path)
if not os.path.exists(dir):
os.makedirs(dir)
with open(path, 'wb') as f:
f.write(r.content)
print('%s 文件保存成功' % key)
def get_all_files(self):
items = self.list_all_file()
for item in items:
self.download_file(item['key'])
def delete_file(self, key):
if not self.is_file_exist(key):
print('%s 文件不存在...' % key)
return
ret, info = self.bucket_manager.delete(self.kpan_bucket, key)
if not ret:
print('%s 文件删除成功...' % key)
else:
print(ret)
def list_all_file(self):
ret, eof, info = self.bucket_manager.list(self.kpan_bucket)
items = ret['items']
# 返回所有文件列表
return items
def rename(self, key, tokey):
if not self.is_file_exist(key) or self.is_file_exist(tokey):
print('重命名失败,“%s”可能已存在' % tokey)
return
ret, info = self.bucket_manager.rename(self.kpan_bucket, key, tokey)
if not ret:
print('将“%s”重命名为“%s”成功...' % (key, tokey))
else:
print('“%s”重命名失败...' % key)
def is_file_exist(self, key):
# 检查服务器上文件是否存在,如存在返回hash值
ret, info = self.bucket_manager.stat(self.kpan_bucket, key)
if not ret:
return False
else:
return ret['hash']
def upload_all_files(self):
for fpathe, dirs, fs in os.walk(self.base_dir):
for f in fs:
_path = os.path.join(fpathe, f)
key = os.path.relpath(_path, self.base_dir)
if os.name == 'nt':
key = key.replace('\\', '/')
pan.upload_file(key)
print('所有文件上次成功...')
if __name__ == '__main__':
# 测试文件上传
pan = Kpan('D:/Kpan')
# pan.get_all_files()
pan.upload_all_files()
七牛云数据存储Demo的更多相关文章
- DT添加七牛云对象存储插件功能
七牛云对象存储 1.注意客户购买的空间的存储区域,区域不同对应的上传域名不同 destoon 七牛云上传文件 用下面源码替换include/ftp.class.php 文件代码 &l ...
- 使用FileZilla Pro S3协议访问七牛云对象存储
偶然发现FileZilla还有Pro版本,主要是比免费版多了一些协议支持,也偶然发现七牛云支持了S3协议接口,这样刚好弥补了其没有FTP的不足,于是找官方文档,折腾一下,使用FileZilla Pro ...
- Gin + 七牛云对象存储
配置七牛云存储 创建存储空间 拿到密钥 安装七牛云对象存储SDK 推荐go.mod安装 // 将下面地址复制到go.mod,然后执行go mod download github.com/qiniu/a ...
- django之集成七牛云对象存储
Python3 + Django2.0 集成 "七牛云" 对象存储 (SDK文档地址:http://developer.qiniu.com/kodo/api/3928/error- ...
- 在ThinkPHP框架(5.0.24)下引入Ueditor并实现向七牛云对象存储上传图片同时将图片信息保存到MySQL数据库,同时实现lazyload懒加载
这是我花了很多天的时间才得以真正实现的一组需求. 文章后面有完整Demo的GitHub链接. 一. 需求描述 1. 应用是基于ThinkPHP5开发的: 2. 服务器环境是LNMP,PHP版本是7.2 ...
- 七牛云对象存储kodo使用体验
在这里,我使用了七牛云的对象存储Kodo,和阿里云的OSS,还有腾讯云的COS是同样的产品 oss相关术语 包依赖关系解决 unrecognized import path "golang. ...
- 使用python3.7+Vue.js2.0+Django2.0.4异步前端通过api上传文件到七牛云云端存储
原文转载自「刘悦的技术博客」https://v3u.cn/a_id_130 之前一篇文章是通过普通js+tornado来上传七牛云:使用Tornado配合七牛云存储api来异步切分上传文件,本次使用v ...
- scrapy抓取拉勾网职位信息(七)——数据存储(MongoDB,Mysql,本地CSV)
上一篇完成了随机UA和随机代理的设置,让爬虫能更稳定的运行,本篇将爬取好的数据进行存储,包括本地文件,关系型数据库(以Mysql为例),非关系型数据库(以MongoDB为例). 实际上我们在编写爬虫r ...
- 联系人数据存储Demo源代码
源码下载地址:07-联系人数据存储.zip35.8 KB // MJPerson.h // // MJPerson.h // 07-联系人数据存储 // // Created by apple ...
随机推荐
- 【学习笔记】C# 封装和继承
封装 封装是实现面向对象程序设计的第一步 封装就是将数据.方法等集合在一个个单元中,我们称之为类 封装的意义在于保护代码/数据,屏蔽复杂性 继承 继承是所有面向对象语言不可缺少的部分 继承是为了实现类 ...
- (转)SimpleDateFormat使用
1 SimpleDateFormat public class SimpleDateFormat extends DateFormat SimpleDateFormat 是一个以国别敏感的方式格式化 ...
- redis 一般性使用概述
最近一段时间与redis接触比较频繁.发现有些东西还是工作中经常会用到的,自己也花了点时间巩固下.本篇文章主要是以总结性的方式梳理,因为redis的主题很大,任何一个技术点展开都是几篇文章的量.也可以 ...
- rabbitMQ教程(二)一篇文章看懂rabbitMQ
一.rabbitMQ是什么: RabbitMQ,遵循AMQP协议,由内在高并发的erlanng语言开发,用在实时的对可靠性要求比较高的消息传递上. 学过websocket的来理解rabbitMQ应该是 ...
- Eclipse详细设置护眼背景色和字体颜色并导出
Eclipse详细设置护眼背景色和字体颜色并导出 Eclipse是一款码农们喜闻乐见的集成开发平台,但是其默认的主题和惨白的背景色实在是太刺激眼球了.下面,将给大家详细介绍如何设置成护眼主题的方法,也 ...
- ue4粒子实现流血效果
---恢复内容开始--- 动作/射击游戏中,击中角色时常常伴随着血花效果,增强打击感的同时,也方便了玩家对命中与否的判断. 血液效果分两块,首先是受伤部位在受击瞬间产生血雾粒子,然后在身体.地面.墙面 ...
- Swift 细节
1.swift ?和 !的区别 1.1 Swift语言使用var定义变量,但和别的语言不同,Swift里不会自动给变量赋初始值,也就是说变量不会有默认值,所以要求使用变量之前必须要对其初始化.如果在使 ...
- WPF--TextBlock的ToolTip附加属性
大家可能在项目中,有的时候,由于显示的内容过长,所以,需要显示一部分内容,然后后面用省略号,把鼠标放上去,会显示出来全部的内容. 作为一个LowB程序员的我,第一反应是SubString截取,然后替换 ...
- VMware的安装和使用
注:内容系兄弟连Linux教程(百度传课:史上最牛的Linux视频教程)的学习笔记. VMware的安装和使用 1. 虚拟机的安装 这里安装虚拟机VMware10,下载安装程序,双击安装-->为 ...
- EXchange导出通讯录提取url纯文本
用outlook链接邮箱 文件-打开和导出--导出到文件--逗号分隔值--选择联系人--保存 保存为一个后缀为csv的文件 打开该文件 选中该列 用替换功能删掉()符号 用vba脚本删掉汉字 Sub ...