在工作中,我们可能经常会将本地数据上传S3进行备份,或者将S3数据下载到本地 本文主要讲解下,工作中可能经常会用到的与S3相关的操作 1.将本地目录的数据同步到指定的S3位置,及s3资源管理 # 同步当前目录下的全部数据到指定的S3位置(包含隐藏文件) aws s3 sync ./ s3://qq5201351/DC-VMDATA/# 列出s3上目录中的资源(可以看到目录及文件的修改时间大小及名称信息)aws s3 ls s3://qq5201351/DC-VMDATA/# 删除s3上指定的文件…

最近总是收到一个备份脚本的失败邮件,脚本是之前同事写的,没有加入任何有调试信息,及有用的日志 于是去分析 ,脚本中有一条 aws s3 sync $srclocal  $dsts3 命令,然后根据这条命令的执行状态码判断成功与失败 失败后,会发送失败的提醒邮件,然后去s3界面去看,s3 sync备份任务又好像是的成功的,主要的核心的备份文件都是在的 难道是部分文件备份失败,于是加入调试信息,输出stderr信息及exit code,最后return code 为 2 最后,去查询了一下,aws…

参考https://blog.csdn.net/DynastyRumble/article/details/76649120 1 首先注册AWS账户,绑定信用卡.一定要填写正确的手机,因为验证方式是它打电话过来,你输入电脑屏幕上的数字. 注册免费用户.S3大概5G容量.不过,咱是要下载别人家的s3数据.不知道怎么个收费法. 2 在aws里创建S3用户 3 安装aws cli ——上面这些步骤和参考帖子基本一样. 后面不同的地方: 4 直接在命令行 aws configure 不用配置用户 然后按…

aws CLI是什么东西,暂且先不去了解,目前的需求是s3. 我在Jenkins上创建一个bucket,然后申请access_key,然后就可以使用s3来存储数据了.也就是说,s3就是一个网盘. 1.安装CLI 文档:http://docs.aws.amazon.com/cli/latest/userguide/installing.html $ curl "https://s3.amazonaws.com/aws-cli/awscli-bundle.zip" -o "aws…

1.创建一个桶&删除一个桶 root@syavingc:~# aws s3 mb s3://syavingc #创建一个桶 make_bucket: syavingc root@syavingc:~# aws s3 ls -- :: syavingc root@syavingc:~# aws s3 rb s3://syavingc #删除一个桶 remove_bucket: syavingc 2.递归下看桶下面的目录 :~# aws s3 ls s3://syavingc PRE test01/…

一,引言 今天额外分享一篇 AWS 的技术内容,需要在 EC2 切换到跨账号 IAM 角色(AWS CLI).假设我们使用两个 AWS 账户,A账号,B账号.我们希望允许 A 账号用于 "iam-role-iam-readonly" 的 AWS IAM Role 的只读权限.而 EC2 实例却位于 B 账户中.该实例包含 "iam-role-ec2" 实例配置文件角色,我们希望 "iam-role-ec2" 允许跨账户 A 中的 IAM Role…

1.到AWS的IAM创建用户,并且获取到访问密钥 ID 和私有访问密钥.下载密钥并保存. 2.到http://docs.amazonaws.cn/cli/latest/userguide/installing.html#install-msi-on-windows下载对应系统的AWS CLI MSI  软件.3.到https://www.python.org/downloads/下载python-2.7.10.msi,并安装.4.配置python的运行路径 包括三个路径 C:\Python27;…

登录 通过控制面板, 在S3管理器中创建一个新的bucket 所有AWS服务 -> 安全&身份 -> IAM -> 组, 创建一个新的组, 例如 "s3-user", 策略中添加 AmazonS3FullAccess IAM -> 用户, 创建一个新用户, 例如叫"s3-001", 让同时生成access key ID和secret access key, 记下 将这个用户添加到组中 在服务器命令行界面, 执行命令aws config…

1,背景介绍 公司最近最近统一了存储环境,由ftp文件存储全量转换为ceph存储.有业务组表示以前往ftp文件批量上传30万个文件1.3GB只需要16分钟左右.切换为ceph存储需要1个多小时,也就是现在现有的速度只有369kb/s.询问能如何改进. 公司内部网络和存储环境进行了压力测试. ceph 存储系统调研读写性能测试的报告如下 我们是采用s3的接口进行文件上传的,也就是对于上面的cephrgw的接口.大概在20MB/s的速度. 2,首先我使用java程序进行验证. 发现他发给我的数据集确…

2017年1月11日, 星期三 yum安装的四种方式 一.默认:从国外下载 二.国内:从阿里获取  http://mirrors.aliyun.com 1. cd /etc/yum.repos.d 2. yum install wget -y 3.   结果: 可以看到,yum安装所指向的baseurl由国外--http://mirror.centos.org,指向到了阿里--http://mirrors.aliyun.com [root@node1 etc]# cd yum.repos.d […