AWS CLI command example

aws cli command line interface的安装与使用

安装在centos中安装aws cli,安装依赖python,先装好python,然后按下述命令执行 yum install wget wget https://bootstrap.pypa.io/get-pip.py python get-pip.py pip install awscli 配置在使用之前需要配置自己的key ID及 Access Key,执行aws configure,一步步配置如下: AWS Access Key ID [None]: AKIAI44QH8DHBEXAM…

AWS CLI command example

1.list ec2 instance-id, instance status, type, ip address, name aws ec2 describe-instances --query 'Reservations[*].Instances[*].[InstanceId,State.Name,InstanceType,PrivateIpAddress,PublicIpAddress,Tags[?Key==`Name`].Value[]]' --output json | tr -d '…

AWS CLI以及AWS S3 SYNC命令行使用

1.到AWS的IAM创建用户,并且获取到访问密钥 ID 和私有访问密钥.下载密钥并保存. 2.到http://docs.amazonaws.cn/cli/latest/userguide/installing.html#install-msi-on-windows下载对应系统的AWS CLI MSI 软件.3.到https://www.python.org/downloads/下载python-2.7.10.msi,并安装.4.配置python的运行路径包括三个路径 C:\Python27;…

关于aws cli命令的exit/return code分析

最近总是收到一个备份脚本的失败邮件,脚本是之前同事写的,没有加入任何有调试信息,及有用的日志于是去分析 ,脚本中有一条 aws s3 sync $srclocal $dsts3 命令,然后根据这条命令的执行状态码判断成功与失败失败后,会发送失败的提醒邮件,然后去s3界面去看,s3 sync备份任务又好像是的成功的,主要的核心的备份文件都是在的难道是部分文件备份失败,于是加入调试信息,输出stderr信息及exit code,最后return code 为 2 最后,去查询了一下,aws…

关于在Linux上安装aws cli版本1的记录

AWS Command Line Interface (AWS CLI) 是一种开源工具,让您能够在命令行 Shell 中使用命令与 AWS 服务进行交互. 因公司项目要求,要在Linux服务器安装awc cli版本1(如果没有要求,推荐大家安装版本2) AWS CLI 版本 1 的安装有两种方式: 使用捆绑安装程序安装和使用pip方式安装先决条件:您必须已安装 Python 2 版本 2.7 或更高版本,或 Python 3 版本 3.4 或更高版本捆绑安装程序包含所有依赖项,并可以离…

AWS CLI使用s3

aws CLI是什么东西,暂且先不去了解,目前的需求是s3. 我在Jenkins上创建一个bucket,然后申请access_key,然后就可以使用s3来存储数据了.也就是说,s3就是一个网盘. 1.安装CLI 文档:http://docs.aws.amazon.com/cli/latest/userguide/installing.html $ curl "https://s3.amazonaws.com/aws-cli/awscli-bundle.zip" -o "aws…

[Notes] AWS Automation using script and AWS CLI

(c) 2014 Amazon Web Services, Inc. and its afflialtes, All rights reserved. The content in this file is copied from qwikLABS - Automating AWS Services with Scripting and the AWS CLI Please respect the rights. Putty: a Secure Shell(SSH) client that wi…

AWS CLI 中使用S3存储

登录通过控制面板, 在S3管理器中创建一个新的bucket 所有AWS服务 -> 安全&身份 -> IAM -> 组, 创建一个新的组, 例如 "s3-user", 策略中添加 AmazonS3FullAccess IAM -> 用户, 创建一个新用户, 例如叫"s3-001", 让同时生成access key ID和secret access key, 记下将这个用户添加到组中在服务器命令行界面, 执行命令aws config…

用aws cli 下载s3中数据到本地

参考https://blog.csdn.net/DynastyRumble/article/details/76649120 1 首先注册AWS账户,绑定信用卡.一定要填写正确的手机,因为验证方式是它打电话过来,你输入电脑屏幕上的数字. 注册免费用户.S3大概5G容量.不过,咱是要下载别人家的s3数据.不知道怎么个收费法. 2 在aws里创建S3用户 3 安装aws cli ——上面这些步骤和参考帖子基本一样. 后面不同的地方: 4 直接在命令行 aws configure 不用配置用户然后按…

oozie.log报提示：org.apache.oozie.service.ServiceException: E0104错误 An Admin needs to install the sharelib with oozie-setup.sh and issue the 'oozie admin' CLI command to update sharelib

不多说,直接上干货! 问题详情关于怎么启动oozie,我这里不多赘述. Oozie的详细启动步骤(CDH版本的3节点集群) 然后,我在查看 [hadoop@bigdatamaster logs]$ tail -n oozie.log 时,报错提示,如下 [hadoop@bigdatamaster logs]$ tail -n oozie.log -- ::, WARN ConfigurationService: - SERVER[bigdatamaster] Invalid configura…

亚马逊s3存储： aws cli上传工具速度和各文件大小关系探究

1,背景介绍公司最近最近统一了存储环境,由ftp文件存储全量转换为ceph存储.有业务组表示以前往ftp文件批量上传30万个文件1.3GB只需要16分钟左右.切换为ceph存储需要1个多小时,也就是现在现有的速度只有369kb/s.询问能如何改进. 公司内部网络和存储环境进行了压力测试. ceph 存储系统调研读写性能测试的报告如下我们是采用s3的接口进行文件上传的,也就是对于上面的cephrgw的接口.大概在20MB/s的速度. 2,首先我使用java程序进行验证. 发现他发给我的数据集确…

AWS Switching to an IAM role (AWS CLI)

一,引言今天额外分享一篇 AWS 的技术内容,需要在 EC2 切换到跨账号 IAM 角色(AWS CLI).假设我们使用两个 AWS 账户,A账号,B账号.我们希望允许 A 账号用于 "iam-role-iam-readonly" 的 AWS IAM Role 的只读权限.而 EC2 实例却位于 B 账户中.该实例包含 "iam-role-ec2" 实例配置文件角色,我们希望 "iam-role-ec2" 允许跨账户 A 中的 IAM Role…

[AWS] Install the AWS cli

On Windows, just download the installer and install it. Configure: aws configure In your aws console: go to Security Credentials tab Access Keys (Access Key ID and Secret Access Key) drop dwon --> Create new access key if you havn't So now you get Ac…

AWS CLI 【S3】

1.创建一个桶&删除一个桶 root@syavingc:~# aws s3 mb s3://syavingc #创建一个桶 make_bucket: syavingc root@syavingc:~# aws s3 ls -- :: syavingc root@syavingc:~# aws s3 rb s3://syavingc #删除一个桶 remove_bucket: syavingc 2.递归下看桶下面的目录 :~# aws s3 ls s3://syavingc PRE test01/…

mac安装Aws cli失败

OS X EI 10.11 报错信息如下: Found existing installation: six 1.4.1 DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will…

Install aws cli

下载 https://s3.amazonaws.com/aws-cli/AWSCLI64PY3.msi 添加环境变量…

Install the AWS Command Line Interface on Linux

Install the AWS Command Line Interface on Linux You can install the AWS Command Line Interface and its dependencies on most Linux distributions with pip, a package manager for Python. Important The awscli package is available in repositories for othe…

AWS S3 CLI的权限bug

使用AWS CLI在S3上创建了一个bucket,上传文件的时候报以下错误: A client error (AccessDenied) occurred when calling the CreateMultipartUpload operation: Anonymous users cannot initiate multipart uploads. Please authenticate. 执行命令:aws s3 ls s3://mybucket-1 同样提示权限错误. 之前使用AWS C…

AWS S3 CLI的安装和配置

以Ubuntu系统为例,说明如何使用CLI调试AWS S3环境: 1. 安装 # sudo pip install awscli 2. 配置AWS CLI 执行命令aws configure, 注意,如果在系统里已有文件~/.aws/aws configure 并其中有KeyId和AccessKey的配置, 则这个命令会读出现有的Key信息,例如 AWS Access Key ID [****************X5TQ]: 可以在后面写新的Key来覆盖之. 然后下面的配置在账户的控制台里都…

国外物联网平台（1）：亚马逊AWS IoT

国外物联网平台(1)——亚马逊AWS IoT 马智平台定位 AWS IoT是一款托管的云平台,使互联设备可以轻松安全地与云应用程序及其他设备交互. AWS IoT可支持数十亿台设备和数万亿条消息,并且可以对这些消息进行处理并将其安全可靠地路由至 AWS 终端节点和其他设备.应用程序可以随时跟踪所有设备并与其通信,即使这些设备未处于连接状态也不例外. 使用AWS Lambda.Amazon Kinesis.Amazon S3.Amazon Machine Learning.Amazon Dyna…

AWS S3

Amazon Simple Storage Service (Amazon S3) Amazon S3 提供了一个简单 Web 服务接口,可用于随时在 Web 上的任何位置存储和检索任何数量的数据.此服务让所有开发人员都能访问同一个具备高扩展性.可靠性.安全性和快速价廉的数据存储基础设施. Amazon S3的简单操作: 开发指南一.创建请求 1. 使用 AWS 账户或 IAM 用户凭证进行请求为 AWS 开发工具包配置凭证的最简单方法是使用 AWS 凭证文件,AWS 开发工具包会寻找您的本…

AWS：5.公有云编程

主要内容 1.AWS接口 2.使用AWS命令行 3.使用python sdk编程 AWS接口 Console:web控制台登录amazon后在"我的账户" -> AWS管理控制台例如进入"EC2控制面板" 特点:针对初学者,简单.功能有限 AWS CLI:命令行接口需要客户机安装命令解析器特点:针对系统管理员,方便写脚本来访问资源 REST API: 通过URL加参数访问,例如,添加S3上的访问用户参考文档:http://aws.amazon.com…

国外物联网平台初探（一） ——亚马逊AWS IoT

平台定位 AWS IoT是一款托管的云平台,使互联设备可以轻松安全地与云应用程序及其他设备交互. AWS IoT可支持数十亿台设备和数万亿条消息,并且可以对这些消息进行处理并将其安全可靠地路由至 AWS 终端节点和其他设备.应用程序可以随时跟踪所有设备并与其通信,即使这些设备未处于连接状态也不例外. 使用AWS Lambda.Amazon Kinesis.Amazon S3.Amazon Machine Learning.Amazon DynamoDB.Amazon CloudWatch.AWS…

使用.Net Core编写命令行工具(CLI)

命令行工具(CLI) 命令行工具(CLI)是在图形用户界面得到普及之前使用最为广泛的用户界面,它通常不支持鼠标,用户通过键盘输入指令,计算机接收到指令后,予以执行. 通常认为,命令行工具(CLI)没有图形用户界面(GUI)那么方便用户操作.因为,命令行工具的软件通常需要用户记忆操作的命令,但是,由于其本身的特点,命令行工具要较图形用户界面节约计算机系统的资源.在熟记命令的前提下,使用命令行工具往往要较使用图形用户界面的操作速度要快.所以,图形用户界面的操作系统中,都保留着可选的命令行工具. 另外…

云计算之路-出海记：命令行下的 AWS

俗话说"三百六十行,行行出状元",自从有了电脑之后,三百六十行又多了一行 -- 命令行.GUI 的诞生开创了繁荣的 PC "窗口"(windows)时代,互联网的诞生给 GUI 家族增添新成员 Web UI,移动互相网的诞生又帮 GUI 家族生下了二胎 Mobile UI,但用情专一的程序员念念不忘的依然是命令行,于是这一行出了个网红状元 -- Linux. 程序员的执念,成为任何一个技术平台厂商都不敢忽略的牵连,于是 CLI 成为技术平台或者底层技术产品的标配,各…

"Installation failed !" in GUI but not in CLI (/usr/bin/winusb: line 78: 18265 Terminated )

"Installation failed !" in GUI but not in CLI (/usr/bin/winusb: line 78: 18265 Terminated ) Installation failed ! Exit code: 256 Log: **blank** ----- Install log(when running winusbgui as root) Installation failed ! Exit code: 256 Log: Formattin…

在AWS中创建NAT节点

NAT, Network Address Translation,即网络地址转换.当内部网络的主机想要访问外网,但是又不想直接暴露给公网,可以通过NAT节点来访问外网.这样做有两个好处,第一是内网的主机无需拥有公网IP就可访问网络(NAT节点需要公网IP),节约了公网IP:第二是内网的主机由于没有公网IP,所以公网的电脑无法访问到它,这样就可以隐藏自己.一个很经典的示例是假如你有一台数据库服务器放置在内网中,为在同一个内网中的web服务器提供数据服务,为了安全性考虑你不会把它直接暴露在公网中.但…