本节将描写叙述怎样从一个或多个DynamoDB的表导出数据到S3的bucket中。在运行导出之前你须要提前创建好S3的bucket。

注意
假设你还没有使用过AWS Data Pipeline,在运行以下的流程前你须要先去创建两个IAM roles。很多其它信息,请移步
Creating IAM Roles for AWS Data Pipeline
从DynamoDB中导出数据到S3
  1. 登陆到AWS管理员控制台,打开DynamoDB console。

    https://console.aws.amazon.com/dynamodb/.

  2. 在 Amazon DynamoDB Tables 页面, 点击 Export/Import.
  3. 在 Export/Import 页面, 选择你想导出的表,然后点击
    Export from DynamoDB.
  4. 在 Create Export Table Data Pipeline(s) 页面。按以下流程操作:
    1. 在 S3 Output Folder 文本框中填写 Amazon S3 URI,导出文件将存放在S3中对应的目录下。比如:
      s3://mybucket/exports

      这个URI的规则应该是这样 s3://bucketname/folder
      :
      • bucketname 是S3中bucket的名称
      • folder 表示此bucket下目录的名称。假设这个目录不存在,它将被自己主动创建。

        假设你不指定这个名称,它将被自己主动授予一个名字,名字的规则是:
        s3://bucketname/region/tablename.

    2. 在 S3 Log Folder 文本框中输入一个S3 URI。导出过程的日志将被存储在对应的folder中。比如:s3://mybucket/logs/

      S3 Log Folder URI的格式和
      S3 Output Folder的格式同样。
    3. 在 Throughput Rate 文本框中可选择一个百分比。

      这个比率表示在导出过程中会消耗读吞吐量的上限。比如,如果你要导出的表的读吞吐量是20,同一时候你设置的百分比是40%。

      那么导出时所消耗的吞吐量将不会超过8.

      假设你在导出多个表,这个 Throughput Rate 将会被应用到每一个表中。

    4. Execution Timeout 文本框。输入导出任务的超时时长。假设导出任务在这个时长内还没运行完毕,此任务会失败。
    5. Send notifications to 文本框,输入一个email地址。

      在 pipeline被创建后。你将会收到一封email邀请订阅Amazon SNS。假设你接受了此邀请。在每次运行导出操作时你都将会收到email通知。

    6. Schedule 选项,选择以下当中一项:
      • One-time Export —导出任务将在pipeline被创建后马上运行。

      • Daily Export — 导出任务将会在你所指定的时刻运行。同一时候会在每天的那个时刻反复。
    7. Data Pipeline Role, 选择 DataPipelineDefaultRole.
    8. Resource Role, 选择 DataPipelineDefaultResourceRole
  5. 确认好以上设置然后点击 Create Export Pipeline.
你的 pipeline 如今将被创建。这个过程可能会花费几分钟完毕。要查看当前状态。移步 Managing
Export and Import Pipelines
.
假设你选择的Schedule是 one-time export,导出任务将在pipeline 创建成功后马上运行。

假设你选择的是daily export,导出任务将会在指定时刻运行,同一时候会在每天的那个时刻运行导出任务。

当导出任务结束,你能够到 Amazon S3 console 来查看导出文件。这个文件将会在以你的表名命名的目录中。而文件名称将会是这样的格式: YYYY-MM-DD_HH.MM

文件内部结构会在Verify
Data Export File
 中描写叙述。

Aws Dynamodb数据导出到S3的更多相关文章

  1. 使用 bash 脚本把 AWS EC2 数据备份到 S3

    目录 一.IAM 秘钥授权方式(普通) 1.1.打开 IAM 1.2.添加用户 1.3.安装和配置 AWS CLI 1.4.配置授权 二.IAM 角色授权方式(安全) 2.1.创建一个 EC2 访问 ...

  2. 干货 | Elasticsearch、Kibana数据导出实战

    1.问题引出 以下两个导出问题来自Elastic中文社区. 问题1.kibana怎么导出查询数据? 问题2:elasticsearch数据导出 就像数据库数据导出一样,elasticsearch可以么 ...

  3. ELK学习笔记之Elasticsearch和Kibana数据导出实战

    0x00 问题引出 以下两个导出问题来自Elastic中文社区. 问题1.kibana怎么导出查询数据?问题2:elasticsearch数据导出就像数据库数据导出一样,elasticsearch可以 ...

  4. [django]数据导出excel升级强化版(很强大!)

    不多说了,原理采用xlwt导出excel文件,所谓的强化版指的是实现在网页上选择一定条件导出对应的数据 之前我的博文出过这类文章,但只是实现导出数据,这次左思右想,再加上网上的搜索,终于找出方法实现条 ...

  5. 【基于WinForm+Access局域网共享数据库的项目总结】之篇二:WinForm开发扇形图统计和Excel数据导出

    篇一:WinForm开发总体概述与技术实现 篇二:WinForm开发扇形图统计和Excel数据导出 篇三:Access远程连接数据库和窗体打包部署 [小记]:最近基于WinForm+Access数据库 ...

  6. mssqlserver数据导出到另外一个数据库

    mssqlserver数据导出到另外一个数据库 准备源数据库,找到想要导出的数据库,右键选择"任务"再选择"导出数据" 设置源数据库信息 3.设置目标数据库,导 ...

  7. 在SQL Server中将数据导出为XML和Json

        有时候需要一次性将SQL Server中的数据导出给其他部门的也许进行关联或分析,这种需求对于SSIS来说当然是非常简单,但很多时候仅仅需要一次性导出这些数据而建立一个SSIS包就显得小题大做 ...

  8. Oracle如何实现创建数据库、备份数据库及数据导出导入的一条龙操作

    Oracle中对数据对象和数据的管理,无疑都是使用PL/SQL Developer来进行管理,该工具也提供给我们很多方便.快捷的操作,使得我们不再为Oracle本身丑陋.难用的UI而抱怨.由于我们一般 ...

  9. pb将datawindow数据导出EXCEL

    PB有dw有自带功能可以将数据导出成excel,但是head却是字段名称,这样不直观. 所见即所得的方式是,将dw保存成html然后将后缀名改成xls,但这样的方式还有些问题就是会错列,解决的方法是将 ...

随机推荐

  1. Leetcode 457.环形数组循环

    环形数组循环 给定一组含有正整数和负整数的数组.如果某个索引中的 n 是正数的,则向前移动 n 个索引.相反,如果是负数(-n),则向后移动 n 个索引. 假设数组首尾相接.判断数组中是否有环.环中至 ...

  2. TensorFlow笔记——

    主要依赖包 protocal buffer 处理结构化数据的工具:序列化(结构化数据->数据流) + 还原(数据流->结构化数据) protocol buffer与XML和JSON的区别: ...

  3. [git 学习篇] 创建公钥

    http://riny.net/2014/git-ssh-key/ 1 安装 windows gitbash    msysgit是Windows版的Git,从https://git-for-wind ...

  4. [Uiautomator篇][2] UiDeviceAPI介绍

    1 https://developer.android.com/training/testing/ui-testing/uiautomator-testing.html  http://www.cnb ...

  5. HDU——1005Number Sequence(模版题 二维矩阵快速幂+操作符重载)

    Number Sequence Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others)T ...

  6. HDU——1393Weird Clock(水题,注意题意)

    Weird Clock Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others) Tota ...

  7. Java面试题之HashMap如何有效减少碰撞

    1.扰动函数算法,促使元素位置分布均匀,减少碰撞几率: 2.使用final对象,并采用合适的equals方法和hashCode方法:

  8. 马士兵hadoop第二课:hdfs集群集中管理和hadoop文件操作(转)

    马士兵hadoop第一课:虚拟机搭建和安装hadoop及启动 马士兵hadoop第二课:hdfs集群集中管理和hadoop文件操作 马士兵hadoop第三课:java开发hdfs 马士兵hadoop第 ...

  9. 27深入理解C指针之---字符串基础

    一.字符串:是以ASCII字符NUL结尾的字符序列,NUL表示为\0 1.定义:将字符按顺序存储在数组中,以NUL结尾. 2.特征: 1).每个字符串长度只是包含所有的字符,不包括最后的NUL,手动分 ...

  10. 切換 java compiler 版本

    有些程式在執行時會顯示需要較新的 java jre 版本, 若系統裝有兩個 java jre 可以使用下列指令切協版本, sudo update-alternatives --config java ...