Apsara Clouder云计算技能认证：云数据库管理与数据迁移

一.课程介绍

二.云数据库的简介及使用场景

1.云数据库简介

1.1特点:

• 用户按存储容量和带宽的需求付费
• 可移植性
• 按需扩展
• 高可用性(HA)

1.2阿里云云数据库 RDS

• 稳定可靠,可弹性伸缩的在线数据库服务.
• 基于飞天分布式系统和全 SSD 盘高性能存储
• 支持 MySQL,SQLServer,PostgreSQL 和 PPAS 引擎
• 提供容灾,备份,恢复,监控,迁移等方面的全套解决方案.

 

2.云数据库与自建数据库对比

3.云数据库功能特点

3.1 安全性

• 3层安全防护体系,通过十项安全合规认定,为您抵御90%以上的网络攻击.
• 安全事前防护:IP 白名单,支持 VPC私用网络
• 安全事中防护:SSL 加密,只是 TDE(透明数据加密)
• 安全事后审计:RDS 支持 SQL 审计功能

3.2可用性

• 3重高可用(容灾)架构,提供99.95%的业务可用性保障
• 主备架构:位于两个服务器,自动同步,异常切换
• 同城容灾:在不同可用区部署
• 异地容灾:支持创建一定灾备实例

3.3 可扩展性

• 弹性扩展,实现100%的资源利用率
• 可按需升级实例内存,磁盘空间大小,提升业务处理能力;单实例最大支持50000IOPS,3TB 存储空间.
• RDS for MySQL 支持挂载只读实例,扩展读取能力;每个只读实例拥有独立的连接地址,可有应用端控制压力分配

3.4 易用性

• 内网外网同时连接,方便本地化管理
• 自动备份,两年内数据恢复,解决90%以上的系统故障
• 自动监控预警,定期性能巡检,分担60%以上的运维工作

4.云数据库的应用场景

4.1数据多样化存储

RDS 支持搭配云数据库 Memcache,云数据库 redis 和对象存储 OSS 等存储产品使用,实现多样化存储扩展

4.2数据异地容灾场景

阿里云云数据库支持创建异地容灾实例

用户也可以通过 DTS数据传输服务,将传统自建数据库同步到云数据库RDS 中

4.3 大数据分析场景

大数据计算服务(MaxCompute,原名 ODPS)提供海量数据仓库解决方案以及针对大数据分析建模服务.

通过数据集成服务,可将 RDS 数据导入 MaxCompute,实现大规模数据计算.

三.云数据库 MySQL 版的基本概念

1.数据库 Mysql 版的分类

• 单机基础版
• 双机高可用版
• 金融版

2.云数据库的基本概念

• 实例:数据库服务进程
• 数据库:实例下的逻辑单元
• 账号:一个实例可以创建多个账号
• 内外网地址:访问模式对连接地址的选择有限制
• 访问模式:标准模式,高安全模式
• 白名单

四.创建实例,数据库与账号

1.云数据库快速管理流程

云数据库快速管理流程

五.SQL 操作与数据导入导出

1.连接云数据库

2.数据库管理服务 DMS 介绍

DMS 的优势

• 数据分析
• 提升研发效率
• 实时优化数据库性能
• 访问安全
• 丰富数据源支持

3.数据的导入及导出

• 导入数据
• 导出数据
• 表结构对比

4.sql 操作

• 命令窗口
• sql 窗口
• 表操作

六.数据库迁移上云

1.数据库迁移上云概述及工具

应用场景

• 线下自建数据库迁移
• 云上自建数据库迁移
• 阿里云内部跨实例迁移
• 其他云数据库迁移

注意条件:

• 需支持同异构数据库源之间的迁移
• 需支持库列表三级映射,数据过滤多种 ETL 特性

mysql 迁移工具:

• 传统数据库迁移工具,mysqldump,phpMyAdmin
• 阿里云 DTS

 

2.迁移模式DTS

迁移模式:

• 结构迁移
• 全量数据迁移
• 增联数据迁移

3.迁移步骤

前提条件:

• 创建 RDS 数据库
• 创建迁移账户

操作步骤:

• 创建迁移任务
• 配置迁移实例连接信息
• 迁移对象及迁移类型配置
• 预检查
• 启动迁移任务

4.数据库迁移上云演示

七.云数据库运维常用设置

• 1.变更配置
• 2.设置参数
• 3.设置可维护时间段
• 4.迁移可用区
• 5.切换主备实例
• 6.数据复制方式
• 7.切换网络访问模式

八.云数据管理初体验

1.登录到 RDS 管理控制台

如何登录到阿里云RDS管理控制台，并进入RDS实例。

. 首先，通过如下操作步骤，登录到阿里云RDS管理控制台：
）点击页面左侧 实验资源 ，下拉框中点击 点击 前往控制台 ，
）依次输入 实验资源 提供的 子用户名称 、子帐号密码 ，然后点击 登录 。
）顶部导航栏处点击 产品与服务 ，下拉菜单中，依次选择 云计算基础服务 ---> 数据库 ---> 云数据库RDS版 ，进入阿里云RDS管理控制台。

. 通过如下步骤，进入实验资源 云数据库RDS实例 的管理控制台。
）在顶部地址栏，选择 实验资源 提供的 地域 信息。
）在搜索栏中，输入 实验资源 提供的 云数据库RDS实例 的 实例ID ，并点击 搜索 。
）在下方搜索结果中，点击实例右侧的 管理 ，进入RDS实例的管理控制台。

2.创建RDS数据库账号

如何创建RDS数据库账号。

. 通过如下步骤，进入数据库账号创建页面：
）在RDS实例的管理页面，点击左侧栏的 账号管理 ，进入数据库账号管理页面。
）在 用户账号 页面，点击右侧的 创建账号 。

. 填写如下信息，完成数据库账号创建：
说明：如下参数的具体说明，烦请参考 背景知识 小节中 RDS 数据库帐号 的 创建数据库帐号 部分。
）数据库账号：请根据 输入框 下端的 命名规则 ，输入 数据库账号名称，例如：lab_user 。
）密码 ：请根据 输入框 下端的 密码规则 ，输入 密码，例如：Passw0rd；
）确认密码：再次输入创建的密码。
）完成如上信息后，点击 确定 。

. 自动返回 账号管理 的 用户账号  页面，查看到新建账号 lab_user 的 状态 为 激活 。

3.创建RDS数据库

在RDS实例上创建数据库。

. 通过如下操作步骤，进入数据库创建页面：
）点击左侧栏的 数据库管理 ，进入数据库管理页面。
）在右侧的 数据库管理 页面，点击右侧的 创建数据库 ，进入创建页面。

. 在创建页面中，添加如下信息：
说明：如下参数的具体说明，烦请参考 背景知识 小节中 RDS 数据库 的 创建数据库 部分。
）数据库（DB）名称：请根据 输入框 下端的 命名规则 ，输入 数据库名称，例如：lab_db 。
）支持字符集：默认设为 utf8 。
）授权帐号：选择新建数据库账号 lab_user。
）账号类型：默认设置为 读写 。
）完成如上配置信息后，点击底部的 确定 ，完成数据库的创建。

. 在 数据库管理 页面中，等待1分钟左右，点击右上角的 刷新 ，可以查看到数据库 lab_db 的 数据库状态 为 运行中 ，且 绑定账号 为 新建数据库账号 lab_user 。

4.登录 RDS 数据库

通过RDS管理控制台，登录到 新建RDS数据库。

. 在 账号管理 页面，点击顶部右侧的 登录数据库 ，弹出数据库登录页面。

. 通过如下步骤，查看登录的 网路地址：端口 的信息：
）返回RDS管理控制台，点击左侧 基本信息 。
）点击 内网地址 右侧的 复制地址 ，拷贝RDS实例的内网连接地址。
）查看 内网端口 为  。

. 返回数据库管理控制台，输入如下信息：
）第一行：输入 内网地址: ，其中 内网地址 为 上一步拷贝的 内网地址 的信息。
）第二行：输入 新建数据库账号 ，lab_user 。
）第三行：输入 新建数据库账号密码 ，Passw0rd 。
）点击 登录 ，登录到数据库管理系统。

.  下一小节，将在DMS管理控制台中，导入测试数据，并查看。

5.导入测试数据

导入客户模拟数据到 新建数据库 中，并查看数据。

. 通过如下操作步骤，进入数据库导入的页面：
）点击页面顶部的 数据处理 。
）在弹出的下拉菜单中，点击 导入 。

. 通过如下操作步骤，导入本地测试数据：
）点击本小节页面左侧的 附件下载 ，然后下载文件 lab.sql 作为测试数据到本地。
）返回 数据库管理控制台 的 导入 页面，点击 新增任务 ，创建导入数据任务。
）在 附件 栏右侧，点击 选择附件 ，并选择下载 lab.sql 文件的本地保存路径。
）完成后，点击底部的 开始 ，导入测试数据。
）等待几秒钟，查看到导入 进度 为 % ，证明导入成功。
）点击底部的 关闭 ，关闭页面。

. 在 导入历史列表 中，可以查看到状态为 完成 的任务。

. 通过如下步骤，查看导入表的信息：
）在左侧栏的左上角下拉框中，可以查看当前数据库为 新建数据库 ：lab_db 。
说明：若不是，点击下拉按钮，并选择对应需要查看的数据库名称。
）点击数据库显示右侧的 刷新 键，刷新数据库信息，可以查看到通过sql文件导入的表信息。
）点击 表名 ，例如：admin_app_version ，可以查看到所有对表的操作，例如：SQL操作数据、打开表 等等。

. 下一小节，将介绍如何查看数据库的诊断报告。

6.查看诊断报告

查看实例的诊断报告。

. 通过如下步骤，进入诊断报告页面：
）点击顶部 性能 。
）在下拉菜单中，点击 诊断报告 。

. 通过如下步骤，发起实例诊断：
）在诊断报告的主页面中，点击左侧的 发起诊断 。
）弹出提示，点击 Yes 。
）弹出新的提示，点击 Yes 。
）重新加载 页面（刷新），查看诊断报告的 状态 变为 诊断完成 。

. 通过如下步骤，查看诊断报告，并进行分析：
）点击诊断报告右侧的 查看报告 ，弹出诊断报告页面。
）可以在页面中，查看到如下的诊断报告信息：

实例规格
健康状况
SQL优化
空间诊断
会话列表
慢SQL汇总
性能趋势图

九.数据库上云迁移实践

1.查询源数据库

登录本地部署的MySQL数据库实验环境，并查看本地MySQL源数据库中的信息。

. 通过本地远程连接服务，远程登录到 我的实验资源 中的 MySQL源数据库 ECS实例。
说明：远程连接的详细操作步骤，请参考 帮助文档 的 远程连接服务器ECS 中 远程访问Linux系统。登录时，请使用 我的实验资源 提供ECS实例的 外网地址 ，用户 和 密码 。

. 运行如下命令，登录到ECS实例的MySQL数据库：
mysql -u root -p
Enter password:  （输入123456，输入的密码不会显示）

. 通过如下操作，查看源数据库bakery、其中的表customer和product，以及表中的数据。
）执行如下命令，查看数据库信息。
mysql> show databases;
）执行如下命令，切换数据库为bakery：
mysql> use bakery;
）执行如下命令，查看表中数据：
mysql> show columns from customer;
mysql> show columns from product;
mysql> select * from customer;
mysql> select * from product;

2.建立目标数据库

在RDS管理控制台上，创建数据库和数据库账号

. 首先，通过如下操作步骤，登录到阿里云RDS管理控制台：
）点击页面左侧导航栏处的 实验资源 。
）点击 前往控制台 ，进入阿里云管理控制台RAM登录界面。
）依次输入 实验资源 提供的 子用户名称 ，子用户密码 。
）点击 登录 ，进入阿里云管理控制台。子用户登录子用户密码
）在 我的产品 栏目下，点击 云数据库RDS版 ，进入阿里云RDS管理控制台。

. 通过如下步骤，进入实验资源 云数据库RDS实例 的管理控制台。
）在顶部地址栏，选择 实验资源 提供的 地域 信息。
）在搜索栏中，输入 实验资源 提供的 目标数据库 的 实例ID ，并点击 搜索 。
）在下方搜索结果中，点击实例右侧的 管理 ，进入RDS实例的管理控制台。

. 通过如下步骤，进入数据库账号创建页面：
）在RDS实例的管理页面，点击左侧栏的 账号管理 ，进入数据库账号管理页面。
）在 用户账号 页面，点击右侧的 创建账号 。

. 填写如下信息，完成数据库账号创建：
）数据库账号：请根据 输入框 下端的 命名规则 ，输入 数据库账号名称，例如：lab_user 。
）密码 ：请根据 输入框 下端的 密码规则 ，输入 密码，例如：Passw0rd；
）确认密码：再次输入创建的密码。
）完成如上信息后，点击 确定 。
）返回 账号管理 的 用户账号 ，查看到新建账号 lab_user 的 状态 为 激活 。

. 通过如下操作步骤，进入数据库创建页面：
）点击左侧栏的 数据库管理 ，进入数据库管理页面。
）在右侧的 数据库管理 页面，点击右侧的 创建数据库 ，进入创建页面。

. 在创建页面中，添加如下信息：
）数据库（DB）名称：请根据 输入框 下端的 命名规则 ，输入 数据库名称，例如：lab_db 。
）支持字符集：默认设为 utf8 。
）授权帐号：选择新建数据库账号 lab_user。
）账号类型：默认设置为 读写 。
）完成如上配置信息后，点击底部的 确定 ，完成数据库的创建。
）在 数据库管理 页面中，等待1分钟左右，点击右上角的 刷新 ，可以查看到数据库 lab_db 的 数据库状态 为 运行中 ，且 绑定账号 为 新建数据库账号 lab_user 。

3.数据库迁移

  本小节的主要内容：通过数据迁移服务，将本地MySQL中的源数据库中的数据迁移到RDS的新建目标数据库 lab_db。

. 通过如下步骤，进入数据迁移管理页面：
）点击页面右上角的 迁移数据库 。进入 数据迁移服务 的管理页面。
）点击左侧栏 数据迁移 ，进入数据迁移的管理页面。
）点击 数据迁移 右上角的 创建迁移任务 。

. 新建一个迁移任务，按照如下步骤，输入 源库信息 的配置信息：
)   任务名称：自定义一个名称，以便能找到自己的数据迁移任务。
）实例类型：选择 有公网IP的自建数据库 。
）实例地区： 选择 实验资源 中分配的 地域 ，例如：华东1
）数据库类型：选择 MySQL 。
）主机名或IP地址：输入 实验资源 中分配的 MySQL源数据库 ECS实例的 弹性IP。
）端口：使用默认端口号
）数据库账号：输入ECS上自建MySQL的 数据库账号 ，root；数据库密码：自建MySQL的访问密码，
）完成如上配置后，点击右侧的 测试链接 ，测试自建MySQL数据库的连通性，若显示 测试通过 ，证明连接成功。否则，请检查如上配置信息是否正确。数据迁移名称

. 按照如下步骤，完成 目标库信息 的配置信息：
）实例类型：选择 RDS实例
）实例地区：选择 实验资源 中分配的 地域 ，例如：华东1
）RDS实例ID ：选择 实验资源 中提供的 目标数据库 的 实例ID
）数据库账号：输入RDS实例中新建的 数据库账号 ，lab_user ；数据库密码：新建数据库的密码，Passw0rd
）完成如上配置后，点击右侧的 测试链接 ，测试RDS账号的连通性，若显示 测试通过 ，证明连接成功。否则，请检查如上配置信息是否正确。
）完成如上的配置后，点击右下角的 授权白名单并进入下一步 。

. 通过如下步骤，配置迁移任务的 迁移类型及列表：
）勾选左侧 迁移对象 中的本地MySQL数据库中的bakery
）点击 >
）数据库 bakery 移动到 已选择对象 的列表中。
）完成如上配置后，点击右下角的 预检查并启动 。

. 等待3秒钟左右，完成预检查，检查结果为 预检查通过100% ，点击 下一步 。
说明：若预检查未通过，请根据错误提示和如上的操作步骤，核对迁移任务的配置是否正确。

. 按照如下内容，购买迁移任务的配置：
）链路地域：使用默认地域
）链路规格：选择 small
）勾选 《数据传输（按量付费）服务条款》
）完成如上配置后，点击 立即购买并启动 

.此时，页面迁移任务的状态为 迁移中 ，等待3-4分钟，状态变为 已完成 。

4.查阅迁移结果

在RDS的管理控制台，查看数据迁移结果。

. 点击顶部的 产品与服务 ，然后，依次选择 云计算基础服务器，数据库。点击 云数据库RDS版，进入RDS管理控制台。
产品与服务-RDS
）在 实例列表 界面中，点击右上角的 登录数据库 ，进入数据库管理登录界面。
）在弹出的页面中，输入如下的信息：
网络地址:端口：请输入 实验资源 中，RDS 目标数据库 提供的 链接地址 以及端口号 。
     例如：提供的RDS 链接地址为
rm-uf6l90d950j1o7890.mysql.rds.aliyuncs.com
，则输入信息为：
rm-uf6l90d950j1o7890.mysql.rds.aliyuncs.com:
用户名：输入新建数据库账号 lab_user
密码：输入新建数据库密码 Passw0rd
   完成后，点击 登录 。
rds数据库登录

. 进入数据库管理页面，证明数据库迁移成功。
迁移结果