#研发解决方案#iDB-数据库自动化运维平台
郑昀 创建于2015/12/2 最后更新于2015/12/2
关键词:数据库,MySQL,自动化运维,AutoDDL,刷库,帐号授权,审核,回滚
提纲:
- 数据库自动化运维什么?别人家是怎么玩的?
- 我们打算做哪些特性?
- 我们的iDB
iDB 是刘勤红部门推出的数据库自动化运维平台,它其实已经断断续续开发了几个月了,线上也跑了一段时间,最近又发布了新版本。版本迭代的主力是王晓华同学,李世杰也参与了一部分开发工作,曹富志和张永奎是需求方。
iDB 的主要目的是解决绝大部分重复、复杂的数据库运维工作 ,满足业务对数据库信息查询和快速变更需求,借此提升研发效率,保证数据库操作符合审计要求,有可追溯的变更和审核日志。20151208Updated:更多技术细节请阅读iDB是如何运转的 一。
0x00,数据库自动化运维什么?别人家是怎么玩的?
当数据库越来越多时,比如按业务垂直分库了,10个,50个,100个……
当数据库关系越来越复杂时,比如 Cobar 水平拆库,从库分组,级联从库,合并库,比如某些索引要求只建在特定从库上……
DBA 的日常管理,手速再快,也不得不希望有系统来帮忙,毕竟数据库拓扑建立起来后,很多操作都可以自动化完成。
举个例子,工程上线前要开数据库访问帐号和权限。没有平台的话,那就得 DBA 一个一个去建,写库是 M 打头的帐号,读库是 S 打头的帐号,密码强度还得高。有了平台之后,DBA 只需要审核研发人员提的需求即可,系统自动化生成帐号密码,然后发邮件给申请人,或者将密码生成对称加密后的密文展示给申请人。
再比如,刷库。DBA 刷库之前为安全起见,都会先备份,然后刷库,一旦刷库有问题需要回滚数据,至少有东西恢复。有了平台之后,研发人员提刷库脚本,DBA 审核,并设定执行时间,系统会自动备份数据,一旦有问题,DBA 点击回滚按钮,系统自动将数据刷回去。
那么,别人家的数据库自动化运维平台都有什么特性呢?
我们先来看一下美团,它的数据库自动化运维包括如下内容:
图1 美团的功能点
可以看到,上图一些功能点如慢查,Processlist 等,我们是放在天机系统里的。
同样是 AutoDDL(建库、建表及更改表字段定义和属性)功能。
赶集的逻辑是:
图2 赶集的AutoDDL
美团的逻辑是:
图3 美团的AutoDDL
新浪则:
图4 新浪的AutoDDL
对于线上数据订正(即刷库)功能。
图5 赶集的订正逻辑
对于线上数据查询功能。
阿里的 iDB 界面如下所示:
图6 阿里iDB的线上数据查询
对于备份还原功能。
图7 阿里iDB的备份管理
还有人把数据库监控和报警做到这种系统里了。
图8 新浪的数据库监控
大致如此,各个公司八仙过海各显其能,DBA 和研发运维的生产力大大提升。
0x01,我们打算做哪些特性?
我们的 iDB 有如下特性:
- 已经上线的:
- 线上帐号申请、审核和管理
- 线上数据查询
- 线上数据订正
- AutoDDL
- 着手在做的:
- 自动识别数据库拓扑关系(记得吗,我们在天机系统里曾经做过)
- 新建数据库实例
- 备份管理
- ……
0x02,我们的 iDB
首先,iDB 的用户角色分为研发人员和 DBA。首页会有一个任务导航,如下图所示:
图9 云纵iDB首页-工程师的任务看板
我作为 Engineer,登录 idcenter,跳到 iDB 后,可以:
发起订正申请,个人帐号申请,工程帐号申请,DDL 申请,
还可以:
线上数据查询。
我如果是 DBA,任务看板就变为:
图10 云纵iDB首页-DBA任务看板
相对 Engineer,增加了:
订正审核,帐号审核,DDL 审核,数据库组管理,任务管理等。
简单介绍这么多,以后再介绍一些更高级的特性。再次感谢王晓华、刘勤红、曹富志、张永奎和李世杰!

#研发解决方案#iDB-数据库自动化运维平台的更多相关文章
- sso 自动化运维平台
单点登录SSO(Single Sign-On)是身份管理中的一部分.本文中作者开发了一个自动化运维平台中的统一认证接口,单点登录平台通过提供统一的认证平台,实现单点登录.因此,应用系统并不需要开发用户 ...
- 【I·M·U_Ops】------Ⅱ------ IMU自动化运维平台之CMDB
说明本脚本仅作为学习使用,请勿用于任何商业用途.本文为原创,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接和本声明. #A 我理解的 CMDB CMDB翻译过来,Configuratio ...
- (转)实验文档5:企业级kubernetes容器云自动化运维平台
部署对象式存储minio 运维主机HDSS7-200.host.com上: 准备docker镜像 镜像下载地址 复制 12345678910111213141516 [root@hdss7-200 ~ ...
- 【IMU_Ops】------III------ IMU自动化运维平台之CMDB(admin)
说明本文中所有内容仅作为学习使用,请勿用于任何商业用途.本文为原创,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接和本声明. #A 首先启用admin 通过python manage.p ...
- Python自动化运维:技术与最佳实践 PDF高清完整版|网盘下载内附地址提取码|
内容简介: <Python自动化运维:技术与最佳实践>一书在中国运维领域将有“划时代”的重要意义:一方面,这是国内第一本从纵.深和实践角度探讨Python在运维领域应用的著作:一方面本书的 ...
- saltstack---自动化运维平台
https://github.com/ixrjog/adminset[自动化运维平台:CMDB.CD.DevOps.资产管理.任务编排.持续交付.系统监控.运维管理.配置管理 ] https://ww ...
- Python自动化运维 技术与最佳实践PDF高清完整版免费下载|百度云盘|Python基础教程免费电子书
点击获取提取码:7bl4 一.内容简介 <python自动化运维:技术与最佳实践>一书在中国运维领域将有"划时代"的重要意义:一方面,这是国内第一本从纵.深和实践角度探 ...
- 基于Linux平台的自动化运维Devops-----之自动化系统部署
一.自动化运维的背景网站业务上线,需要运维人员在短时间内完成几百台服务器部署,包括系统安装.系统初始化.软件的安装与配置.性能的监控......所谓运维自动化,即在最少的人工干预下,利用脚本与第三方工 ...
- 使用Ansible实现数据中心自动化运维管理
长久以来,IT 运维在企业内部一直是个耗人耗力的事情.随着虚拟化的大量应用.私有云.容器的不断普及,数据中心内部的压力愈发增加.传统的自动化工具,往往是面向于数据中心特定的一类对象,例如操作系统.虚拟 ...
随机推荐
- Ubuntu下安装MySQL-python教程
http://blog.csdn.net/liushuaikobe/article/details/8586224 写得非常的好,也很详细. 有密码:mysql -u root -p 无密码:mysq ...
- tp5 model 的数据自动完成
auto属性自动完成包含新增和更新操作 namespace app\index\model; use think\Model; class User extends Model { protected ...
- POJ 2533 Longest Ordered Subsequence LCS O(n*log(n))
题目链接 最长上升子序列O(n*log(n))的做法,只能用于求长度不能求序列. #include <iostream> #define SIZE 1001 using namespace ...
- bootstrap-table分页第二篇 延续上一篇的
这个是service/** * 返回记录数 * @return */ public Integer getPageTotal(Integer userid); //service的实现类 public ...
- Maven之安装与简单入门一
Maven 是一个项目管理和构建自动化工具,我们最关心的是它的项目构建功能.Maven 使用惯例优于配置的原则. 1,下载安装包,并根据文档说明安装: http://maven.apache.org/ ...
- php定界符<<<EOF讲解(转)
Heredoc技术.可用来输出大段的html和javascript脚本 1.PHP定界符的作用就是按照原样,包括换行格式什么的,输出在其内部的东西: 2.在PHP定界符中的任何特殊字符都不需要转义: ...
- Delphi在创建和使用DLL的时候如果使用到string,请引入ShareMem单元
当使用了长字符串类型的参数.变量时,如string,要引用ShareMem. 虽然Delphi中的string功能很强大,但若是您编写的Dll文件要供其它编程语言调用时,最好使用PChar类型.如果您 ...
- Jquery的$(selector).each()和$.each()原理和区别
我们都用过Jqurey中的each函数,都知道each()有两种方式去调用,一种是通过$.each()调用,另一种是$(selector).each()去调用,那么它们之间有什么区别? 翻看一下Jqu ...
- ORA-27492 无法运行作业,调度程序不可用
ORA-27492:无法运行作业;调度程序不可用 ORA-06512: at "SYS.DBMS_ISCHED", line 185 ORA-06512: AT SYS.DBMS_ ...
- Linux下设置Mysql数据库编码
重装系统后,要装个mysql服务器,发现添加数据时,一直错误,查其原因,原来时编码问题.Google了一下,可都不太一样,可能时数据库版本问题吧. 查看数据库版本: select version(); ...