郑昀 创建于2015/12/2 最后更新于2015/12/2

关键词:数据库,MySQL,自动化运维,AutoDDL,刷库,帐号授权,审核,回滚

提纲:

  1. 数据库自动化运维什么?别人家是怎么玩的?
  2. 我们打算做哪些特性?
  3. 我们的iDB

iDB 是刘勤红部门推出的数据库自动化运维平台,它其实已经断断续续开发了几个月了,线上也跑了一段时间,最近又发布了新版本。版本迭代的主力是王晓华同学,李世杰也参与了一部分开发工作,曹富志和张永奎是需求方。

iDB 的主要目的是解决绝大部分重复、复杂的数据库运维工作 ,满足业务对数据库信息查询和快速变更需求,借此提升研发效率,保证数据库操作符合审计要求,有可追溯的变更和审核日志。20151208Updated:更多技术细节请阅读iDB是如何运转的 一

0x00,数据库自动化运维什么?别人家是怎么玩的?

当数据库越来越多时,比如按业务垂直分库了,10个,50个,100个……

当数据库关系越来越复杂时,比如 Cobar 水平拆库,从库分组,级联从库,合并库,比如某些索引要求只建在特定从库上……

DBA 的日常管理,手速再快,也不得不希望有系统来帮忙,毕竟数据库拓扑建立起来后,很多操作都可以自动化完成。

举个例子,工程上线前要开数据库访问帐号和权限。没有平台的话,那就得 DBA 一个一个去建,写库是 M 打头的帐号,读库是 S 打头的帐号,密码强度还得高。有了平台之后,DBA 只需要审核研发人员提的需求即可,系统自动化生成帐号密码,然后发邮件给申请人,或者将密码生成对称加密后的密文展示给申请人。

再比如,刷库。DBA 刷库之前为安全起见,都会先备份,然后刷库,一旦刷库有问题需要回滚数据,至少有东西恢复。有了平台之后,研发人员提刷库脚本,DBA 审核,并设定执行时间,系统会自动备份数据,一旦有问题,DBA 点击回滚按钮,系统自动将数据刷回去。

那么,别人家的数据库自动化运维平台都有什么特性呢?

我们先来看一下美团,它的数据库自动化运维包括如下内容:

图1 美团的功能点

可以看到,上图一些功能点如慢查,Processlist 等,我们是放在天机系统里的。

同样是 AutoDDL(建库、建表及更改表字段定义和属性)功能。

赶集的逻辑是:

图2 赶集的AutoDDL

 

美团的逻辑是:

图3 美团的AutoDDL

 

新浪则:

图4 新浪的AutoDDL

 

对于线上数据订正(即刷库)功能。


图5 赶集的订正逻辑

 

对于线上数据查询功能。

阿里的 iDB 界面如下所示:

图6 阿里iDB的线上数据查询

 

对于备份还原功能。

图7 阿里iDB的备份管理

 

还有人把数据库监控和报警做到这种系统里了。

图8 新浪的数据库监控

 

大致如此,各个公司八仙过海各显其能,DBA 和研发运维的生产力大大提升。

0x01,我们打算做哪些特性?

我们的 iDB 有如下特性:

  • 已经上线的:
    • 线上帐号申请、审核和管理
    • 线上数据查询
    • 线上数据订正
    • AutoDDL
  • 着手在做的:
    • 自动识别数据库拓扑关系(记得吗,我们在天机系统里曾经做过)
    • 新建数据库实例
    • 备份管理
    • ……

0x02,我们的 iDB

首先,iDB 的用户角色分为研发人员和 DBA。首页会有一个任务导航,如下图所示:

图9 云纵iDB首页-工程师的任务看板

我作为 Engineer,登录 idcenter,跳到 iDB 后,可以:

发起订正申请,个人帐号申请,工程帐号申请,DDL 申请,

还可以:

线上数据查询。

我如果是 DBA,任务看板就变为:

图10 云纵iDB首页-DBA任务看板

相对 Engineer,增加了:

订正审核,帐号审核,DDL 审核,数据库组管理,任务管理等。

简单介绍这么多,以后再介绍一些更高级的特性。再次感谢王晓华、刘勤红、曹富志、张永奎和李世杰!

p.s.:云纵的 iDB 是我们自主开发的系统,只是 codename 与阿里的 iDB 一样。天机,鹰眼,也均如此,名字一样,但功能和实现是我们自己的脑力成果。
更多技术细节请阅读iDB是如何运转的 一
 
-EOF-
欢迎订阅我的微信订阅号『老兵笔记』,请扫描二维码关注:
转载时请注明“转载自旁观者-博客园”或者给出本文的原始链接。

#研发解决方案#iDB-数据库自动化运维平台的更多相关文章

  1. sso 自动化运维平台

    单点登录SSO(Single Sign-On)是身份管理中的一部分.本文中作者开发了一个自动化运维平台中的统一认证接口,单点登录平台通过提供统一的认证平台,实现单点登录.因此,应用系统并不需要开发用户 ...

  2. 【I·M·U_Ops】------Ⅱ------ IMU自动化运维平台之CMDB

    说明本脚本仅作为学习使用,请勿用于任何商业用途.本文为原创,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接和本声明. #A 我理解的 CMDB CMDB翻译过来,Configuratio ...

  3. (转)实验文档5:企业级kubernetes容器云自动化运维平台

    部署对象式存储minio 运维主机HDSS7-200.host.com上: 准备docker镜像 镜像下载地址 复制 12345678910111213141516 [root@hdss7-200 ~ ...

  4. 【IMU_Ops】------III------ IMU自动化运维平台之CMDB(admin)

    说明本文中所有内容仅作为学习使用,请勿用于任何商业用途.本文为原创,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接和本声明. #A 首先启用admin 通过python manage.p ...

  5. Python自动化运维:技术与最佳实践 PDF高清完整版|网盘下载内附地址提取码|

    内容简介: <Python自动化运维:技术与最佳实践>一书在中国运维领域将有“划时代”的重要意义:一方面,这是国内第一本从纵.深和实践角度探讨Python在运维领域应用的著作:一方面本书的 ...

  6. saltstack---自动化运维平台

    https://github.com/ixrjog/adminset[自动化运维平台:CMDB.CD.DevOps.资产管理.任务编排.持续交付.系统监控.运维管理.配置管理 ] https://ww ...

  7. Python自动化运维 技术与最佳实践PDF高清完整版免费下载|百度云盘|Python基础教程免费电子书

    点击获取提取码:7bl4 一.内容简介 <python自动化运维:技术与最佳实践>一书在中国运维领域将有"划时代"的重要意义:一方面,这是国内第一本从纵.深和实践角度探 ...

  8. 基于Linux平台的自动化运维Devops-----之自动化系统部署

    一.自动化运维的背景网站业务上线,需要运维人员在短时间内完成几百台服务器部署,包括系统安装.系统初始化.软件的安装与配置.性能的监控......所谓运维自动化,即在最少的人工干预下,利用脚本与第三方工 ...

  9. 使用Ansible实现数据中心自动化运维管理

    长久以来,IT 运维在企业内部一直是个耗人耗力的事情.随着虚拟化的大量应用.私有云.容器的不断普及,数据中心内部的压力愈发增加.传统的自动化工具,往往是面向于数据中心特定的一类对象,例如操作系统.虚拟 ...

随机推荐

  1. Ubuntu下安装MySQL-python教程

    http://blog.csdn.net/liushuaikobe/article/details/8586224 写得非常的好,也很详细. 有密码:mysql -u root -p 无密码:mysq ...

  2. tp5 model 的数据自动完成

    auto属性自动完成包含新增和更新操作 namespace app\index\model; use think\Model; class User extends Model { protected ...

  3. POJ 2533 Longest Ordered Subsequence LCS O(n*log(n))

    题目链接 最长上升子序列O(n*log(n))的做法,只能用于求长度不能求序列. #include <iostream> #define SIZE 1001 using namespace ...

  4. bootstrap-table分页第二篇 延续上一篇的

    这个是service/** * 返回记录数 * @return */ public Integer getPageTotal(Integer userid); //service的实现类 public ...

  5. Maven之安装与简单入门一

    Maven 是一个项目管理和构建自动化工具,我们最关心的是它的项目构建功能.Maven 使用惯例优于配置的原则. 1,下载安装包,并根据文档说明安装: http://maven.apache.org/ ...

  6. php定界符<<<EOF讲解(转)

    Heredoc技术.可用来输出大段的html和javascript脚本 1.PHP定界符的作用就是按照原样,包括换行格式什么的,输出在其内部的东西: 2.在PHP定界符中的任何特殊字符都不需要转义:  ...

  7. Delphi在创建和使用DLL的时候如果使用到string,请引入ShareMem单元

    当使用了长字符串类型的参数.变量时,如string,要引用ShareMem. 虽然Delphi中的string功能很强大,但若是您编写的Dll文件要供其它编程语言调用时,最好使用PChar类型.如果您 ...

  8. Jquery的$(selector).each()和$.each()原理和区别

    我们都用过Jqurey中的each函数,都知道each()有两种方式去调用,一种是通过$.each()调用,另一种是$(selector).each()去调用,那么它们之间有什么区别? 翻看一下Jqu ...

  9. ORA-27492 无法运行作业,调度程序不可用

    ORA-27492:无法运行作业;调度程序不可用 ORA-06512: at "SYS.DBMS_ISCHED", line 185 ORA-06512: AT SYS.DBMS_ ...

  10. Linux下设置Mysql数据库编码

    重装系统后,要装个mysql服务器,发现添加数据时,一直错误,查其原因,原来时编码问题.Google了一下,可都不太一样,可能时数据库版本问题吧. 查看数据库版本: select version(); ...