一款基于 WEB 的通用数据管控工具 - CloudQuery

前言

前段时间,公司因为业务发展,数据量攀升,老板迫切需要一个工具对数据进行精细化管理,一是确实需要精细化管理;二是因为我们公司小,数据本来就乱,加上前两天链家员工删库跑路事件,老板估计有点慌,万一谁心情不好来个 rm-rf /*,公司就凉了,于是,这任务就喜忧参半的落到了我的头上,而且老板临走还告诉我预算有限,看着办。

先是在几个大厂的云市场上找,毕竟大品牌,看了华为 DAS,阿里云的 DMS 等等,产品都还不错,但有些功能要么不支持,要么太贵,这就很尴尬。

之后在 GitHub 和开源中国上找,发现了不少好东西,例如 cloudbeaver 就不错,但玩了一下午发现没权限和审计 。还有一些不错的堡垒机和开源工具,不过也不是我们想要的。

最后在墨天轮瞎逛时点开了 CloudQuery 的直播,从此发现了新大陆。运气好,还在直播活动中抽到了一个保温杯!

所以,我现在就拿着 CloudQuery 赠送的保温杯泡着枸杞,写下了这篇文章。

介绍

CloudQuery 是一款基于 Web 的数据管理工具,可部署到各大云端。轻量化,无需下载本地软件,安装在服务器上所有人就都可以用浏览器登录使用,实现数据统一管理。尤其令我惊奇的是, CloudQuery 9 月份上线,现在不过 4 个月多点,能做成这样真是厉害!

内容

安装
  • 安装时出了点小意外,没看安装手册,用 4 核 8G 的服务器安装了完整版,导致下载完成启动失败,后面问小助手才发现是因为机器配置不足,所以给大家提个醒,完整版对服务器要求高,一定要看一眼手册再下载,避免浪费时间。

  • 后来换了高配服务器,就可以正常启动了。下载的过程很简单而且不需自己动手,它会先下载环境再下载应用,每步有进度和提示,体验不错。
添加连接
  • CloudQuery 支持的数据库种类很全,像平时我们用到的 MySQL、Oracle、PG、Redis、SQLServer、MongoDB 都支持,还支持国产数据库达梦,这就很 nice!每种数据库都支持两三种主流版本,完全可满足公司的数据库需求。

数据操作
  • 数据操作方面,整体感觉不错,像添加表和视图、转储 SQL 文件、编辑查看单元格、语句智能提示、打开终端、结果集多格式导出等大类功能都支持,执行计划、事务手动/自动提交、执行中断、语句收藏等常用的小类功能也有。

  • 不过也有优化的地方,例如查看表结构的中文备注,结构迁移、数据迁移,字段类型也稍微少了些。不过按照他们两周一次的迭代速度,后面应该会支持,期待 CloudQuery 在数据操作方面早日成为 Web 版的 navicat,那就牛了。
组织架构

组织架构功能如果说满分100分的话,我只能打 82 分,剩下的分数用 666 来给。组织架构这个功能,拿来就能直接用到公司环境中,添加部门、添加组、添加用户包括管理等都特别方便。

系统权限
  • CloudQuery 对用户分配系统权限时,需要先创建一个角色,然后再进行授权。

  • 系统权限有:系统设置、添加连接、审计分析。例如只给用户分配添加连接的权限,系统设置和审计分析功能等相关的所有功能都将无法使用,起到对用户进行分级管理的作用。

数据操作权限
  • 数据操作权限是公司最为看重的功能,我们迫切需要一个管理手段,正巧它就来了。
  • CloudQuery 的数据操作权限功能做的很详细也比较全。例如,当 DBA 设置一个角色,让这个角色只拥有查看和增加 MySQL 连接中的 A 库 B 表和 B 视图的权限,把这个权限赋予小明,小明就只能做权限内的事情。

  • 如果还要给某用户增加更多权限,或统一给相似用户授权时,还可以设置有一个权限集,在实际工作中这样授权效率很高。

  • 不过权限方面也还有优化空间,例如可以增加结果集导出的权限,打开终端权限,增加更多权限类型等......哈哈,一不小心就提了需求。
应用分析
  • 在应用分析中可查看今日常用表的读写次数,SQL 的执行排行情况,SQL 的执行耗时排行情况,根据这些信息,同事们就可以更具体排查和调优,点赞!希望以后还会增加更多类似功能,例如 高危 SQL 的排行等。

审计分析
  • CloudQuery 的审计分析会对所有在系统内执行的 SQL 语句进行审计分析,保证数据皆有据可查。
  • 审计分析中可看到执行总数、错误语句数、各语句的执行占比情况、活跃用户数、今日用户排行情况等,比较详细,能够满足我们日常工作。

  • CloudQuery 支持审计明细,可以根据多种过滤条件进行查询,支持导出明细信息到本地。

个人文件夹
  • 个人文件夹可从本地导入文件,也可以在终端打开,这个小功能挺不错!~

执行历史
  • 打开执行历史时可以看到自己一段时间内的执行记录及常用的连接,懒人福利。

总结

CloudQuery 是一款相当不错的管理工具,集成了很多 DBA 和开发者的常用功能,重点支持了权限管控和审计分析,非常适合国内中小企业和团队,希望保持初心,越做越好!

对了,重要的一点忘了提:CloudQuery 完全免费!这里手动@官网:www.cloudquery.club

我觉得可以向他们收广告费了,哈哈哈哈

完。

一款基于 Web 的通用数据管理工具(转载)的更多相关文章

  1. Processon 一款基于HTML5的在线作图工具

    CSDN的蒋涛不久前在微博上评价说ProcessOn是web版的visio,出于好奇私下对ProcessOn进行了一番研究.最后发现无论是在用户体验上,还是在技术上,ProcessOn都比微软的Vis ...

  2. 基于Web的IIS管理工具

    Servant:基于Web的IIS管理工具   Servant for IIS是个管理IIS的简单.自动化的Web管理工具.安装Servant的过程很简单,只要双击批处理文件Install Serva ...

  3. 给ambari集群里的kafka安装基于web的kafka管理工具Kafka-manager(图文详解)

    不多说,直接上干货! 参考博客 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8.0.9和0.10以后版本)(图文详解)(默认端口或任意自定义端口 ...

  4. Linux 基于WEB开源的系统管理工具webmin

    Webmin是目前功能最强大的基于Web的Unix系统管理工具.管理员通过浏览器访问Webmin的各种管理功能并完成相应的管理动作.目前Webmin支持绝大多数的Unix系统,这些系统除了各种版本的l ...

  5. javaer有福了,基于Web的mysql数据库管理工具TreeSoft发布了。

    基于Web的数据库管理工具TreeSoft数据库管理系统发布快3年了,版本不断更快速迭代开发中,QQ群也积累了300多位粉丝,虽然时不时也掉粉,但总体还是增加中.大家虽然捐赠不多,但是苍蝇再小也是肉啊 ...

  6. dolt 基于git协议的数据管理工具

    dolt 基于git 协议提供了多版本,分支特性的数据管理工具,使用简单,同时也提供了类似github 的一个云服务 安装 下载地址 https://github.com/liquidata-inc/ ...

  7. Servant:基于Web的IIS管理工具

    Servant for IIS是个管理IIS的简单.自动化的Web管理工具.安装Servant的过程很简单,只要双击批处理文件Install Servant Service.bat,然后按照屏幕上的说 ...

  8. foy: 轻量级的基于 nodejs 的通用 build 工具

    npm 的 scripts 下写的命令太多就很容易很乱,各种第三方轮子都只能解决一部分问题,总感觉不是很好用,想找个类似 make 的工具只能找到 jake, 可是 jake 的 API 太老,居然很 ...

  9. swat - 基于web的samba管理工具

    总览 swat [ -s smb config file ] [ -a ] 描述 此程序是 samba 套件的一部分. swat 允许 samba 管理员通过web浏览器配置复杂的 smb.conf ...

随机推荐

  1. 分布式缓存 — kafka

    Kafka是一个分布式.支持分区的(partition).多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于h ...

  2. Language Guide (proto3) | proto3 语言指南(十四)选项

    Options - 选项 .proto文件中的单个声明可以使用许多 选项 进行注释.选项不会更改声明的总体含义,但可能会影响在特定上下文中处理声明的方式.可用选项的完整列表在google/protob ...

  3. Vagrant基本知识、基本操作

    Vagrant基本知识.基本操作 一.介绍 二.安装Vagrant 三.安装到Windows 四.准备Boxes 五.基本操作 六.Vagrant常用命令 七.Vagrantfile 7.1 box ...

  4. 初入Java坑,然后又入产品坑

    之前工作了一年,从事Java相关工作,不小心深得领导器重,跑去演讲.写文档.与客户沟通等,最后应公司需要,转往产品坑,坑坑相连,何时逃坑. 最近一直在学习产品经理必备工具Axure,发现这真是一个神奇 ...

  5. struts 返回字符串

    方法一: HttpServletResponse response = ServletActionContext.getResponse(); response.getWriter().print(& ...

  6. BZOJ-1086 [SCOI2005]王室联邦 (树分块)

    递归处理子树,把当前结点当作栈底,然后递归,回溯回来之后如果栈中结点数量到达某一个标准时,弹出栈中所有的元素分到一个块中,最后递归结束了如果栈中还有元素,那么剩下的这些元素放在新的块中 题目:BZOJ ...

  7. AtCoder Beginner Contest 176

    比赛链接:https://atcoder.jp/contests/abc176 A - Takoyaki #include <bits/stdc++.h> using namespace ...

  8. 【poj 2752】Seek the Name, Seek the Fame(字符串--KMP)

    题意:给出一个字符串str,求出str中存在多少子串,使得这些子串既是str的前缀,又是str的后缀.从小到大依次输出这些子串的长度. 解法:利用KMP中next[ ]数组的性质,依次找到前缀.后缀匹 ...

  9. 【uva 120】Stacks of Flapjacks(算法效率--构造法+选择排序思想)

    题意:有N张正在锅里的一叠煎饼,每张都有一个数字,代表其大小.厨师每次可以选择一个数k,把从锅底开始数第k张上面的煎饼全部翻过来,即原来在上面的煎饼现在到了下面.要求设计一种方法使得所有煎饼按照从小到 ...

  10. hdu2141 Can you find it? (二分)

    Problem Description Give you three sequences of numbers A, B, C, then we give you a number X. Now yo ...