近年来关于底层数据库的开源产品越来越多,它们也受到了许多资本的青睐。

伴随着移动互联网催生的数字化场景爆发,云计算、大数据等技术逐渐有了更加广阔的应用场景。在云计算和大数据经过十年的追赶式发展后,不只是传统行业,各家平台自身也在面临转型升级。在这种转折中,数据的使用、应用、场景等都发生了变化。

随着大数据在各领域下的应用不断得到扩张,一个平台上的数据来源、价值、渠道、场景等都得到了分散和细化。以数据库应用为代表的新一代基础设施,在时下所要做的不是专注在某一个种类、场景下的数据收益,而是需要对这些『散乱』的数据进行重构。

从本地私有化到云端,从单点到分布式,数据库领域得到了前所未有的延伸。云上数据库和分布式数据库,也共同构成了当今数据库市场中最热的两条赛道。

而 SphereEx,正是要在这两条赛道上做出更多创新的能力。

SphereEx 联合创始人潘娟认为,数据的价值在于感知和应用,平台只是承载数据的形式。无论传统关系型数据库还是分布式数据库,其连接应用和数据的本质都不会变。关键在于是否能满足具有高并发、大规模数据存储、业务快速扩张等特征的用户业务对数据库的要求。

0以可插拔架构为切口,探索多源数据的统一管理轨迹

毫无疑问,分布式数据库是当前最火的数据库领域,但传统关系型数据库仍然占据了市场的主流,且由于应用场景的细分,将在未来相当长一段时间保持现在的态势,难以出现数据库大一统的局面。

经过数十年的发展,数据库本身的生态和能力已经十分完善,已经存在很多性能强大的数据库,所分布的场景和领域也已经十分垂直。在数据库选型方面,围绕业务重心来选择最适配的数据库产品,已经成为技术团队中非常重要的一项工作。

不过,关系型数据库仍然是全球的主流。近日,DB-Engines 发布了 2021 年 8 月份的数据库排名,Oracle、MySQL、SQLServer 依然排在前三位,关系型数据库依然拥有庞大的用户生态和强大的话语权。不过关系型数据库在“可扩展性、高并发以及性能”方面,存在非常多的问题,比如:传统的关系型数据库以及二维关系模型,很难高效地扩展到多个存储节点上。

在这种背景下,传统关系型数据库难以支撑起高并发的数据体量,但业务场景又需要数据库具备这种能力,分布式数据库成为了热门的选择。

在潘娟看来,无论数据库市场如何风云变幻,其本质依然是通过对数据实现多类型文件的管理与存储,在本质不变的前提下,发生变化的也只是场景和效益。因此对于 ShardingSphere 和 SphereEx 来说,底层是怎样的数据库都无所谓,毕竟只是管理和存储的空间,ShardingSphere 将在数据库上层开辟一条统一的管理平台,在数据库上层生态发现更多可能。

因此面对技术选型和数据库应用层面的差异化,ShardingSphere 避免因数据库所产生的局限性,在数据库上层进行能力整合,将更多元的数据库包含进来,对数据库上层实现能力管控,将多款不同的数据库包含进同一种事务语义中。

仅仅提供对应用和数据的连接是远远不够的。

潘娟认为,对于未来数据库的发展,应该分为两个视角。一个是底层数据库的发展趋势,另一个则是数据库与应用之间的平台发展趋势。沿着这一发展趋势,就能发现 SphereEx 所做的事情,将其归纳为 Database Plus 产品。

目前,ShardingSphere 正在向着 Database Plus 产品形态去演进。作为一个完全面向广度的生态类项目,SphereEx 公司正在主导把 ShardingSphere 打造成为 Database Plus 的产品形态,致力于搭建数据库上层的标准化增量,而非重新做一个 n+1 的数据库。在 Database Plus 产品之上,开发了一套足够灵活的可插拔架构体系,基于可插拔平台的叠加机制,对分片、读写分离、加解密、加密+分片等功能进行排列组合,提供面向应用与数据的增强与拓展服务。

0云上,构建新的数据库设计范式

随着同为互联网基础设施的云计算发展势头依然迅猛,企业在云上的业务比重也逐年升高,业务、数据、数据库上云已经是不可逆的趋势。作为数据库上层的服务平台,ShardingSphere 未来肯定也将从云下迁移到云上,为用户提供 SaaS 化服务,帮助企业更快速、更方便地上云。

但是 ShardingSphere 所提供的 SaaS 服务,是不同于传统意义上的模式,而是以数据网格的形式,遵循 Database Mesh 的理念来践行。潘娟认为 Database Mesh 理念可以在企业云原生数据库落地方面起到有效的辅助作用。作为 ShardingSphere 在云端的应用形态,未来 ShardingSphere 会通过提供 Sidecar 来管理云上的南北流量,让业务应用通过 Sidecar 导流到 Proxy 端,再导流到数据库,形成用户无感知的数据穿透能力。在这层能力之上,ShardingSphere 可提供如数据路由,读写分离,数据加解密等增量服务,并通过明确 Proxy 的数据标签,并能够根据当前的 SQL 特征来路由到合适的 Proxy 端,进而实现面向东西+南北流量的共同治理。

虽然服务形式类似于 Service Mesh 服务网格,但 Database Mesh 能够深度理解 SQL 的含义,从而进行更细粒度的掌控。

另一方面,云上的数据库往往会承担更多来自用户、流量侧的压力,加之业务会比以往更加频发地访问数据库,很多用户会担心 Sidecar 这种形式会影响到数据库的性能。由于 ShardingSphere 是运行在数据库之上的服务,或多或少会对数据库的性能产生影响,但终归是要用户来评估在『牺牲一部分性能后,能够得到什么』。

由于 Sidecar 对于应用而言不会产生跨网络节点,从 Sidecar 到数据库之间才会产生,因此从应用体验层面来看,通过 Sidecar 来访问数据库和直接访问数据库这两个方式之间不存在特别大的区别;但如果涉及到核心计算,就需要用户来衡量是否需要用资源来换取时间。在 ShardingSphere 中,用户可以选择将计算过程跳过 Sidecar,落在 Proxy 上进行统一计算,完成后将结果返回,避免单独计算每个应用所造成的大量时间的浪费,使应用更方便连接到相关的数据库。

作为新时代数字经济的基础设施之一,数据库承载着互联网过去以来发展的记忆。作为数据的底座,不论承载数据的形式是怎样的,应用数据最终的目的和导向性都是一致的,区别只在于如何应用。而应用数据的过程,也直接反映了当下互联网行业变迁的过程。在合适的时机选择恰当的数据使用方式,才能让企业始终保持在符合互联网行业变迁规律之上进行发展。

欢迎大家扫码关注

数据应用的变与不变,ShardingSphere 正在影响未来数字体验的建设理念的更多相关文章

  1. 20130625修改hbase的hbase-env导致导出器导出数据的速度变慢

    将hbase的 export HBASE_OPTS="-ea -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode" 改为 export ...

  2. Base64编码字符串时数据量明显变大

    那就是当把byte[]通过Convert.ToBase64String转换成Base64编码字符串时数据量明显变大 Base64编码的思想是是采用64个基本的ASCII码字符对数据进行重新编码.它将需 ...

  3. OpenStack/Gnocchi简介——时间序列数据聚合操作提前计算并存储起来,先算后取的理念

    先看下 http://www.cnblogs.com/bonelee/p/6236962.html 这里对于环形数据库的介绍,便于理解归档这个操作! 转自:http://blog.sina.com.c ...

  4. Excel按照某一列的重复数据设置隔行变颜色效果

    问题:如图所示,想按照A列中的重复数据设置隔重复行变颜色的效果,能否通过条件格式命令实现. 方法1:(最佳答案) 条件格式公式:=MOD(SUMPRODUCT(--($A$1:$A1<>$ ...

  5. mysql mariadb 删除表中的数据时数据库变大

    删除表中数据以前 [root@RM uar3]# du -sh * 3.3G apache-tomcat-7.0.54 150M instalRM4UAR 0 mariadb 903M mariadb ...

  6. Spark Steaming消费kafka数据条数变少问题

    对于基于Receiver 形式,我们可以通过配置 spark.streaming.receiver.maxRate 参数来限制每个 receiver 每秒最大可以接收的记录的数据:对于 Direct ...

  7. php 封装原生数据导出的方法(csv文件格式)和csv文件中长数字自动变成科学计数法的处理

    如何解决上图长数字自动转换处理? CSV文件中长数字自动变成科学计数法处理.用程序导出的csv文件,当字段中有比较长的数字字段存在时,在用excel软件查看csv文件时就会变成科学计数法的表现形式. ...

  8. 十几万条数据的表中,基于帝国cms 。自己亲身体验三种批量更新数据的方法,每一种的速度是什么样的

    需求是 上传Excel 读取里面的数据.根据Excel中某一个字段,与数据表中的一个字段的唯一性.然后把 Excel表中数据和数据库表中数据一次更改.本次测试一次更新31条数据. 本次测试基于帝国cm ...

  9. 数据可视化之powerBI基础(三)编辑交互,体验更灵活的PowerBI可视化

    https://zhuanlan.zhihu.com/p/64412190 PowerBI可视化与传统图表的一大区别,就是可视化分析是动态的,通过页面上筛选.钻取.突出显示等交互功能,可以快速进行访问 ...

随机推荐

  1. APMServ中Apache启动失败的原因

    APMServ中Apache启动失败绝大多数的情况是因为APMServ得路径出错和80端口被占用,也有可能您使用的是WIN8系统,下面SJY根据不同情况告诉大家如何解决APMServ中Apache启动 ...

  2. python 并行计算

    一.进程和线程 原文链接:https://zhuanlan.zhihu.com/p/356220352 进程是分配资源的最小单位,线程是系统调度的最小单位.当应用程序运行时最少会开启一个进程,此时计算 ...

  3. Xshell破~~解和SecureCRT破~~解办法,亲测可行

    解决办法很简单,那就是安装MobaXterm, 安装上即可使用,无需破击,免费,功能同样强大,不比xshell, SecureCRT功能差.它是集万千功能于一身的全能型终端神器. 听名字就不会太差,看 ...

  4. 如何在线安全清理mysql慢日志

    部门mysql数据库的服务器磁盘空间快满了,查看了下磁盘的慢日志,发现占了50多个g,百度了资料后删除成功,现在和大家分享下我清理的过程,或许有更好的办法. 1.首先连接进入mysql,查看慢日志的状 ...

  5. 1004. 最大连续1的个数 III

    1004. 最大连续1的个数 III 给定一个由若干 0 和 1 组成的数组 A,我们最多可以将 K 个值从 0 变成 1 . 返回仅包含 1 的最长(连续)子数组的长度. 示例 1: 输入:A = ...

  6. php保留2位小数方法

    $num = 10.4567; //第一种:利用round()对浮点数进行四舍五入 echo round($num,2); //10.46 //第二种:利用sprintf格式化字符串 $format_ ...

  7. Java基础系列(22)- For循环详解

    For循环 虽然所有循环结构都可以用while和dowhile表示,但是Java提供了另外一种语句for循环,使一些循环结构变动更加简单 for循环语句是支持迭代的一种通用结构,是最有效.最灵活的循环 ...

  8. Linux系列(27) - 三剑客grep、awk、sed

    Linux下一切皆文件,对Linux的操作就是对文件的处理 Linux中最重要的三个命令在业界被称为"三剑客",它们是awk,sed,grep 正则表达式就好比一个模版,这个模板就 ...

  9. php 设计模式 --适配器

    1,目标:实现一个不同的类不同方法,符合一定的规范: 规范类 <?php interface Iplay{ function Attack(); function Defence(); } cl ...

  10. java 小算法

    //鸡兔同笼 20个头 58腿 for(int a=0;a<=20;a++) { int b = 20-a; if((2*b+4*a)==58) { System.out.println(a+& ...