本文源码:GitHub·点这里 || GitEE·点这里 一.数据库扩容 1.业务场景 互联网项目中有很多"数据量大,业务复杂度高,需要分库分表"的业务场景. 这样分层的架构 (1)上层是业务层biz,实现业务逻辑封装: (2)中间是服务层service,封装数据访问: (3)下层是数据层db,存储业务数据: 2.扩容场景和问题 当数据量持续新增,面临着这样一些需求,两台数据库无法容纳,需要数据库扩容,这里选择2台-扩容到3台的模式,如下图: 这样扩容的问题 (1)分库分表的策略导致数…

本文适合需要快速了解OpenGauss基本使用和操作的单机用户,可以短时间内完成安装体验.对于企业级生产使用或者需要部署多台服务器的,不适合本文. 因为业务需要,要在鲲鹏架构里安装单机版的OpenGauss数据库,服务器操作系统使用Centos或者OpenEuler都可以,但为了体现软硬件一致性,索性直接华为全家桶,从硬件.操作系统到数据库全部使用华为自主开发. 首先看一下硬件环境: lscpu 确实是鲲鹏架构服务器,这里我们使用的是4核32G的ECS,虽然OpenGauss推荐最低配置是8核3…

本文源码:GitHub·点这里 || GitEE·点这里 一.项目结构 1.工程结构 2.模块命名 shard-common-entity: 公共代码块 shard-open-inte: 开放接口管理 shard-eureka-7001: 注册中心 shard-two-provider-8001: 8001 基于两台库的服务 shard-three-provider-8002:8002 基于三台库的服务 3.代码依赖结构 4.项目启动顺序 (1)shard-eureka-7001: 注册中心 (…

作为一种数据存储层面上的水平伸缩解决方案,数据库Sharding技术由来已久,很多海量数据系统在其发展演进的历程中都曾经历过分库分表的Sharding改造阶段.简单地说,Sharding就是将原来单一数据库按照一定的规则进行切分,把数据分散到多台物理机(我们称之为Shard)上存储,从而突破单机限制,使系统能以Scale-Out的方式应对不断上涨的海量数据,但是这种切分对上层应用来说是透明的,多个物理上分布的数据库在逻辑上依然是一个库.实现Sharding需要解决一系列关键的技术问题,这些问题主…

摘要:墨天轮数据库周刊第31期发布啦,每周1次推送本周数据库相关热门资讯.精选文章.干货文档. 热门资讯 1.openGauss 正式开源,华为公开发布源代码[摘要]6月1日,华为正式宣布开源数据库能力,开放openGauss数据库源代码,并成立openGauss开源社区,社区官网(http://opengauss.org)同步上线.openGauss是一款开源关系型数据库管理系统,深度融合华为在数据库领域多年的深入积累和实践经验,结合企业级场景需求,持续构建竞争力.同时openGauss也是一…

前段时间,我管理的一台Oracle数据库表空间容量不足了,由于本人以前没有接触过Oracle的使用所以,就自己查资料来研究如何扩容,网上的文档多数都是在物理机上扩容,而偏偏我的数据文件是存储在裸设备上的,裸设备和磁盘文件稍有不同,再加上Oracle默认是以表空间为归类的,操作上与MySQL有些不一样. 先是查询了前人留下的扩容文档,但多数写的草率根本无从下手,气得我直接当场气死,后来经过各种查资料各种尝试,最终还是扩容完成了,这里做个总结,免得以后再碰到类似的问题,防止二次当场气死. 首先确定数…

在 MySQL ShardingSphere-Proxy 逐渐成熟并被广泛采用的同时,ShardingSphere 团队也在 PostgreSQL ShardingSphere-Proxy 上持续发力.相比前期的 alpha 与 beta,5.0.0 正式版对 PostgreSQL 的协议实现.SQL 支持度.权限控制等方面进行了大量的完善,为后续全面对接 PostgreSQL 生态打下基础.ShardingSphere-Proxy 与 PostgreSQL 的生态对接,让用户能够在 Postg…

分区:对业务透明,分区只不过把存放数据的文件分成了许多小块,例如mysql中的一张表对应三个文件.MYD,MYI,frm. 根据一定的规则把数据文件(MYD)和索引文件(MYI)进行了分割,分区后的表呢,还是一张表.分区可以把表分到不同的硬盘上,但不能分配到不同服务器上. 优点:数据不存在多个副本,不必进行数据复制,性能更高. 缺点:分区策略必须经过充分考虑,避免多个分区之间的数据存在关联关系,每个分区都是单点,如果某个分区宕机,就会影响到系统的使用. 分片:对业务透明,在物理实现上分成多个服务…

sharding Vertical Sharding 把数据分散到多台物理机(我们称之为Shard) 实现Sharding需要解决一系列关键的技术问题,这些问题主要包括:切分策略.节点路由.全局主键生成.跨节点排序/分组/表关联.多数据源事务处理和数据库扩容等 因为表多而数据多,这时候适合使用垂直切分,把关系紧密(比如同一模块)的表切分出来放在一个server上 如果表并不多,但每张表的数据非常多,这时候适合水平切分,即把表的数据按某种规则(比如按ID散列)切分到多个数据库(server)上.…

数据库的存储结构:    1.逻辑存储结构:是指数据库有那些性质的信息组成,即一个数据库由若干用户可视的各种数据库对象构成,如:表,视图,索引,存储过程等 2.物理存储结构:表现为存储数据的各类操作系统文件,SQL Server 2008R2数据库在磁盘上以文件为单位存储的,由数据文件和事务日志文件组成,每个数据库至少要具有两种操作系统文件:一个数据文件和一个事务日志文件. 数据文件可以隶属于某个文件组以便于该文件中数据存储的管理 数据文件:可以分为主数据文件和次数据文件两种形式. 1.主数据文…