一、疑问&目的

1.1 分表使用场景

(1)可扩展架构设计,比如一个ERP用5年不卡,到了10就卡了因为数据太多了,这个时候很多人都是备份然后清空数据,这个工作大并且麻烦,以前的数据很难在使用

(2) 数据量太多 ,例如每天都有 几十上百万的数据进入库,如果不分表后面查询将会非常缓慢

(3)   性能瓶颈 ,比如我插入超过1个亿很多索引会莫名失效,性能缓存,具体原因很难排查,有分表功能,我就能知道插入哪个表,这样我只对一个分表进行插入性能是成倍增长

1.2  我的目的

说到ORM很多会想到EF Core Dapper SqlSugar Chloe  Freesql等,但是说到分表组件或许者大家想不到一个名词

我写这一篇文章最大的目的是想大家记住 全自的分表组件 【 SqlSugar 】

没错SqlSugar是一个ORM框架,并且已经完美支持了自动分表 ,希望你能喜欢

二、分表组件优势

2.1 简单

CURD和分表一体化 ,小白也能很好的使用分表,只要会使用 ORM 就会使用分表 ,2者语法同步 就多 一个 .SplitTable   

2.2 功能强大

支持 表结构同步,自动建表,强大的查询语句,插入,更新,删除

2.3 组件化设计

默认集成了按  日、周、月、季、年的方式表,  比如,我想根据加密算法分表,或者根据多个字段分表,或者不满意现在的分表 都可以已扩展实现

    //实现下面接口就能将自定义的分表集成到ORM中
public interface ISplitTableService
{
//1 根据现有表选出当前分表
List<SplitTableInfo> GetAllTables(ISqlSugarClient db,EntityInfo EntityInfo,List<DbTableInfo> tableInfos); //2 获取表名
string GetTableName(ISqlSugarClient db, EntityInfo EntityInfo);
string GetTableName(ISqlSugarClient db, EntityInfo EntityInfo, SplitType type);
string GetTableName(ISqlSugarClient db, EntityInfo entityInfo, SplitType splitType, object fieldValue); //3 获取分组字段的值
object GetFieldValue(ISqlSugarClient db, EntityInfo entityInfo, SplitType splitType, object entityValue);
}
//说白了重写接口分为3类,基本要的参数都有现成的,可以模仿我现有分表的代码轻松实现

  

三、 自带分表的使用

自带分表支持按年、按月、按日、按季、按周进行分表

3.1 定义实体

我们定义一个实体,主键不能用自增或者int ,设为long或者guid都可以,我例子就用自带的雪花ID实现分表

   [SplitTable(SplitType.Year)]//按年分表
[SugarTable("SplitTestTable_{year}{month}{day}")]//生成表名格式 3个变量必须要有
public class SplitTestTable
{
[SugarColumn(IsPrimaryKey =true)]
public long Id { get; set; } public string Name { get; set; }
[SplitField] //分表字段 在插入的时候会根据这个字段插入哪个表,在更新删除的时候也能可方便的用这个字段找出相关表
public DateTime CreateTime { get; set; }
} 

3.2 初始化和同步结构

 在查询时如果一张表没有肯定会报错,所以程序启动时需要建一张表和实体修改后统一更新表结构

db.CodeFirst.SplitTables().InitTables<SplitTestTable>(); //程序启动时执行这一句就能同步结构或者初始化一张表

3.2 查询用法

(1)基础筛选

下面表达式中的tas可以对当前分表进行筛选,Take(3) 表示最近3张表,比如ERP我们可以将只查近5年数据那么 ,按年分表就是 take(5)

Db.Queryable<SplitTestTable>().Where(it => it.Name.Contains("a")).SplitTable(tas => tas.Take(3)).ToList();//先过滤在合并
Db.Queryable<SplitTestTable>().SplitTable(tas => tas.Take(3)).Where(it => it.Name.Contains("a")).ToList();//先合并在过滤

 (2)精准筛选

根据分表字段的值可以精准的定位到具体是哪一个分表

Take(N) 要高出很多

 var name=Db.SplitHelper<SplitTestTable>().GetTableName(data.CreateTime);
Db.Queryable<SplitTestTable>().Where(it => it.Id==data.Id).SplitTable(tas => tas.InTableNames(name)).ToList();

(3)表达式过滤  

 Db.Queryable<SplitTestTable>().Where(it => it.Id==data.Id).SplitTable(tas => tas.Where(y=>y.TableName.Contains("2019"))).ToList();

(4)  联表查询 

//分表使用联表查询
var list=db.Queryable<Order>()
.SplitTable(tabs=>tabs.Take(3))//Order表只取最近3张表和Custom JOIN
.LeftJoin<Custom>((o,c)=>o.CustomId==c.Id).Select((o,c)=>new { name=o.Name,cname=c.Name }).ToPageList(1,2);  

(5)  分页查询 

  var count = 0;
db.Queryable<SplitTestTable>().Where(it => it.Name.Contains("a")).SplitTable(tas => tas.Take(3)).ToPageList(1,2,ref count);//

  

3.3 插入 

因为我们用的是Long所以采用雪ID插入(guid也可以禁止使用自增列), 实体结构看上面 3.1

 var data = new SplitTestTable()
{
CreateTime=Convert.ToDateTime("2019-12-1"),
Name="jack"
}; db.Insertable(data).SplitTable().ExecuteReturnSnowflakeId();//插入并返回雪花ID  

因为我们是根据CreateTime进行的分表,生成的SQL语句如下:

INSERT INTO [SplitTestTable_20190101] --如果表不存在会自动建表
([Id],[Name],[CreateTime])
VALUES
(@Id,@Name,@CreateTime) ;

批量插入 

var datas = new List<SplitTestTable>()
{
new SplitTestTable()
{
CreateTime=Convert.ToDateTime("2019-12-1"),
Name="jack"
} ,
new SplitTestTable()
{
CreateTime=Convert.ToDateTime("2022-02-1"),
Name="jack"
},
new SplitTestTable()
{
CreateTime=Convert.ToDateTime("2020-02-1"),
Name="jack"
},
new SplitTestTable()
{
CreateTime=Convert.ToDateTime("2021-12-1"),
Name="jack"
}
};
db.Insertable(datas).SplitTable().ExecuteReturnSnowflakeIdList();

生成的Sql: 

自动识别4条记录,分别插入4个不同的表中

  

3.4 删除数据 

(1)懒人模式删除

最近3张表都执行一遍删除

db.Deleteable<SplitTestTable>().In(id).SplitTable(tas=>tas.Take(3)).ExecuteCommand();

生在的SQL如下:

DELETE FROM [SplitTestTable_20220101] WHERE [Id] IN (1454675372531515392)

DELETE FROM [SplitTestTable_20210101] WHERE [Id] IN (1454675372531515392)

DELETE FROM [SplitTestTable_20200101] WHERE [Id] IN (1454675372531515392)

(2)精准删除     

相对于上面的操作性能更高,可以精准找到具体表

var deldata = new SplitTestTable()
{
Id = id,
CreateTime = DateTime.Now
};
var tableName = db.SplitHelper(deldata).GetTableNames();
db.Deleteable<SplitTestTable>().Where(deldata).SplitTable(tas=>tas.InTableNames(tableName)).ExecuteCommand();

 生成的SQL如下:

DELETE FROM [SplitTestTable_20210101] WHERE [Id] IN (1454676863531089920)

3.5 更新数据  

更新的用法基本上和删除一样

//更新近3张表
db.Updateable(deldata).SplitTable(tas=>tas.Take(3)).ExecuteCommand(); //精准找到表名并且删除数据
var tableName = db.SplitHelper(deldata).GetTableNames();
db.Updateable(deldata).SplitTable(tas => tas.InTableNames(tableName)).ExecuteCommand(); //通过表达式过滤出要更新的表
db.Updateable(deldata).SplitTable(tas => tas.Where(y=>y.TableName.Contains("_2019"))).ExecuteCommand();

  

  

四、 自定义分表使用

上面的分表功能是我们自带集成的,比如我想实现自定义的分表我该如何实现呢?

4.1 按首字母拼音分表

我们就实现个按24个字母进行分表的小例子来学习一下如何自定义分表

4.2  创建分表类

 public class WordSplitService : ISplitTableService
{
/// <summary>
/// 返回数据用于 tas 进行筛选
/// </summary>
/// <param name="db"></param>
/// <param name="EntityInfo"></param>
/// <param name="tableInfos"></param>
/// <returns></returns>
public List<SplitTableInfo> GetAllTables(ISqlSugarClient db, EntityInfo EntityInfo, List<DbTableInfo> tableInfos)
{
List<SplitTableInfo> result = new List<SplitTableInfo>();
foreach (var item in tableInfos)
{
if (item.Name.Contains(EntityInfo.DbTableName+"_First")) //区分标识如果不用正则符复杂一些,防止找错表
{
SplitTableInfo data = new SplitTableInfo()
{
TableName = item.Name //要用item.name不要写错了
};
result.Add(data);
}
}
return result.OrderBy(it=>it.TableName).ToList();
} /// <summary>
/// 获取分表字段的值
/// </summary>
/// <param name="db"></param>
/// <param name="entityInfo"></param>
/// <param name="splitType"></param>
/// <param name="entityValue"></param>
/// <returns></returns>
public object GetFieldValue(ISqlSugarClient db, EntityInfo entityInfo, SplitType splitType, object entityValue)
{
var splitColumn = entityInfo.Columns.FirstOrDefault(it => it.PropertyInfo.GetCustomAttribute<SplitFieldAttribute>() != null);
var value = splitColumn.PropertyInfo.GetValue(entityValue, null);
return value;
}
/// <summary>
/// 默认表名
/// </summary>
/// <param name="db"></param>
/// <param name="EntityInfo"></param>
/// <returns></returns>
public string GetTableName(ISqlSugarClient db, EntityInfo entityInfo)
{
return entityInfo.DbTableName + "_FirstA";
} public string GetTableName(ISqlSugarClient db, EntityInfo entityInfo, SplitType type)
{
return entityInfo.DbTableName + "_FirstA";//目前模式少不需要分类(自带的有 日、周、月、季、年等进行区分)
} public string GetTableName(ISqlSugarClient db, EntityInfo entityInfo, SplitType splitType, object fieldValue)
{
return entityInfo.DbTableName + "_First" + GetFirstCode(fieldValue+""); //根据值按首字母
} #region 获取首字母
/// <summary>
/// 在指定的字符串列表CnStr中检索符合拼音索引字符串
/// </summary>
/// <param name="CnStr">汉字字符串</param>
/// <returns>相对应的汉语拼音首字母串</returns>
public static string GetFirstCode(string CnStr)
{
string Surname = CnStr.Substring(0, 1);
string strTemp = GetSpellCode(Surname);
return strTemp;
} /// <summary>
/// 得到一个汉字的拼音第一个字母,如果是一个英文字母则直接返回大写字母
/// </summary>
/// <param name="CnChar">单个汉字</param>
/// <returns>单个大写字母</returns>
private static string GetSpellCode(string CnChar)
{
long iCnChar;
byte[] arrCN = System.Text.Encoding.Default.GetBytes(CnChar); //如果是字母,则直接返回
if (arrCN.Length == 1)
{
CnChar = CnChar.ToUpper();
}
else
{
int area = (short)arrCN[0];
int pos = (short)arrCN[1];
iCnChar = (area << 8) + pos; // iCnChar match the constant
string letter = "ABCDEFGHJKLMNOPQRSTWXYZ";
int[] areacode = { 45217, 45253, 45761, 46318, 46826, 47010, 47297, 47614, 48119, 49062, 49324, 49896, 50371, 50614, 50622, 50906, 51387, 51446, 52218, 52698, 52980, 53689, 54481, 55290 };
for (int i = 0; i < 23; i++)
{
if (areacode[i] <= iCnChar && iCnChar < areacode[i + 1])
{
CnChar = letter.Substring(i, 1);
break;
}
}
}
return CnChar;
}
#endregion
}

  

4.2 创建实体类

    /// <summary>
/// 随便设置一个分类
/// </summary>
[SplitTable(SplitType._Custom01)]
public class WordTestTable
{
[SugarColumn(IsPrimaryKey =true)]
public long Id { get; set; } [SplitField] //标识一下分表字段
public string Name { get; set; } public DateTime CreateTime { get; set; } }

  

4.3  使用自定义分表

代码:

//使用自定义分表
db.CurrentConnectionConfig.ConfigureExternalServices.SplitTableService =new WordSplitService();
db.Insertable(new WordTestTable()
{
CreateTime=DateTime.Now,
Name="BC"
}).SplitTable().ExecuteReturnSnowflakeId();
db.Insertable(new WordTestTable()
{
CreateTime = DateTime.Now,
Name = "AC"
}).SplitTable().ExecuteReturnSnowflakeId();
db.Insertable(new WordTestTable()
{
CreateTime = DateTime.Now,
Name = "ZBZ"
}).SplitTable().ExecuteReturnSnowflakeId();    

插入生成的SQL:

INSERT INTO [WordTestTable_FirstB]
([Id],[Name],[CreateTime])
VALUES
(@Id,@Name,@CreateTime) ;
INSERT INTO [WordTestTable_FirstA]
([Id],[Name],[CreateTime])
VALUES
(@Id,@Name,@CreateTime) ;
INSERT INTO [WordTestTable_FirstZ]
([Id],[Name],[CreateTime])
VALUES
(@Id,@Name,@CreateTime) ;

查询指定表 

var listall = db.Queryable<WordTestTable>().Where(it => it.Name == "all").SplitTable(tas => tas.ContainsTableNames("_FirstA")).ToList();

生成的SQL:

SELECT * FROM  (SELECT [Id],[Name],[CreateTime] FROM [WordTestTable_FirstA]  WHERE ( [Name] = @Name0UnionAll1 )) unionTable  

 

源码下载: 

 https://github.com/donet5/SqlSugar     没点关注的点一波关注 ,你们的赞或者一个star就是我们这些开源些的动力

Nuget 安装

  

  

  

  

.NET 5 全自动分表组件,.NET 分表方案 ,分表架构与设计的更多相关文章

  1. 基于efcore的分表组件开源

    ShardingCore ShardingCore 是一个支持efcore 2.x 3.x 5.x的一个对于数据库分表的一个简易扩展, 目前该库暂未支持分库(未来会支持),仅支持分表,该项目的理念是让 ...

  2. 架构组件:基于Shard-Jdbc分库分表,数据库扩容方案

    本文源码:GitHub·点这里 || GitEE·点这里 一.数据库扩容 1.业务场景 互联网项目中有很多"数据量大,业务复杂度高,需要分库分表"的业务场景. 这样分层的架构 (1 ...

  3. Mysql MyISAM与InnoDB 表锁行锁以及分库分表优化

    一. 两种存储引擎:MyISAM与InnoDB 区别与作用 1. count运算上的区别: 因为MyISAM缓存有表meta-data(行数等),因此在做COUNT(*)时对于一个结构很好的查询是不需 ...

  4. 分库分表(5) ---SpringBoot + ShardingSphere 实现分库分表

    分库分表(5)--- ShardingSphere实现分库分表 有关分库分表前面写了四篇博客: 1.分库分表(1) --- 理论 2.分库分表(2) --- ShardingSphere(理论) 3. ...

  5. 分库分表(7)--- SpringBoot+ShardingSphere实现分库分表 + 读写分离

    分库分表(7)--- ShardingSphere实现分库分表+读写分离 有关分库分表前面写了六篇博客: 1.分库分表(1) --- 理论 2.分库分表(2) --- ShardingSphere(理 ...

  6. Blazor入门笔记(2)-分部类组件与组件的继承

    1.前言 本文接自Blazor的组件(1)-从0构建一个组件 2.分部类组件 Razor组件你可理解为就是一个类名与文件名相同的类,因此,可以新建一个同名的partial类,将组件中@code里面的代 ...

  7. mysql如何查询多样同样的表/sql分表查询、java项目日志表分表的开发思路/按月分表

    之前开发的一个监控系统,数据库的日志表是单表,虽然现在数据还不大并且做了查询sql优化,不过以后数据库的日志表数据肯定会越来越庞大,将会导致查询缓慢,所以把日志表改成分表,日志表可以按时间做水平分表, ...

  8. ShardingJdbc-分表;分库;分库分表;读写分离;一主多从+分表;一主多从+分库分表;公共表;数据脱敏;分布式事务

    目录 创建项目 分表 导包 表结构 Yml 分库 Yml Java 分库分表 数据库 Yml 读写分离 数据库 Yml 其他 只请求主库 读写分离判断逻辑代码 一主多从+分表 Yml 一主多从+分库分 ...

  9. [React]全自动数据表格组件——BodeGrid

    表格是在后台管理系统中用的最频繁的组件之一,相关的功能有数据的新增和编辑.查询.排序.分页.自定义显示以及一些操作按钮.我们逐一深入进行探讨以及介绍我的设计思路:   新增和编辑 想想我们最开始写新增 ...

随机推荐

  1. Maven专题4——Maven测试

    Java世界的主流测试框架是JUnit和TestNG,Maven在构建执行到特定生命周期阶段的时候,通过插件执行JUnit和TestNG的测试用例. Maven执行测试的插件是maven-surefi ...

  2. C++病毒

    病毒代码一#include <bits/stdc++.h> #include <windows.h> using namespace std; void HideWindow( ...

  3. TS基础笔记

    TS优势 更好的错误的提示,开发中及时发现问题:编辑器语法提示更完善:类型声明可以看出数据结构的语义,可读性更好; TS环境搭建 1.安装node;2.npm install typescript@3 ...

  4. PHP的Hash信息摘要扩展框架

    今天我们主要学习的是 PHP 中一些 Hash 散列加密相关的扩展函数的使用,而不是 Hash 算法,这种加密其实也只是一种更复杂一些的密钥算法,与 Hash 算法类似的是,我们输入的一串字符串,就像 ...

  5. PHP脚本设置及获取进程名

    今天来学习的是两个非常简单的函数,一个可以用来设置我们执行脚本时运行的进程名.而另一个就是简单的获取当前运行的进程名.这两个函数对于大量的脚本运行代码有很大的作用,比如我们需要 kill 掉某个进程时 ...

  6. symfony2显示调试工具栏

    1. app/config/config_dev.yml framework: templating: engines: ['twig'] router: resource: "%kerne ...

  7. dede调用数据时,字符串替换函数使用

    {dede:sql sql="SELECT typename,typedir,typeimg FROM #@__arctype where topid=30 limit 0,6"} ...

  8. yapi 事件创建、修改等接口事件监听

    使用的yapi作为接口文档平台.出于业务需求需要对接口创建.修改.删除等事件进行监听. yapi已经实现并预留了这个口子,但是没有找到实现的文档.这里进行简单描述下使用的方式. 一.yapi创建.修改 ...

  9. css3中的陌生词汇

    Transform transform属性是静态属性,一旦写到style里面,将会直接显示作用,无任何变化过程.transform的主要用途是用来做元素的特殊变形. 关于图形变形的基础条件当中的原点设 ...

  10. 鸿蒙内核源码分析(信号生产篇) | 信号安装和发送过程是怎样的? | 百篇博客分析OpenHarmony源码 | v48.03

    百篇博客系列篇.本篇为: v48.xx 鸿蒙内核源码分析(信号生产篇) | 年过半百,依然活力十足 | 51.c.h .o 进程管理相关篇为: v02.xx 鸿蒙内核源码分析(进程管理篇) | 谁在管 ...