概念相关

    为了确保多线上环境数据库的稳定性和可用性,大部分情况下都使用了双机热备的技术。一般是一个主库+一个从库或者多个从库的结构,从库的数据来自于主库的同步。在此基础上我们可以通过数据库反向代理工具或者使用程序的方式实现读写分离,即主库接受事务性操作比如删除、修改、新增等操作,从库接受读操作。笔者自认为读写分离解决的痛点是,数据库读写负载非常高的情况下,单点数据库存在读写冲突,从而导致数据库压力过大,出现读写操作缓慢甚至出现死锁或者拒绝服务的情况。它适用与读大于写,并可以容忍一段时间内不一致的情况,因为主从同步存在一定的延迟,大致的实现架构图如下(图片来自于网络)。

    虽然我们可以通过数据库代理实现读写分离,比如mycat,这类方案的优势就是对程序本身没有入侵,通过代理本身来拦截sql语句分发到具体数据。甚至是更好的解决方案NewSQL去解决,比如TiDB。但是还是那个原则,无论使用数据库代理或者NewSQL的情况都是比较重型的解决方案,会增加服务节点和运维成本,有时候还没到使用这些终极解决方案的地步,这时候我们会在程序中处理读写分离,所以有个好的思路去在程序中解决读写分离也尤为重要。

基本结构

接下来我们新建三个类,当然这个并不固定,可以根据自己的情况新建类。首先我们新建一个ConnectionStringConsts用来存放连接字符串常量,也就是用来存放读取自配置文件或者配置中心的字符串,这里我直接写死,当然你也可以存放多个连接字符串,大致实现如下。

public class ConnectionStringConsts
{
/// <summary>
/// 主库连接字符串
/// </summary>
public static readonly string MasterConnectionString = "server=db.master.com;Database=crm_db;UID=root;PWD=1"; /// <summary>
/// 从库连接字符串
/// </summary>
public static readonly string SlaveConnectionString = "server=db.slave.com;Database=crm_db;UID=root;PWD=1";
}

然后新建存储数据库连接字符串主从映射关系的映射类ConnectionStringMapper,这个类的主要功能就是通过连接字符串建立主库和从库的关系,并且根据映射规则返回实际要操作的字符串,大致实现如下

public static class ConnectionStringMapper
{
//存放字符串主从关系
private static readonly IDictionary<string, string[]> _mapper = new Dictionary<string, string[]>();
private static readonly Random _random = new Random(); static ConnectionStringMapper()
{
//添加数关系映射
_mapper.Add(ConnectionStringConsts.MasterConnectionString, new[] { ConnectionStringConsts.SlaveConnectionString });
} /// <summary>
/// 获取连接字符串
/// </summary>
/// <param name="masterConnectionStr">主库连接字符串</param>
/// <param name="useMaster">是否选择读主库</param>
/// <returns></returns>
public static string GetConnectionString(string masterConnectionStr,bool useMaster)
{
//是否走主库
if (useMaster)
{
return masterConnectionStr;
} if (!_mapper.Keys.Contains(masterConnectionStr))
{
throw new KeyNotFoundException("不存在的连接字符串");
} //根据主库获取从库连接字符串
string[] slaveStrs = _mapper[masterConnectionStr];
if (slaveStrs.Length == 1)
{
return slaveStrs[0];
}
return slaveStrs[_random.Next(0, slaveStrs.Length - 1)];
}
}

这个类是比较核心的操作,关于实现读写分离的核心逻辑都在这,当然你可以根据自己的具体业务实现类似的操作。接下来,我们将封装一个DapperHelper的操作,虽然Dapper用起来比较简单方便,但是依然强烈建议!!!封装一个Dapper操作类,这样的话可以统一处理数据库相关的操作,对于以后的维护修改都非常方便,扩展性的时候也会相对容易一些

public static class DapperHelper
{
public static IDbConnection GetConnection(string connectionStr)
{
return new MySqlConnection(connectionStr);
} /// <summary>
/// 执行查询相关操作
/// </summary>
/// <param name="sql">sql语句</param>
/// <param name="param">参数</param>
/// <param name="useMaster">是否去读主库</param>
/// <returns></returns>
public static IEnumerable<T> Query<T>(string sql, object param = null, bool useMaster=false)
{
//根据实际情况选择需要读取数据库的字符串
string connectionStr = ConnectionStringMapper.GetConnectionString(ConnectionStringConsts.MasterConnectionString, useMaster);
using (var connection = GetConnection(connectionStr))
{
return connection.Query<T>(sql, param);
}
} /// <summary>
/// 执行查询相关操作
/// </summary>
/// <param name="connectionStr">连接字符串</param>
/// <param name="sql">sql语句</param>
/// <param name="param">参数</param>
/// <param name="useMaster">是否去读主库</param>
/// <returns></returns>
public static IEnumerable<T> Query<T>(string connectionStr, string sql, object param = null, bool useMaster = false)
{
//根据实际情况选择需要读取数据库的字符串
connectionStr = ConnectionStringMapper.GetConnectionString(connectionStr, useMaster);
using (var connection = GetConnection(connectionStr))
{
return connection.Query<T>(sql, param);
}
} /// <summary>
/// 执行事务相关操作
/// </summary>
/// <param name="sql">sql语句</param>
/// <param name="param">参数</param>
/// <returns></returns>
public static int Execute(string sql, object param = null)
{
return Execute(ConnectionStringConsts.MasterConnectionString, sql, param);
} /// <summary>
/// 执行事务相关操作
/// </summary>
/// <param name="connectionStr">连接字符串</param>
/// <param name="sql">sql语句</param>
/// <param name="param">参数</param>
/// <returns></returns>
public static int Execute(string connectionStr,string sql,object param=null)
{
using (var connection = GetConnection(connectionStr))
{
return connection.Execute(sql,param);
}
} /// <summary>
/// 事务封装
/// </summary>
/// <param name="func">操作</param>
/// <returns></returns>
public static bool ExecuteTransaction(Func<IDbConnection, IDbTransaction, int> func)
{
return ExecuteTransaction(ConnectionStringConsts.MasterConnectionString, func);
} /// <summary>
/// 事务封装
/// </summary>
/// <param name="connectionStr">连接字符串</param>
/// <param name="func">操作</param>
/// <returns></returns>
public static bool ExecuteTransaction(string connectionStr, Func<IDbConnection, IDbTransaction, int> func)
{
using (var conn = GetConnection(connectionStr))
{
IDbTransaction trans = conn.BeginTransaction();
return func(conn, trans)>0;
}
}
}

    首先和大家说一句非常抱歉的话,这个类我是随手封装的,并没有实验是否可用,因为我自己的电脑并没有安装数据库这套环境,但是绝对是可以体现我要讲解的思路,希望大家多多见谅。

    在这里可以看出来Query查询方法中我们传递了一个缺省参数useMaster默认值是false,主要的原因是,很多时候我们可能不能完全的使用事务性操作走主库,读取操作走从库的情况,也就是我们有些场景可能要选择性读主库,这时候我们可以通过这个参数去控制。当然这个字段具体的含义根据你的具体业务实际情况而定,其主要原则就是让更多的操作能命中缺省的情况,比如你大部分读操作都需要去主库,那么你可以设置默认值为true,这样的话特殊情况传递false,这样的话会省下许多操作。如果你大部分读操作都是走从库,只有少数场景需要选择性读主库,那么这个参数你可以设置为false。写就没有这种情况,因为无论哪种场景写都是要在主库进行的,除非双主的情况,这也不是我们本次讨论的重点。

使用方式

通过上述方式完成封装之后,我们在具体数据访问层适用的时候可以通过如下方式,如果按照默认的方式查询可以采用如下的方式。在这里关于写的操作我们就不展示了,因为写的情况是固定的

string queryPersonSql = "select id,name from Person where id=@id";
var person = DapperHelper.Query<Person>(queryPersonSql, new { id = 1 }).FirstOrDefault();

如果需要存在特殊情况,查询需要选择主库的话可以不使用缺省参数,我们可以选择给缺省参数传值,比如我要让查询走主库

string queryPersonSql = "select id,name from Person where id=@id";
var person = DapperHelper.Query<Person>(queryPersonSql, new { id = 1 }, true).FirstOrDefault();

当然,我们上面也提到了,缺省值useMaster是true还是false,这个完全可以结合自身的业务决定。如果大部分查询都是走从库的情况下,缺省值可以为false。如果大部分查询情况都是走主库的时候,缺省值可以给true。关于以上所有的相关封装,模式并不固定,这一点可以完全结合自己的实际业务和代码实现,只是希望能多给大家提供一种思路,其他ORM也有自身提供了操作读写分离的具体实现。

总结

    以上就是笔者关于Dapper实现读写分离的一些个人想法,这种方法也适合其他类似Dapper偏原生SQL操作的ORM框架。这种方式还有一个优点就是如果在现有的项目中,需要支持读写分离的时候,这种操作方式可能对原有代码逻辑,入侵不会那么强,如果你前期封装还比较合理的话,那么改动将会非常小。当然这只是笔者的个人的观点,毕竟具体的实践方式还需要结合实际项目和业务。本次我个人希望能得到大家更多关于这方面的想法,如果你有更好的实现方式欢迎评论区多多留言。

欢迎扫码关注我的公众号

关于Dapper实现读写分离的个人思考的更多相关文章

  1. MySQL读写分离-简单思考

    本文图片资源均来自互联网,没有干货,只是提供一种简单的思路. 基础原理 两台MySQL机器一个主,一个从实现数据实时同步比较简单,代码层面无需任何修改,添加一台机器简单配置配置即可,但是MySQL数据 ...

  2. CYQ.Data V5 数据库读写分离功能介绍

    前言 好多年没写关于此框架的新功能的介绍了,这些年一直在默默地更新,从Nuget上的记录就可以看出来: 这几天在看Java的一些东西,除了觉的Java和.NET的相似度实在太高之外,就是Java太原始 ...

  3. 从零开始学 Java - Spring AOP 实现主从读写分离

    深刻讨论为什么要读写分离? 为了服务器承载更多的用户?提升了网站的响应速度?分摊数据库服务器的压力?就是为了双机热备又不想浪费备份服务器?上面这些回答,我认为都不是错误的,但也都不是完全正确的.「读写 ...

  4. EF通用数据层封装类(支持读写分离,一主多从)

    浅谈orm 记得四年前在学校第一次接触到 Ling to Sql,那时候瞬间发现不用手写sql语句是多么的方便,后面慢慢的接触了许多orm框架,像 EF,Dapper,Hibernate,Servic ...

  5. DBA 小记 — 分库分表、主从、读写分离

    前言 我在上篇博客 "Spring Boot 的实践与思考" 中比对不同规范的 ORM 框架应用场景的时候提到过主从与读写分离,本篇随笔将针对此和分库分表进行更深入地探讨. 1. ...

  6. Proxysql读写分离配置

    ProxySQL是Percona主推的读写分离中间件,下载地址为: https://www.percona.com/downloads/proxysql/ 一.安装 1:下载 wget https:/ ...

  7. 高可用Mysql架构_Mysql主从复制、Mysql双主热备、Mysql双主双从、Mysql读写分离(Mycat中间件)、Mysql分库分表架构(Mycat中间件)的演变

    [Mysql主从复制]解决的问题数据分布:比如一共150台机器,分别往电信.网通.移动各放50台,这样无论在哪个网络访问都很快.其次按照地域,比如国内国外,北方南方,这样地域性访问解决了.负载均衡:M ...

  8. ProxySQL读写分离

    我们首先看一下自己的环境: MHA已经搭建: master: slave: slave: MHA manager在172.16.16.34,配置文件如下: [root@localhost bin]# ...

  9. Amoeba+Mysql 实现读写分离

    About Amoeba Amoeba可译为阿米巴.变型虫Amoeba是一个开源项目,致力于Mysq的分布式数据库前端代理层Amoeba是一个以MySQL为底层数据存储,并对应用提供MySQL协议接口 ...

随机推荐

  1. 使用 forever 启动 vue 需要注意的问题

    forever 是 nodejs 生态中一个用来永久挂起一个应用(当这个应用崩溃时能自己重启)的应用(库). 但用他启动vue的时候必须注意一个问题: 在哪个路径启动vue,就在哪个路径启动forev ...

  2. .NET 使用sock5做代理(不是搭建服务端)

    在日常开发中经常会遇到这些需求,爬取数据,都知道现在通常用python爬取是很方便的,但是免不了还有很多伙伴在用NET来爬取,在爬取数据的时候我们知道需要使用代理服务器,如果不用代理,你的IP很有可能 ...

  3. 关于RecyclerView(一)基本使用

    前言 最近在项目中用到了ListView,不知道为什么总是出现数据错乱的情况,另外RecyclerView包含很多Item动画,所以改成了RecyclerView. 简单使用 RecyclerView ...

  4. Mybatis Plus中的lambdaQueryWrapper条件构造图介绍

  5. JAVA实现BP神经网络算法

    工作中需要预测一个过程的时间,就想到了使用BP神经网络来进行预测. 简介 BP神经网络(Back Propagation Neural Network)是一种基于BP算法的人工神经网络,其使用BP算法 ...

  6. (一) BIO,NIO, 阻塞,非阻塞,你懂了吗

    一般来说,一个输入操作通常包括两个阶段: .等待数据准备好: .从内核向进程复制数据 是否同步的判断依据是: 是否 针对的 整个过程,即2个阶段,是否有阻塞 是否阻塞的判断依据是: 按 程序等待消息通 ...

  7. Hyper-V设置固定IP

    win+x以管理员启动PowerShell 创建虚拟交换机,等同于在Hyper-V管理器界面中新建虚拟网络交换机 New-VMSwitch -SwitchName "NAT-VM" ...

  8. PHP min() 函数

    实例 通过 min() 函数查找最小值: <?php高佣联盟 www.cgewang.comecho(min(2,4,6,8,10) . "<br>");echo ...

  9. 下载excel模板,导入数据时需要用到

    页面代码: <form id="form1" enctype="multipart/form-data"> <div style=" ...

  10. C/C++编程笔记:C++入门知识丨运算符重载

    本篇要学习的内容和知识结构概览 运算符重载使用场景 常规赋值操作 我们现在有一个类 想要实现这种赋值操作 具体实现如下: 所以说呢,我们在使用运算符进行运算的时候, 实际上也是通过函数来实现运算的. ...