[奇思异想]使用Zookeeper管理数据库连接串
背景
有一套特定规格的应用(程序+数据库),当有业务需求时,就需要多部署应用,并且所有的应用都使用一个共同的后台来管理。应用新增后,如何通知后台更新连接串成了一个关键的问题。于是就产生了使用ZooKeeper管理数据库连接串的奇思异想。具体方案如下:
1. 运维负责搭建数据库,并执行初始化脚本,然后把对应的数据库配置刷入ZooKeeper;
2. 运维完成App(1...N)的部署,App(1...N)从ZooKeeper读取对应的数据库配置;
3. 后台监听ZooKeeper,更新数据库配置到后台应用内存。
环境准备
1. 安装Zookeeper
docker pull zookeeper:3.4.13
docker run --name zookeeper -d -p 2181:2181 zookeeper:3.4.13
2. 安装Mysql
docker pull mysql:5.7
docker run --name mysql -e MYSQL_ROOT_PASSWORD=root -p 3306:3306 -d mysql:5.7
docker run --name mysql2 -e MYSQL_ROOT_PASSWORD=root -p 3307:3306 -d mysql:5.7
docker run --name mysql3 -e MYSQL_ROOT_PASSWORD=root -p 3308:3306 -d mysql:5.7
3. 初始化数据库
CREATE DATABASE test;
USE test;
CREATE TABLE `table` (
`id` int(11) NOT NULL,
`name` varchar(50) NOT NULL,
PRIMARY KEY (`id`)
);
分别在各个数据库插入测试数据
mysql:
USE test;
INSERT INTO `table` (id, name) VALUES (1, 'A1');
INSERT INTO `table` (id, name) VALUES (2, 'B1');
INSERT INTO `table` (id, name) VALUES (3, 'C1');
mysql2:
USE test;
INSERT INTO `table` (id, name) VALUES (1, 'A2');
INSERT INTO `table` (id, name) VALUES (2, 'B2');
INSERT INTO `table` (id, name) VALUES (3, 'C2');
mysql3:
USE test;
INSERT INTO `table` (id, name) VALUES (1, 'A3');
INSERT INTO `table` (id, name) VALUES (2, 'B3');
INSERT INTO `table` (id, name) VALUES (3, 'C3');
4. 基于数据库生成POCO
Install-Package MySql.Data.EntityFrameworkCore -Version 8.0.13
Scaffold-DbContext "server=127.0.0.1;port=3306;user=root;password=123456;database=test" MySql.Data.EntityFrameworkCore -OutputDir DataAccess -f
5. 引用ZooKeeper相关组件
Install-Package ZooKeeperNetEx -Version 3.4.12.1
核心代码
1. ZookeeperOption:从appsettings中读取ZooKeeper相关配置
public class ZookeeperOption
{
public ZookeeperOption(IConfiguration config)
{
if (config == null)
{
throw new ArgumentNullException(nameof(config));
} var section = config.GetSection("zookeeper");
section.Bind(this);
} public string ConnectionString { get; set; } public int Timeout { get; set; }
}
2. ZookeeperServiceCollectionExtensions:注册ZooKeeper服务
public static class ZookeeperServiceCollectionExtensions
{
public static IServiceCollection AddZookeeper(this IServiceCollection services, IConfiguration config)
{
if (services == null)
{
throw new ArgumentNullException(nameof(services));
} if (config == null)
{
throw new ArgumentNullException(nameof(config));
} services.AddOptions(); var option = new ZookeeperOption(config); var zookeeper = new org.apache.zookeeper.ZooKeeper(option.ConnectionString, option.Timeout * , new DefaultWatcher()); services.Add(ServiceDescriptor.Singleton(zookeeper));
return services;
}
} public class DefaultWatcher : Watcher
{
public override Task process(WatchedEvent @event)
{
return Task.CompletedTask;
}
}
3. ZookeeperHandler:ZooKeeper初始化及目录变化处理类,并把数据库连接信息写入程序内存
public interface IZookeeperHandler
{
Task InitAsync(); Task RefreshAsync();
} public class ZookeeperHandler: IZookeeperHandler
{
private readonly org.apache.zookeeper.ZooKeeper _zooKeeper;
private readonly IMemoryCache _cache; public ZookeeperHandler(org.apache.zookeeper.ZooKeeper zooKeeper, IMemoryCache cache)
{
_zooKeeper = zooKeeper;
_cache = cache;
} public async Task InitAsync()
{
await RefreshAsync();
} public async Task RefreshAsync()
{
var connDic = new Dictionary<string, string>(); var isExisted = await _zooKeeper.existsAsync("/connections");
if (isExisted == null)
{
await _zooKeeper.createAsync("/connections", null, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
} var connResult = await _zooKeeper.getChildrenAsync("/connections", new ConnectionWatcher(this)); foreach (var conn in connResult.Children)
{
var connData = await _zooKeeper.getDataAsync($"/connections/{conn}/value");
var connStr = Encoding.UTF8.GetString(connData.Data);
connDic[conn] = connStr;
} _cache.Set("connections", connDic);
}
}
4. ConnectionWatcher:监听者,内容变化时调用ZookeeperHandler的RefreshAsync()方法,其中,变化只通知一次,因此需要再次建立监听
public class ConnectionWatcher : Watcher
{
private readonly IZookeeperHandler _zookeeperService; public ConnectionWatcher(IZookeeperHandler zookeeperService)
{
_zookeeperService = zookeeperService;
} public override async Task process(WatchedEvent @event)
{
var type = @event.get_Type(); if (type != Event.EventType.None)
{
await _zookeeperService.RefreshAsync();
}
}
}
5. ZookeeperApplicationBuilderExtensions:初始化
public static class ZookeeperApplicationBuilderExtensions
{
public static IApplicationBuilder UseZookeeper(this IApplicationBuilder app)
{
var service = app.ApplicationServices.GetRequiredService<IZookeeperHandler>();
service.InitAsync().Wait();
return app;
}
}
6. ContextProvider:根据Id从内存中读取对应的数据库连接串,并提供DbContext实例
public interface IContextProvider
{
TestContext GetContext(string id);
} public class ContextProvider : IContextProvider
{
private readonly IMemoryCache _cache; public ContextProvider(IMemoryCache cache)
{
_cache = cache;
} public TestContext GetContext(string id)
{
var dic = _cache.Get<Dictionary<string, string>>("connections");
var connectionStr = dic[id]; var optionsBuilder = new DbContextOptionsBuilder<TestContext>();
optionsBuilder.UseMySQL(connectionStr);
return new TestContext(optionsBuilder.Options);
}
}
效果演示
1. 刚开始没有任何连接信息
2. 添加一个连接信息
3. 查询连接对应的数据
4. 再添加两个连接信息
5. 查看ZooKeeper的信息
docker run -it --rm --link zookeeper:zookeeper zookeeper:3.4.13 zkCli.sh -server zookeeper
ls /connections
get /connections/1/value
get /connections/2/value
get /connections/3/value
补充说明
因为把数据库连接信息写到了程序内存中,因此,如果当ZooKeeper出现了故障:
1. 老的(正在运行)应用正在使用的数据库不会受到影响,但无法监听到数据库信息的变化;
2. 新的应用无法启动。
ZooKeeper恢复后:
1. 老的(正在运行)应用会重连,重新监听到数据库信息的变化
2. 新的应用可以成功启动。
源码地址
https://github.com/ErikXu/zookeeper-connection-management
[奇思异想]使用Zookeeper管理数据库连接串的更多相关文章
- [奇思异想]使用RabbitMQ实现定时任务
背景 工作中经常会有定时任务的需求,常见的做法可以使用Timer.Quartz.Hangfire等组件,这次想尝试下新的思路,使用RabbitMQ死信队列的机制来实现定时任务,同时帮助再次了解Rabb ...
- c# 扩展方法奇思妙用基础篇八:Distinct 扩展(转载)
转载地址:http://www.cnblogs.com/ldp615/archive/2011/08/01/distinct-entension.html 刚看了篇文章 <Linq的Distin ...
- c# 扩展方法奇思妙用
# 扩展方法出来已久,介绍扩展方法的文章也很多,但都是笼统的.本人最近一直在思考扩展方法的应用,也悟出了一些,准备将这最近一段时间对扩展方法的思考,写成一个系列文章.每个文章只介绍一个应用方面,篇幅不 ...
- c# 扩展方法奇思妙用基础篇八:Distinct 扩展
刚看了篇文章 <Linq的Distinct太不给力了>,文中给出了一个解决办法,略显复杂. 试想如果能写成下面的样子,是不是更简单优雅 var p1 = products.Distinct ...
- 池化技术(二)HikariCP是如何管理数据库连接的?
基于依赖程序的版本信息:HikariCP:3.3.1 驱动程序mysql-connector-java:8.0.17 上一篇:Druid是如何管理数据库连接的 零.类图和流 ...
- 池化技术(一)Druid是如何管理数据库连接的?
基于依赖程序的版本信息:druid:1.1.16 驱动程序mysql-connector-java:8.0.17 下一篇:HikariCP是如何管理数据库连接的 零.类图& ...
- c# 扩展方法奇思妙用集锦
本文转载:http://www.cnblogs.com/ldp615/archive/2009/08/07/1541404.html 其中本人觉得很经典的:c# 扩展方法奇思妙用基础篇五:Dictio ...
- Zookeeper管理多个HBase集群
zookeeper是hbase集群的"协调器".由于zookeeper的轻量级特性,因此我们可以将多个hbase集群共用一个zookeeper集群,以节约大量的服务器.多个hbas ...
- Mysql系列九:使用zookeeper管理远程Mycat配置文件、Mycat监控、Mycat数据迁移(扩容)
一.使用zookeeper管理远程Mycat配置文件 环境准备: 虚拟机192.168.152.130: zookeeper,具体参考前面文章 搭建dubbo+zookeeper+dubboadmin ...
随机推荐
- c do{}while(0)
1 goto bool foo(){ int *p = (int*)malloc(5*sizeof(int)); bool bOk = true;//执行并处理错误 if(!fun1()) goto ...
- python timeit模块用法
想测试一行代码的运行时间,在python中比较方便,可以直接使用timeit: >>> import timeit #执行命令 >>> t2 = timeit.Ti ...
- C#调用DLL文件提示试图加载格式不正确的程序
最近在调用第三方的DLL遇到了一个问题:试图加载格式不正确的程序,找了好久发现都没有解决问题,一直报错,后来发现是程序编译时的配置错了,要将项目->属性->平台选中release-X86 ...
- Linux samba服务器的搭建
目录 1. 安装samba 2. 配置smb.conf 3. 创建samba登陆用户 4. 创建samba共享文件夹 5. 重启samba服务 6. 访问samba共享文件夹 7. 参考资料 1. 安 ...
- Python——各类库的安装(持续更新)
一.BeautifulSoup 说明:www.crummy.com:Beautiful Soup 3只能在python2.x版本中运行,而Beautiful Soup 4还可以在python3.x版本 ...
- 乙方渗透测试之Fuzz爆破
前言 爆破在渗透测试中,对技术的要求不高,但是对技巧和字典的要求就很高了,本篇整理下平时学到的一些爆破思路和技巧(偏web渗透登陆),当你无措可施时,暴力破解是最好的方式. 世界上最可怕的事情是你的习 ...
- bzoj 4244 括号序列dp
将各种情况绕环等看作括号序列,括号内的区域上下都需要累加答案,左右也是 f[i][j] 代表 前i个车站已经处理完的有j个左括号的最小权值 我们可以发现,更新的来源来自于 i-1, 和 i 将上 描述 ...
- ccf 201903-5 317任务
[题目背景]“你在平原上走着走着,突然迎面遇到一堵墙,这墙向上无限高,向下无限深,向左无限远,向右无限远,这墙是什么?”——<流浪地球>原著我们带着地球去流浪了,为了处理流浪过程中可能会发 ...
- XSS,CSRF,Cookie防劫持的处理
Cookie与sessionHTTP天然是无状态的协议, 为了维持和跟踪用户的状态, 引入了Cookie和Session. Cookie包含了浏览器客户端的用户凭证, 相对较小. Session则维护 ...
- Debian 无线网络切换问题解决方案
sudo gedit /etc/NetworkManager/NetworkManager.conf 2: 添加 [device] wifi.scan-rand-mac-address=no 3:重启 ...