一个实时收集MySql变更记录的组件CanalSharp.AspNetCore
一、关于CanalSharp
CanalSharp 是阿里巴巴开源项目 Canal 的 .NET 客户端。为 .NET 开发者提供一个更友好的使用 Canal 的方式。Canal 是mysql数据库binlog的增量订阅&消费组件。
CanalSharp 是 Canal 的 .NET 客户端,它与 Canal 是采用的Socket来进行通信的,传输协议是TCP,交互协议采用的是 Google Protocol Buffer 3.0。
更多关于CanalSharp的信息请浏览:https://github.com/CanalClient/CanalSharp
更多关于Canal的信息请浏览:https://github.com/alibaba/canal
二、关于CanalSharp.AspNetCore
CanalSharp.AspNetCore是一个基于CanalSharp的适用于ASP.NET Core的一个后台任务组件,它可以随着ASP.NET Core实例的启动而启动,目前采用轮询的方式对Canal Server进行监听(我比较懒,目前主要是借鉴了晓晨的Demo来改写的),获得MySql行更改(RowChange)后写入MySql指定的记录表中(canal.logs,CanalSharp.AspNetCore会自动帮我们创建这张记录表)。当然,这只是我目前的业务需求,完全可以改为事件订阅+自定义输出的方式进行完善,这是后话了。
这个项目的GitHub地址为:https://github.com/XiLife-OSPC/CanalSharp.AspNetCore
三、使用前的准备工作
3.1 MySql
当前的canal开源版本支持8.0及以下的版本,针对阿里云RDS账号默认已经有binlog dump权限,不需要任何权限或者binlog设置,可以直接跳过这一步。 开启binlog写入功能,并且配置binlog模式为row。
修改C:\ProgramData\MySQL\MySQL Server 5.7\my.ini的以下内容
log-bin=mysql-bin
binlog-format=Row
server-id=1
重启数据库服务,测试修改是否生效
show variables like 'binlog_format';
show variables like 'log_bin';
创建一个用户Canal用于获取binlog的用户并授予权限
CREATE USER canal IDENTIFIED BY canal;
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO canal @'%';
FLUSH PRIVILEGES;
3.2 Canal-Server
本文通过Docker方式来启动Canal-Server,也可以不通过Docker方式来,更多内容可以参考Canal的github。
通过Docker拉取Canal镜像:
docker pull canal/canal-server:v1.1.2
通过以下命令启动Canal实例:
docker run --restart=always --name core_productservice_canal \
-e canal.instance.master.address=192.168.16.150:3306 \
-e canal.instance.dbUsername=canal \
-e canal.instance.dbPassword=canal \
-e canal.destinations=products \
-e canal.instance.defaultDatabaseName=products_dev \
-e canal.instance.filter.regex=products_dev\\..* \
-e canal.instance.filter.black.regex=products_dev\\.canal.* \
-p 8001:11111 \
-d canal/canal-server:v1.1.2
PS:其中name、destinations、defaultDatabaseName、filter根据要监听的业务数据库按需修改。
四、开始使用CanalSharp.AspNetCore
4.1 安装Nuget包
通过NuGet或项目引用添加该组件,搜索CanalSharp.AspNetCore
目前最新版本为0.0.3,支持.NET Core 2.1及以上,暂未弄成.NET Standard类库。
4.2 添加配置文件项
在配置文件(appSettings.json)中添加以下配置项:
"Canal": {
"Enabled": true,
"LogSource": "Core.Product.Canal",
"ServerIP": "192.168.16.190", // Canal-Server所在的服务器IP
"ServerPort": , // Canal-Server所在的服务器Port
"Destination": "products", // 建议与Canal-Server中配置的destination保持一致
"Filter": "products_dev\\..*", // 建议与Canal-Server中配置的filter保持一致
"SleepTime": , // SleepTime越短监听频率越高但也越耗CPU
"BufferSize": , // 每次监听获取的数据量大小,单位为字节
"Output": {
"ConnStr": "Server=192.168.16.150;Port=3306;Database=products_dev;Uid=dev;Pwd=xdp" // 要输出的日志记录表所在的数据连接字符串
}
}
4.3 在Startup类中注册
在StartUp类中的Configure方法中加入以下代码行:
public void Configure(IApplicationBuilder app, IHostingEnvironment env,
IApplicationLifetime appLifetime, ILogger<ICanalClientHandler> defaultLogger)
{
......
app.RegisterCanalSharpClient(appLifetime, Configuration, defaultLogger);
}
五、效果演示
当在指定要监听的数据库对某张表的某行数据进行Update或Delete操作后,又或者进行Insert行操作后,canal.logs表会自动记录变更的记录数据如下图:
PS:INSERT操作会记录新增的数据行数据到CurrentValue列,DELETE操作会记录删除的数据行数据到PreviousValue列,UPDATE操作则会记录修改前PreviousValue和修改后的值CurrentValue。对于INSERT和DELETE会生成JSON格式的字符串,例如“{"Id":"12312","Name":"精装主材","Description":"测试描述",....}”这种。
六、示例项目
点这里:CanalSharp.AspNetCore.Sample
Code有点乱,我还没来得及做重构和优化,先就这样吧。
参考资料
李志强,《CanalSharp-mysql数据库binlog的增量订阅&消费组件Canal的.NET客户端》
一个实时收集MySql变更记录的组件CanalSharp.AspNetCore的更多相关文章
- Vue父组件向子组件传递一个动态的值,子组件如何保持实时更新实时更新?
原文:https://blog.csdn.net/zhouweixue_vivi/article/details/78550738 2017年11月16日 14:22:50 zhouweixue_vi ...
- 企业级中带你ELK如何实时收集分析Mysql慢查询日志
什么是Mysql慢查询日志? 当SQL语句执行时间超过设定的阈值时,便于记录到指定的日志文件中或者表中,所有记录称之为慢查询日志 为什么要收集Mysql慢查询日志? 数据库在运行期间,可能会存在这很多 ...
- flume实时采集mysql数据到kafka中并输出
环境说明 centos7(运行于vbox虚拟机) flume1.9.0(flume-ng-sql-source插件版本1.5.3) jdk1.8 kafka(版本忘了后续更新) zookeeper(版 ...
- 蛙蛙推荐:如何实时监控MySql状态
大多网站的性能瓶颈都会出在数据库上,所以想把Mysql监控起来,就搜索了下相关资料. 后来和同事讨论了下cacti和nagios有些老套和过时,graphite比较时尚,然后就搜了下相关的资料,最后搞 ...
- 实时监控MySql状态
大多网站的性能瓶颈都会出在数据库上,所以想把Mysql监控起来,就搜索了下相关资料. 后来和同事讨论了下cacti和nagios有些老套和过时,graphite比较时尚,然后就搜了下相关的资料,最后搞 ...
- Btrace是一个实时监控工具
http://blog.csdn.net/gzh0222/article/details/9731031 Btrace是一个实时监控工具,可以无需修改应用代码(事实上它修改了字节码),来达到不可告人的 ...
- 利用DTrace实时检测MySQl
与我们大多数人想象的不同,DTrace用于MySQL时不需对MySQL做任何更改.DTrace最强大的“提供器”(provider,是一组可观测的探测器)是FBT(Functional Boundar ...
- maxwell实时同步mysql中binlog
概述 Maxwell是一个能实时读取MySQL二进制日志binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka,Kinesis.RabbitMQ.Redis.Google Cloud ...
- 一个小时学会MySQL数据库
随着移动互联网的结束与人工智能的到来大数据变成越来越重要,下一个成功者应该是拥有海量数据的,数据与数据库你应该知道. 一.数据库概要 数据库(Database)是存储与管理数据的软件系统,就像一个存入 ...
随机推荐
- C# 数据库链接字符串加密工具
有些项目尤其是WinForm或者是WPF项目,针对一些工具形式的小项目,不想软件流出去之后,懂程序的的拿到手之后一看配置文件就知道了我们数据库的用户名和密码,如果外网能访问的话,那就麻烦大了.所以这里 ...
- UE4中如何使物体始终朝向摄像头?
要使物体始终正面朝向摄像头需要用到一个关键节点:Find Look at Rotation 其中Start连接需要旋转的物体位置矢量,Target连接摄像头位置矢量 最后设置SetActorRotat ...
- 使用MongoDB存储集合的一些问题
这两天在工作中被Mongo集合存储给整得头大,当然也是我的认知太浅,所以下面我来分享下我所遇到的这个问题希望有大佬能给出更好的解决方案, 1.需求: 存储一个从前端接收未知数据类型的集合 例: 由于是 ...
- ResultSet只返回一行数据的原因
写之前,先告戒一下自己......写代码一定要细心,自己写的即使是非常简单的地方也要细心,不能自我感觉太良好,那往往可能会有些bug在等着你...... 注意事项: 1.当你为了查看数据库中是否存在某 ...
- 用shell处理以下内容 1、按单词出现频率降序排序! 2、按字母出现频率降序排序! the squid project provides a number of resources toassist users design,implement and support squid installations. Please browsethe documentation and support
此题目有多种解法,sed.awk.tr等等,都可以解决此题,命令运用灵活多变. 编写shell脚本no_20.sh 解法1: #!/bin/bash ###-------------CopyRight ...
- PAT1129:Recommendation System
1129. Recommendation System (25) 时间限制 400 ms 内存限制 65536 kB 代码长度限制 16000 B 判题程序 Standard 作者 CHEN, Yue ...
- spring的7个模块
Spring 是一个开源框架,是为了解决企业应用程序开发复杂性而创建的.框架的主要优势之一就是其分层架构,分层架构允许您选择使用哪一个组件,同时为 J2EE 应用程序开发提供集成的框架. Spring ...
- PAT1102: Invert a Binary Tree
1102. Invert a Binary Tree (25) 时间限制 400 ms 内存限制 65536 kB 代码长度限制 16000 B 判题程序 Standard 作者 CHEN, Yue ...
- SpringCloud实战-Feign声明式服务调用
在前面的文章中可以发现当我们通过RestTemplate调用其它服务的API时,所需要的参数须在请求的URL中进行拼接,如果参数少的话或许我们还可以忍受,一旦有多个参数的话,这时拼接请求字符串就会效率 ...
- 为什么选择Spring Boot作为微服务的入门级微框架
摘要:1. Spring Boot是什么,解决哪些问题 1) Spring Boot使编码变简单 2) Spring Boot使配置变简单 3) Spring Boot使部署变简单 4) Spring ...