canal 基于Mysql数据库增量日志解析
canal 基于Mysql数据库增量日志解析
1.前言
最近太多事情 工作的事情,以及终身大事等等 耽误更新,由于最近做项目需要同步监听 未来电视 mysql的变更了解到公司会用canal做增量监听,就尝试使用了一下 这里做个demo 简单的记录一下。
2.canal简介
canal:主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费的中间件
当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x
3.MySQL 注备复制原理
3.1 mysql主备复制工作原理
1.MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events,可以通过 show binlog events 进行查看)
2.MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
3.MySQL slave 重放 relay log 中事件,将数据变更反映它自己的数据
3.2 canal 工作原理
1.canal 模拟 MySQL slave 的交互协议,伪装自己为 MySQL slave ,向 MySQL master 发送dump 协议
2.MySQL master 收到 dump 请求,开始推送 binary log 给 slave (即 canal )
3.canal 解析 binary log 对象(原始为 byte 流)
4.准备
对于自建MySQL ,需要先开启 Binlog写入功能,并且配置binlog-format 为Row模式 在my.cnf中配置
授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限, 如果已有账户可直接 grant
CREATE USER canal IDENTIFIED BY 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;
5.canal 下载安装配置
5.1 canal下载
canal 下载地址 (下载速度可能很慢)
下载 canal.deployer-xxx.tar.gz 如 canal.deployer-1.1.4.tar.gz
解压后 可以看到如下结构
5.2 canal 初始配置
配置修改:
vim conf/example/instance.properties
如下:
#################################################
## mysql serverId
canal.instance.mysql.slaveId = 2020
# position info 修改自己的数据库(canal要监听的数据库 地址 )
canal.instance.master.address = 127.0.0.1:3306
canal.instance.master.journal.name =
canal.instance.master.position =
canal.instance.master.timestamp =
#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
# username/password 修改成自己 数据库信息的账号 (单独开一个 准备阶段创建的账号)
canal.instance.dbUsername = canal
canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName =
canal.instance.connectionCharset = UTF-8
# table regex 表的监听规则
# canal.instance.filter.regex = blogs\.blog_info
canal.instance.filter.regex = .\*\\\\..\*
# table black regex
canal.instance.filter.black.regex =
启动canal
sh bin/startup.sh
查看server日志
看到 the canal server is running now 表示启动成功
vi logs/canal/canal.log
2020-01-08 15:25:33.361 [main] INFO com.alibaba.otter.canal.deployer.CanalLauncher - ## start the canal server.
2020-01-08 15:25:33.468 [main] INFO com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[192.168.12.245:11111]
2020-01-08 15:25:34.061 [main] INFO com.alibaba.otter.canal.deployer.CanalLauncher - ## the canal server is running now ......
查看instance的日志
vi logs/example/example.log
2020-01-08 15:25:33.864 [main] INFO c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-blogs
2020-01-08 15:25:33.998 [main] INFO c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start successful....
2020-01-08 15:25:33.999 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.otter.canal.parse.inbound.mysql.MysqlEventParser - prepare to find start position just show master status
5.3 扩展 destination 配置
vi conf/canal.properties
在canal.destinations 处可以配置当前server上部署的instance 列表 默认为 example ,我这里改成了 blogs最好对应数据库名称。一个instance 对应一个 数据库
6.创建Java 客户端 监听canal 消费数据
6.1 创建maven项目
6.2 添加canal client POM 依赖
<dependency>
<groupId>com.alibaba.otter</groupId>
<artifactId>canal.client</artifactId>
<version>1.1.0</version>
</dependency>
6.3 创建 canal 的客户端监听
CanalMessageListener.java
该类实现InitializingBean 主要是在初始化的时候 执行 init 方法,在init()方法中 创建 CanalConnector对象,连接需要监听的canal,主要提供 canal的 host ,port ,destination ,以及username 和 password
parse 方法 主要用于将监听的对象 通过反射等转换成对应的实体类
/**
* @author johnny
**/
@Component
@Slf4j
@ConditionalOnProperty(name = "application.canal.accessor", havingValue = "canal")
public class CanalMessageListener implements InitializingBean, ParseCanal {
private CanalConnector connector;
@Autowired
private CanalConfig canalConfig;
@Autowired
private IParseDispatcher configParseDispatcher;
private void init() {
//创建canal 监听 传入host port destination等参数
connector = CanalConnectors.newSingleConnector(new InetSocketAddress(canalConfig.getHost(), canalConfig.getPort()),
canalConfig.getDestination(), canalConfig.getUsername(), canalConfig.getPassword());
connector.connect();
// .*\..*
connector.subscribe(".*\\..*");
connector.rollback();
new Thread(() -> {
while (true) {
Message message = connector.getWithoutAck(canalConfig.getBatchSize());
long batchId = message.getId();
long size = message.getEntries().size();
//batchId == -1 表示没有数据变更
if (batchId == -1 || size == 0) {
System.out.println("empty data ");
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
}
} else {
//解析数据变更
resoleveEntry(message.getEntries());
}
}
}).start();
}
//解析数据变更
private void resoleveEntry(List<CanalEntry.Entry> entries) {
CanalEntry.RowChange rowChange = null;
for (CanalEntry.Entry row : entries) {
//判断是否是 事物开始 和 事物结束
if (row.getEntryType() == CanalEntry.EntryType.TRANSACTIONBEGIN || row.getEntryType() == CanalEntry.EntryType.TRANSACTIONEND) {
continue;
}
try {
rowChange = CanalEntry.RowChange.parseFrom(row.getStoreValue());
} catch (InvalidProtocolBufferException e) {
e.printStackTrace();
}
List<CanalEntry.RowData> rowDataList = rowChange.getRowDatasList();
String tableName = row.getHeader().getTableName();
CanalEntry.EventType eventType = row.getHeader().getEventType();
for (CanalEntry.RowData rowData : rowDataList) {
if (eventType == CanalEntry.EventType.UPDATE) {
List<CanalEntry.Column> columns = rowData.getBeforeColumnsList();
Object object = parse(columns, tableName);
log.info("收到的 object:{}", JsonUtils.marshalToString(object));
//根据收到的对象 处理后续业务逻辑
}
}
}
}
@Override
public void afterPropertiesSet() throws Exception {
init();
}
//解析 List<CanalEntry.Column>对象到对应的 实体类
@Override
public Object parse(List<CanalEntry.Column> canalDatas, String tableName) {
//根据配置好的map 从中根据key 表名 获取对应的映射后的 实体类class
String className = configParseDispatcher.dispatch(tableName);
Object entity = null;
Class c = null;
try {
c = Class.forName(className);
entity = c.newInstance();
} catch (ClassNotFoundException e) {
log.error("【未找到对应 {} 的 实体类 】", className);
} catch (Exception e) {
}
for (CanalEntry.Column canalDataColumn : canalDatas) {
String columnName = canalDataColumn.getName();
Field[] fields = c.getDeclaredFields();
for (Field field : fields) {
Object fieldValue = null;
field.setAccessible(true);
String fiedName = CaseFormat.LOWER_CAMEL.to(CaseFormat.LOWER_UNDERSCORE, field.getName());
log.info("【filedName: {}】", fiedName);
if (fiedName.equals(columnName)) {
try {
if (Long.class.equals(field.getType())) {
fieldValue = NumberUtils.toLong(canalDataColumn.getValue());
}else if(Integer.class.equals(field.getType())){
fieldValue = NumberUtils.toInt(canalDataColumn.getValue());
}else if(Double.class.equals(field.getType())){
fieldValue = NumberUtils.toDouble(canalDataColumn.getValue());
}else if(Date.class.equals(field.getType())){
try {
fieldValue = DateUtils.parseDate(canalDataColumn.getValue(), new String[]{"yyyy-MM-dd HH:mm:ss"});
} catch (ParseException e) {
e.printStackTrace();
}
}else{
fieldValue = canalDataColumn.getValue();
}
field.set(entity, fieldValue);
break;
} catch (IllegalAccessException e) {
e.printStackTrace();
}
}
}
}
return entity;
}
}
application.yml
配置canal 地址,以及表名和实体的映射规则
server:
port: 8881
application:
canal:
accessor: canal
host: 127.0.0.1
port: 11111
username:
password:
destination: blogs
batchSize: 30
parse: 规则,根据表名获取对应要映射的 实体class
rule:
mapping:
blog_info: com.johnny.canal.canal_test.entity.BlogInfo
IParseDispatcher.java
接口:用来根据表名key获取对应的 要映射的实体,这里写成接口是因为可以提供多种获取方式,比如我这里通过yml 配置去获取
/**
* @author johnny
* @create 2020-01-17 上午11:09
**/
public interface IParseDispatcher {
String dispatch(String key);
}
ConfigParseDispatcher.java
实现上面的接口,提供一种从 application.yml 获取初始源配置 根据 application.canal.parse.rule进行配置
/**
* @author johnny
* @create 2020-01-17 上午11:07
**/
@Data
@Configuration
@ConfigurationProperties(prefix = "application.canal.parse.rule")
public class ConfigParseDispatcher implements IParseDispatcher {
private Map<String,String> mapping=new HashMap<>();
@Override
public String dispatch(String key) {
return mapping.get(key);
}
}
7.演示
启动项目 此时控制台打印 empty data ,无数据变更
通过执行 在 canal监听的mysql 上执行 更新语句
update blog_info set blog_title = 'SpringBoot配置相关for canal test ' where id = 40
debug 程序,当执行上面的update语句后 可以看到立即收到
通过parse方法解析为对应的 实体对象,后续做自己的业务逻辑 即可
8.总结
本篇主要介绍了canal是什么,如何下载安装和配置 ,以及提供了自己写的一个简单demo 。后续有机会深入了解一下canal的其他功能,比如 如何同步到Kafka/RocketMQ等等。。
个人博客地址: https://www.askajohnny.com 欢迎访问!
本文由博客一文多发平台 OpenWrite 发布!
canal 基于Mysql数据库增量日志解析的更多相关文章
- 阿里巴巴开源项目: canal 基于mysql数据库binlog的增量订阅&消费
背景 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求.不过早期的数据库同步业务,主要是基于trigger的方式获取增 量变更,不过从2010年开始,阿里系公司开始逐步的 ...
- alibaba/canal 阿里巴巴 mysql 数据库 binlog 增量订阅&消费组件
基于日志增量订阅&消费支持的业务: 数据库镜像 数据库实时备份 多级索引 (卖家和买家各自分库索引) search build 业务cache刷新 价格变化等重要业务消息 项目介绍 名称:ca ...
- canal —— 阿里巴巴mysql数据库binlog的增量订阅&消费组件
阿里巴巴mysql数据库binlog的增量订阅&消费组件canal ,转载自 https://github.com/alibaba/canal 最新更新 canal QQ讨论群已经建立,群号 ...
- 阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费
背景 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求.不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝 ...
- 数据库增量日志监听canal
概述 canal是阿里巴巴旗下的一款开源项目,纯Java开发.基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了MySQL(也支持mariaDB). 起源:早期,阿里巴巴B2B公司 ...
- MySQL 数据库增量数据恢复案例
MySQL 数据库增量数据恢复案例 一.场景概述 MySQL数据库每日零点自动全备 某天上午10点,小明莫名其妙地drop了一个数据库 我们需要通过全备的数据文件,以及增量的binlog文件进行数据恢 ...
- MYSQL数据库增量备份
MySQL数据库增量备份,在这之前修改我们的数据库配置文件/etc/my.cnf开启bin-log日志功能即可.接下来是我参考了下网上的一些方法,自己写的,主要还是要能学到他的一些思路和方法. #fu ...
- 基于Mysql数据库亿级数据下的分库分表方案
移动互联网时代,海量的用户数据每天都在产生,基于用户使用数据的用户行为分析等这样的分析,都需要依靠数据都统计和分析,当数据量小时,问题没有暴露出来,数据库方面的优化显得不太重要,一旦数据量越来越大时, ...
- java连接mysql数据库详细步骤解析
java连接mysql数据库详细步骤解析 第一步:下载一个JDBC驱动包,例如我用的是:mysql-connector-java-5.1.17-bin.jar 第二步:导入下载的J ...
随机推荐
- Lavarel之环境配置 .env
.env 文件位于项目根目录下,作为全局环境配置文件. 1. 配置参数 // 运行环境名称 APP_ENV=local // 调试模式,开发阶段启用,上线状态禁用. APP_DEBUG=true // ...
- js基础——函数
1.函数声明:通过函数可封装任意多条语句,且可在任意地方.任何时候调用执行. eg. function box(){//无参函数 alert("只有函数被调用,我才会被执行&quo ...
- activeMQ的两个默认端口8161和61616的区别
activeMQ默认配置下启动会启动8161和61616两个端口,其中8161是mq自带的管理后台的端口,61616是mq服务默认端口 . 8161是后台管理系统,61616是给java用的tcp端口 ...
- FatJar技术
概念 将一个jar及其依赖的三方jar全部打到一个包中,这个包即为FatJar. 作用 作用: Jar包隔离,避免Jar冲突. 打包方式 maven-shade-plugin插件: spring-bo ...
- vue 插件大全
UI组件 element - 饿了么出品的Vue2的web UI工具套件 Vux - 基于Vue和WeUI的组件库 mint-ui - Vue 2的移动UI元素 iview - 基于 Vuejs 的开 ...
- 转 java面试题及答案(基础题122道,代码题19道)
JAVA相关基础知识1.面向对象的特征有哪些方面 1.抽象:抽象就是忽略一个主题中与当前目标无关的那些方面,以便更充分地注意与当前目标有关的方面.抽象并不打算了解全部问题,而只是选择其中的一部分,暂时 ...
- 10款Web前端工具
10款让Web前端开发人员生活更轻松的实用工具.每个Web开发人员都有自己的工具箱,这样工作中碰到的每个问题都有一个好的解决方案供选择. 对于每一项工作,开发人员需要特定的辅助工具,所以如果下面这些工 ...
- 【Jenkins】构建一个maven项目
一 .Ubuntu18.04安装Maven 官方安装文档:http://maven.apache.org/install.html ①去官网下载maven: ②解压到/opt/maven目录(我安装在 ...
- 【Linux】Linux下date,time等时间设置
date命令的帮助信息 [root@localhost source]# date --help用法:date [选项]... [+格式] 或:date [-u|--utc|--universal] ...
- 0018 CSS注释(简单)
CSS注释规则: /* 需要注释的内容 */ 进行注释的,即在需要注释的内容前使用 "/*" 标记开始注释,在内容的结尾使用 "*/"结束. 例如: p { / ...