(4)Canal多实例使用
1.前言
很多时候,我们很多业务场景可能只需要同步多个或者单个数据库多个或者单个表的数据,canal提供了多实例(Instance)功能让我们可以处理这些业务场景。废话少说,让我们来学习下这块知识点。
2.前期准备
服务名称 |
IP/域名 |
端口 |
zookeeper |
192.168.142.129,192.168.142.130,192.168.142.131 |
2181 |
mysql |
192.168.142.131 |
3306 |
rabbitmq |
192.168.18.230 |
5672 |
2.1RabbitMQ参数
虚拟主机(Virtual hosts):Canal
交换器(Exchanges):exchange.canal
路由key(Routing key):routing.quote、routing.supplier
队列(Queues):quote_example、supplier_example
3.两个实例(Instance)监听相同数据库
先从conf目录下拷贝两份example实例,具体操作命令如下:
//供应商报价实例
cp -r /home/deng/canal/canal.deployer/conf/example /home/deng/canal/canal.deployer/conf/quote_example
//供应商实例
cp -r /home/deng/canal/canal.deployer/conf/example /home/deng/canal/canal.deployer/conf/supplier_example
如图所示:
客户端我们还是沿用上章节MQ(解析两个实例数据),这里不做代码如何解析数据了。
●修改canal.properties配置,把之前创建supplier_example、quote_example两个实例配置到canal.destinations选项去(如果配置集群,记得每个canal服务配置都要修改):
vi conf/canal.properties
canal.destinations = quote_example,supplier_example
并找到RabbitMQ标题栏配置MQ配置:
##################################################
######### RabbitMQ #############
##################################################
rabbitmq.host = 192.168.18.230 --MQ连接地址
rabbitmq.virtual.host = Canal --virtualHost
rabbitmq.exchange = exchange.canal --交换器名称
rabbitmq.username = admin --MQ登录用户名
rabbitmq.password = 123456 --MQ登录密码
rabbitmq.deliveryMode = 2 --投递模式,实现消息持久化:1.非持续性,2.持续性
●两个实例(quote_example、supplier_example)instance.properties配置相同参数(不知道这几个参数是什么含义,可以翻看我之前写的文章或者查看官网):
canal.instance.master.address=192.168.142.131:3306 --数据库连接地址
canal.instance.dbUsername=canal --数据库登录用户名
canal.instance.dbPassword=qwer1234 --数据库登录密码
●修改quote_example. instance.properties配置:
vi conf/quote_example/instance.properties
canal.mq.topic=routing.quote --MQ路由键
canal.instance.filter.regex=ebs_material.supplier_quote --数据解析关注的表(格式:数据库.表)
●修改supplier_example. instance.properties配置
vi conf/supplier_example/instance.properties
canal.mq.topic=routing.supplier --MQ路由键
canal.instance.filter.regex=ebs_material.supplier --数据解析关注的表(格式:数据库.表)
●清空rabbitmq消息,然后执行如下sql语句:
INSERT INTO ebs_material.supplier_quote (PN,Brand,StockQty,SupplierId,CreateTime) VALUES ('LM358DT','TI',10000,1,'2022-02-14 00:00:00');
INSERT INTO ebs_material.supplier (Name,CreateTime) VALUES ('艾睿','2022-02-14 00:00:00');
登录rabbitmq管理后台我们会看到只有两条待消费的消息(supplier_quote和supplier表插入行数据):
4.两个实例(Instance)监听不相同数据库
canal两个实例(Instance)监听不同数据库数据同步,其实也只是把每个实例连接数据库地址等配置修改下就可以了,其他配置跟上面小节基本一样的,想了解可以自行到官网查看,这里就不多说了,请大伙自行配置测试。
5. mysql数据解析关注的和Perl正则表达式
Canal为我们提供了canal.instance.filter.regex与canal.instance.filter.black.regex选项参数来过滤数据库表数据解析,类似黑白名单。常见例子有:
●所有表:.* or .*\\..*
●canal schema下所有表:canal\\..*
●canal下的以canal打头的表:canal\\.canal.*
●canal schema下的一张表:canal\\.test1
●多个规则组合使用:canal\\..*,mysql.test1,mysql.test2 (逗号分隔)
注:多个正则之间以逗号(,)分隔,转义符需要双斜杠(\\)
6.错误处理
如果canal启动时候从日志看到报这个错误:can't find start position for example。有如下解决方法:
●单机
删除meta.dat文件,重启canal,问题解决。
●集群
进入canal对应的zookeeper集群下,删除节点/otter/canal/destinations/实例/1001/cursor,重启canal即可恢复(不懂命令可以到zookeeper官网或者百度查找操作命令)。
参考文献:
Canal Kafka/RocketMQ QuickStart
AdminGuide
(4)Canal多实例使用的更多相关文章
- mysql 开源~canal的深度解读1
一 简介:经过一段时间的研究,对canal有了一些见解 二 配置文件: 1 canal.properties (系统根配置文件) 主要参数列表 canal.properties (系统根配 ...
- canal 配置
参考:https://www.2cto.com/database/201609/547661.html Spring配置 spring配置的原理是将整个配置抽象为两部分: xxxx-instance. ...
- 【Canal源码分析】整体架构
本文详解canal的整体架构. 一.整体架构 说明: server代表一个canal运行实例,对应于一个jvm instance对应于一个数据队列 (1个server对应1..n个instance) ...
- 【Canal源码分析】配置项
本文讲解canal中的一些配置含义. 一.配置加载图 二.配置文件canal.properties 2.1 common参数定义 比如可以将instance.properties的公用参数,抽取放置到 ...
- 转载:阿里canal实现mysql binlog日志解析同步redis
from: http://www.cnblogs.com/duanxz/p/5062833.html 背景 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求.不过早期的数 ...
- 谈谈对Canal(增量数据订阅与消费)的理解
概述 canal是阿里巴巴旗下的一款开源项目,纯Java开发.基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql(也支持mariaDB). 起源:早期,阿里巴巴B2B公司 ...
- 对 Canal (增量数据订阅与消费)的理解
概述 canal是阿里巴巴旗下的一款开源项目,纯Java开发.基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了MySQL(也支持mariaDB). 起源:早期,阿里巴巴B2B公司 ...
- 阿里巴巴开源项目: canal 基于mysql数据库binlog的增量订阅&消费
背景 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求.不过早期的数据库同步业务,主要是基于trigger的方式获取增 量变更,不过从2010年开始,阿里系公司开始逐步的 ...
- canal中间件
简介: 基于数据库增量(模拟MySQL slave的交互协议)日志解析,提供增量数据订阅和消费(客户端与canal建立关系) 安装版本:1.1.0 git 环境需求: jdk1.7以上 mysql开启 ...
随机推荐
- Autosys 快速参考
Autosys Quick Reference Introduction to Autosys: AutoSys is an automated job control system for sche ...
- List<FieldModelBase> 转 DataTable
// List<FieldModelBase> 转 DataTable private DataTable ListToDataTable(List<FieldModelBase&g ...
- vert.x框架与tomcat的关系
1.前言 大学4年,老师唯一让我们学习的web服务器是tomcat,配置方式是先从官网下载阿帕奇的tomcat文件,然后在开发平台导入,然后再配置web.xml等文件, 是一个可同步可异步请求的服务器 ...
- Go语言系列之time
time包是go语言的内置库,提供了时间的显示和测量用的函数.日历的计算采用的是公历. 一.时间类型 time.Time类型表示时间.我们可以通过time.Now()函数获取当前的时间对象,然后获取时 ...
- R语言基本数据对象之向量的主要运算
在R语言里操作和接触的所有东西都称作对象(object).对象有很多种类 可以包含各种类型的数据.R 语言里所有的东西都被称为对象,R语言中常见的数据类型有几下几种,分别是字符型 (character ...
- Hadoop学习-块、网络拓扑、副本策略、机架感知
原文链接:https://www.toutiao.com/i6627682068203586062/ 一.我们先看一个大数据的实例 进到官网 我们进入到里面有个"网站统计" 我们查 ...
- axios导出 excel
this.axios({ methods: 'get', url: url, responseType: 'blob' }).then(res => { const blob = new Blo ...
- mysql 外连接
自连接:最大的特点是:一张表看做两张表.自己连接自己. 找出每个员工的上级领导,要求显示员工名和对应的领导名. select e.ename,ee.ename from emp e join emp ...
- VUE3 之 表单元素
1. 概述 老话说的好:行动起来,原地观望是没有用的. 言归正传,今天我们来聊聊 VUE3 的 表单元素. 2. 表单元素 2.1 文本框与数据绑定 <body> <div id=& ...
- Genymotion安装apk问题,不能部署Genymotion-ARM-Translation_v1.zip
把Genymotion-ARM-Translation_v1.zip拖进去提示 Files successfully copied to: /sdcard/Download 但还是不能安装apk 解决 ...