(4)Canal多实例使用
1.前言
很多时候,我们很多业务场景可能只需要同步多个或者单个数据库多个或者单个表的数据,canal提供了多实例(Instance)功能让我们可以处理这些业务场景。废话少说,让我们来学习下这块知识点。
2.前期准备
服务名称 |
IP/域名 |
端口 |
zookeeper |
192.168.142.129,192.168.142.130,192.168.142.131 |
2181 |
mysql |
192.168.142.131 |
3306 |
rabbitmq |
192.168.18.230 |
5672 |
2.1RabbitMQ参数
虚拟主机(Virtual hosts):Canal
交换器(Exchanges):exchange.canal
路由key(Routing key):routing.quote、routing.supplier
队列(Queues):quote_example、supplier_example
3.两个实例(Instance)监听相同数据库
先从conf目录下拷贝两份example实例,具体操作命令如下:
//供应商报价实例
cp -r /home/deng/canal/canal.deployer/conf/example /home/deng/canal/canal.deployer/conf/quote_example
//供应商实例
cp -r /home/deng/canal/canal.deployer/conf/example /home/deng/canal/canal.deployer/conf/supplier_example
如图所示:
客户端我们还是沿用上章节MQ(解析两个实例数据),这里不做代码如何解析数据了。
●修改canal.properties配置,把之前创建supplier_example、quote_example两个实例配置到canal.destinations选项去(如果配置集群,记得每个canal服务配置都要修改):
vi conf/canal.properties
canal.destinations = quote_example,supplier_example
并找到RabbitMQ标题栏配置MQ配置:
##################################################
######### RabbitMQ #############
##################################################
rabbitmq.host = 192.168.18.230 --MQ连接地址
rabbitmq.virtual.host = Canal --virtualHost
rabbitmq.exchange = exchange.canal --交换器名称
rabbitmq.username = admin --MQ登录用户名
rabbitmq.password = 123456 --MQ登录密码
rabbitmq.deliveryMode = 2 --投递模式,实现消息持久化:1.非持续性,2.持续性
●两个实例(quote_example、supplier_example)instance.properties配置相同参数(不知道这几个参数是什么含义,可以翻看我之前写的文章或者查看官网):
canal.instance.master.address=192.168.142.131:3306 --数据库连接地址
canal.instance.dbUsername=canal --数据库登录用户名
canal.instance.dbPassword=qwer1234 --数据库登录密码
●修改quote_example. instance.properties配置:
vi conf/quote_example/instance.properties
canal.mq.topic=routing.quote --MQ路由键
canal.instance.filter.regex=ebs_material.supplier_quote --数据解析关注的表(格式:数据库.表)
●修改supplier_example. instance.properties配置
vi conf/supplier_example/instance.properties
canal.mq.topic=routing.supplier --MQ路由键
canal.instance.filter.regex=ebs_material.supplier --数据解析关注的表(格式:数据库.表)
●清空rabbitmq消息,然后执行如下sql语句:
INSERT INTO ebs_material.supplier_quote (PN,Brand,StockQty,SupplierId,CreateTime) VALUES ('LM358DT','TI',10000,1,'2022-02-14 00:00:00');
INSERT INTO ebs_material.supplier (Name,CreateTime) VALUES ('艾睿','2022-02-14 00:00:00');
登录rabbitmq管理后台我们会看到只有两条待消费的消息(supplier_quote和supplier表插入行数据):
4.两个实例(Instance)监听不相同数据库
canal两个实例(Instance)监听不同数据库数据同步,其实也只是把每个实例连接数据库地址等配置修改下就可以了,其他配置跟上面小节基本一样的,想了解可以自行到官网查看,这里就不多说了,请大伙自行配置测试。
5. mysql数据解析关注的和Perl正则表达式
Canal为我们提供了canal.instance.filter.regex与canal.instance.filter.black.regex选项参数来过滤数据库表数据解析,类似黑白名单。常见例子有:
●所有表:.* or .*\\..*
●canal schema下所有表:canal\\..*
●canal下的以canal打头的表:canal\\.canal.*
●canal schema下的一张表:canal\\.test1
●多个规则组合使用:canal\\..*,mysql.test1,mysql.test2 (逗号分隔)
注:多个正则之间以逗号(,)分隔,转义符需要双斜杠(\\)
6.错误处理
如果canal启动时候从日志看到报这个错误:can't find start position for example。有如下解决方法:
●单机
删除meta.dat文件,重启canal,问题解决。
●集群
进入canal对应的zookeeper集群下,删除节点/otter/canal/destinations/实例/1001/cursor,重启canal即可恢复(不懂命令可以到zookeeper官网或者百度查找操作命令)。
参考文献:
Canal Kafka/RocketMQ QuickStart
AdminGuide
(4)Canal多实例使用的更多相关文章
- mysql 开源~canal的深度解读1
一 简介:经过一段时间的研究,对canal有了一些见解 二 配置文件: 1 canal.properties (系统根配置文件) 主要参数列表 canal.properties (系统根配 ...
- canal 配置
参考:https://www.2cto.com/database/201609/547661.html Spring配置 spring配置的原理是将整个配置抽象为两部分: xxxx-instance. ...
- 【Canal源码分析】整体架构
本文详解canal的整体架构. 一.整体架构 说明: server代表一个canal运行实例,对应于一个jvm instance对应于一个数据队列 (1个server对应1..n个instance) ...
- 【Canal源码分析】配置项
本文讲解canal中的一些配置含义. 一.配置加载图 二.配置文件canal.properties 2.1 common参数定义 比如可以将instance.properties的公用参数,抽取放置到 ...
- 转载:阿里canal实现mysql binlog日志解析同步redis
from: http://www.cnblogs.com/duanxz/p/5062833.html 背景 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求.不过早期的数 ...
- 谈谈对Canal(增量数据订阅与消费)的理解
概述 canal是阿里巴巴旗下的一款开源项目,纯Java开发.基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql(也支持mariaDB). 起源:早期,阿里巴巴B2B公司 ...
- 对 Canal (增量数据订阅与消费)的理解
概述 canal是阿里巴巴旗下的一款开源项目,纯Java开发.基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了MySQL(也支持mariaDB). 起源:早期,阿里巴巴B2B公司 ...
- 阿里巴巴开源项目: canal 基于mysql数据库binlog的增量订阅&消费
背景 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求.不过早期的数据库同步业务,主要是基于trigger的方式获取增 量变更,不过从2010年开始,阿里系公司开始逐步的 ...
- canal中间件
简介: 基于数据库增量(模拟MySQL slave的交互协议)日志解析,提供增量数据订阅和消费(客户端与canal建立关系) 安装版本:1.1.0 git 环境需求: jdk1.7以上 mysql开启 ...
随机推荐
- Apache Ant: If 和 Unless
目录 If And Unless If And Unless 从 Ant 1.9.1 起,可以在所有的任务和嵌套的元素上以特别的命名空间添加 if 和 unless 属性. In order to u ...
- Go语言系列之标准库log
Go语言内置的log包实现了简单的日志服务.本文介绍了标准库log的基本使用. 使用Logger log包定义了Logger类型,该类型提供了一些格式化输出的方法.本包也提供了一个预定义的" ...
- SYCOJ4972的幂次方
题目- 2的幂次方 (shiyancang.cn) 递归题 #include<bits/stdc++.h> using namespace std; int k; void f(int n ...
- markdownFormat
对文档编辑主要还是用wps,因为以前毕业论文都是用的它来编排(刚开始用wps毕业论文的时候真的是用的想吐,感觉非常不好用,而且功能太多但对于自己需要的功能又偏偏找不到),用过几次后还觉得用它编辑文 ...
- 求n以内最大的k个素数以及它们的和
本题要求计算并输出不超过n的最大的k个素数以及它们的和. 输入格式: 输入在一行中给出n(10≤n≤10000)和k(1≤k≤10)的值. 输出格式: 在一行中按下列格式输出: 素数1+素数2+-+素 ...
- Android官方文档翻译 七 2.Adding the Action Bar
Adding the Action Bar 增加一个Action Bar(工具栏) The action bar is one of the most important design element ...
- linux 下安装PostgreSql 并配置远程访问
1.官网下载PostgreSql 安装包 (https://www.enterprisedb.com/downloads/postgres-postgresql-downloads) 我下载的是 9. ...
- 【机器学习】kNN
机器学习算法--kNN 目录 机器学习算法--kNN 1. 算法原理 2. 算法实现 2.1 kd-tree构造 2.2 kd-tree查询 2.3 kNN算法实现 3. 算法测试 Ref 1. 算法 ...
- 【记录一个问题】opencl enqueueWriteBuffer()中,cl_bool blocking参数设置无效
err = queue.enqueueWriteBuffer(in_buf, true, 0, bmp_size, bmp_data, NULL, &event); 以上代码中,第二个参数设置 ...
- Go 指针,标识符命名规范及关键字
#### Go 指针,标识符命名规范,关键字,运算符回顾了一下之前写的文章,以及考虑到后期的内容较多, 从这篇开始逐渐增加文章内容; 这篇我们主要学习一Go 中的指针,标识符关键字以及运算符##### ...