大致思路：

　　canal去mysql拉取数据，放在canal所在的节点上，并且自身对外提供一个tcp服务，我们只要写一个连接该服务的客户端，去拉取数据并且指定往kafka写数据的格式就能达到以protobuf的格式往kafka中写数据的要求。

1. 配置canal（/bigdata/canal/conf/canal.properties），然后启动canal，这样就会开启一个tcp服务

2. 写拉取数据的客户端代码

PbOfCanalToKafka

package cn._51doit.flink.canal;

import cn._51doit.proto.OrderDetailProto;

import com.alibaba.google.common.base.CaseFormat;

import com.alibaba.otter.canal.client.CanalConnector;

import com.alibaba.otter.canal.client.CanalConnectors;

import com.alibaba.otter.canal.protocol.CanalEntry;

import com.alibaba.otter.canal.protocol.Message;

import org.apache.kafka.clients.producer.KafkaProducer;

import org.apache.kafka.clients.producer.ProducerRecord;

import java.net.InetSocketAddress;

import java.util.HashMap;

import java.util.List;

import java.util.Map;

import java.util.Properties;

public class PbOfCanalToKafka {

    public static void main(String[] args) throws Exception {

        CanalConnector canalConnector = CanalConnectors.newSingleConnector((new InetSocketAddress("192.168.57.12", 11111)), "example", "canal", "canal123");

        // 1 配置参数

        Properties props = new Properties();

        //连接kafka节点

        props.setProperty("bootstrap.servers", "feng05:9092,feng06:9092,feng07:9092");

        props.setProperty("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        props.setProperty("value.serializer", "org.apache.kafka.common.serialization.ByteArraySerializer");

        KafkaProducer<String,  byte[]> producer = new KafkaProducer<String,  byte[]>(props);

        while (true) {

            //建立连接

            canalConnector.connect();

            //订阅bigdata数据库下的所有表

            canalConnector.subscribe("doit.orderdetail");

            //每100毫秒拉取一次数据

            Message message = canalConnector.get(10);

            if (message.getEntries().size() > 0) {

//                System.out.println(message);

                List<CanalEntry.Entry> entries = message.getEntries();

                for (CanalEntry.Entry entry : entries) {

                    //获取表名

                    String tableName = entry.getHeader().getTableName();

                    CanalEntry.RowChange rowChange  = CanalEntry.RowChange.parseFrom(entry.getStoreValue());

                    List<CanalEntry.RowData> rowDatasList = rowChange.getRowDatasList();

//                    System.out.println(rowDatasList);

                    //判断对数据库操作的类型，这里只采集INSERT/update的数据

                    OrderDetailProto.OrderDetail.Builder bean = OrderDetailProto.OrderDetail.newBuilder();

                    CanalEntry.EventType eventType = rowChange.getEventType();

                    if (eventType == CanalEntry.EventType.INSERT || eventType == CanalEntry.EventType.UPDATE) {

                        for (CanalEntry.RowData rowData : rowDatasList) {

                            List<CanalEntry.Column> afterColumnsList = rowData.getAfterColumnsList();

                            System.out.println("======================打印afterColumnsList==============================");

                            System.out.println(afterColumnsList);

                            Map<String, String> kv = new HashMap<String, String>();

                            for (CanalEntry.Column column : afterColumnsList) {

                                String propertyName = CaseFormat.LOWER_UNDERSCORE.to(CaseFormat.LOWER_CAMEL, column.getName());

                                kv.put(propertyName, column.getValue());

                            }

                            // 设置属性

                            bean.setAmount(Integer.parseInt(kv.get("amount")));

                            bean.setMoney(Double.parseDouble(kv.get("money")));

                            bean.setOrderId(Long.parseLong(kv.get("orderId")));

                            bean.setCreateTime(kv.get("createTime"));

                            bean.setUpdateTime(kv.get("updateTime"));

                            bean.setId(Integer.parseInt(kv.get("id")));

                            bean.setSku(Long.parseLong(kv.get("sku")));

                            bean.setCategoryId(Integer.parseInt(kv.get("categoryId")));

                            //将数据转成JSON格式，然后用Kafka的Producer发送出去

                            byte[] bytes = bean.build().toByteArray();

                            ProducerRecord<String, byte[]> record = new ProducerRecord<>(tableName, bytes);

                            producer.send(record);

                        }

                    }

                }

            }

        }

    }

}

注意：数据被拉取到canal的格式不为json（若是不开启tcp服务，直接将数据发送给kafka，则数据在kafka中的格式为json），OrderDetailProto的生成见flink实时项目day07

Message

Message[id=1,entries=[header {

  version: 1

  logfileName: "mysql-bin.000002"

  logfileOffset: 6669

  serverId: 1

  serverenCode: "UTF-8"

  executeTime: 1594134782000

  sourceType: MYSQL

  schemaName: ""

  tableName: ""

  eventLength: 31

}

entryType: TRANSACTIONEND

storeValue: "\022\0042179"

, header {

  version: 1

  logfileName: "mysql-bin.000002"

  logfileOffset: 6765

  serverId: 1

  serverenCode: "UTF-8"

  executeTime: 1594147469000

  sourceType: MYSQL

  schemaName: ""

  tableName: ""

  eventLength: 80

}

entryType: TRANSACTIONBEGIN

storeValue: " A"

, header {

  version: 1

  logfileName: "mysql-bin.000002"

  logfileOffset: 6911

  serverId: 1

  serverenCode: "UTF-8"

  executeTime: 1594147469000

  sourceType: MYSQL

  schemaName: "doit"

  tableName: "orderdetail"

  eventLength: 82

  eventType: INSERT

  props {

    key: "rowsCount"

    value: "1"

  }

}

entryType: ROWDATA

storeValue: "\b\177\020\001P\000b\332\002\022\'\b\000\020\373\377\377\377\377\377\377\377\377\001\032\002id \001(\0010\000B\00212R\nbigint(20)\0220\b\001\020\373\377\377\377\377\377\377\377\377\001\032\border_id \000(\0010\000B\00529002R\nbigint(20)\022#\b\002\020\004\032\vcategory_id \000(\0010\000B\0012R\aint(11)\022#\b\003\020\f\032\003sku \000(\0010\000B\00520001R\vvarchar(50)\022!\b\004\020\b\032\005money \000(\0010\000B\0062000.0R\006double\022\036\b\005\020\004\032\006amount \000(\0010\000B\0012R\aint(11)\0227\b\006\020]\032\vcreate_time \000(\0010\000B\0232020-07-01 20:19:08R\ttimestamp\0227\b\a\020]\032\vupdate_time \000(\0010\000B\0232020-07-02 20:19:13R\ttimestamp"

, header {

  version: 1

  logfileName: "mysql-bin.000002"

  logfileOffset: 6993

  serverId: 1

  serverenCode: "UTF-8"

  executeTime: 1594147469000

  sourceType: MYSQL

  schemaName: ""

  tableName: ""

  eventLength: 31

}

entryType: TRANSACTIONEND

storeValue: "\022\0042197"

],raw=false,rawEntries=[]]

在mysql表orderdetail表中添加了一行

rowDatasList

[afterColumns {

  index: 0

  sqlType: -5

  name: "id"

  isKey: true

  updated: true

  isNull: false

  value: "13"

  mysqlType: "bigint(20)"

}

afterColumns {

  index: 1

  sqlType: -5

  name: "order_id"

  isKey: false

  updated: true

  isNull: false

  value: "29002"

  mysqlType: "bigint(20)"

}

afterColumns {

  index: 2

  sqlType: 4

  name: "category_id"

  isKey: false

  updated: true

  isNull: false

  value: "3"

  mysqlType: "int(11)"

}

afterColumns {

  index: 3

  sqlType: 12

  name: "sku"

  isKey: false

  updated: true

  isNull: false

  value: "22333"

  mysqlType: "varchar(50)"

}

afterColumns {

  index: 4

  sqlType: 8

  name: "money"

  isKey: false

  updated: true

  isNull: false

  value: "1111.0"

  mysqlType: "double"

}

afterColumns {

  index: 5

  sqlType: 4

  name: "amount"

  isKey: false

  updated: true

  isNull: false

  value: "3"

  mysqlType: "int(11)"

}

afterColumns {

  index: 6

  sqlType: 93

  name: "create_time"

  isKey: false

  updated: true

  isNull: false

  value: "2020-07-01 22:02:50"

  mysqlType: "timestamp"

}

afterColumns {

  index: 7

  sqlType: 93

  name: "update_time"

  isKey: false

  updated: true

  isNull: false

  value: "2020-07-02 22:02:54"

  mysqlType: "timestamp"

}

]

afterColumnsList

[index: 0

sqlType: -5

name: "id"

isKey: true

updated: false

isNull: false

value: "12"

mysqlType: "bigint(20)"

, index: 1

sqlType: -5

name: "order_id"

isKey: false

updated: false

isNull: false

value: "29002"

mysqlType: "bigint(20)"

, index: 2

sqlType: 4

name: "category_id"

isKey: false

updated: false

isNull: false

value: "2"

mysqlType: "int(11)"

, index: 3

sqlType: 12

name: "sku"

isKey: false

updated: true

isNull: false

value: "20011"

mysqlType: "varchar(50)"

, index: 4

sqlType: 8

name: "money"

isKey: false

updated: false

isNull: false

value: "2000.0"

mysqlType: "double"

, index: 5

sqlType: 4

name: "amount"

isKey: false

updated: false

isNull: false

value: "2"

mysqlType: "int(11)"

, index: 6

sqlType: 93

name: "create_time"

isKey: false

updated: false

isNull: false

value: "2020-07-01 20:19:08"

mysqlType: "timestamp"

, index: 7

sqlType: 93

name: "update_time"

isKey: false

updated: false

isNull: false

value: "2020-07-02 20:19:13"

mysqlType: "timestamp"

]

3. 若是想从kafka中读取protobuf格式的数据，则需要自定义序列化器，这里以flink读取盖格师的数据为例

　　具体见flink实时项目day07

canal从mysql拉取数据，并以protobuf的格式往kafka中写数据的更多相关文章

  1. flink04 -----1 kafkaSource 2. kafkaSource的偏移量的存储位置 3 将kafka中的数据写入redis中去 4 将kafka中的数据写入mysql中去

    1. kafkaSource 见官方文档 2. kafkaSource的偏移量的存储位置 默认存在kafka的特殊topic中,但也可以设置参数让其不存在kafka的特殊topic中   3   将k ...

  2. Linux启动kettle及linux和windows中kettle往hdfs中写数据(3)

    在xmanager中的xshell运行进入图形化界面 sh spoon.sh 新建一个job

  3. IDEA中Spark往Hbase中写数据

    import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.io.ImmutableBytesWr ...

  4. Kafka消费者 从Kafka中读取数据并写入文件

    Kafka消费者 从Kafka中读取数据 最近有需求要从kafak上消费读取实时数据,并将数据中的key输出到文件中,用于发布端的原始点进行比对,以此来确定是否传输过程中有遗漏数据. 不废话,直接上代 ...

  5. Flink 使用（一）——从kafka中读取数据写入到HBASE中

    1.前言 本文是在<如何计算实时热门商品>[1]一文上做的扩展,仅在功能上验证了利用Flink消费Kafka数据,把处理后的数据写入到HBase的流程,其具体性能未做调优.此外,文中并未就 ...

  6. git拉取远程分支并创建本地分支和Git中从远程的分支获取最新的版本到本地

    git拉取远程分支并创建本地分支 一.查看远程分支 使用如下Git命令查看所有远程分支: git branch -r 二.拉取远程分支并创建本地分支 方法一 使用如下命令: git checkout ...

  7. Kafka生产者-向Kafka中写入数据

    (1)生产者概览 (1)不同的应用场景对消息有不同的需求,即是否允许消息丢失.重复.延迟以及吞吐量的要求.不同场景对Kafka生产者的API使用和配置会有直接的影响. 例子1:信用卡事务处理系统,不允 ...

  8. mapreduce 只使用Mapper往多个hbase表中写数据

    只使用Mapper不使用reduce会大大减少mapreduce程序的运行时间. 有时候程序会往多张hbase表写数据. 所以有如题的需求. 下面给出的代码,不是可以运行的代码,只是展示driver中 ...

  9. 当From窗体中数据变化时，使用代码获取数据库中的数据然后加入combobox中并且从数据库中取得最后的结果

    private void FormLug_Load(object sender, EventArgs e) { FieldListLug.Clear();//字段清除 DI = double.Pars ...

随机推荐

  1. centos 7 安装nfs 实现主机目录共享

    多台服务器之间共享目录,实现每个服务器进入目录看到的内容都一样 服务器A 服务器B 1.服务器A和服务器B,安装 nfs-utils和rpcbind #yum install -y nfs-utils ...

  2. 解决一个C#中定时任务被阻塞问题

    解决一个C#中定时任务被阻塞问题 目录 解决一个C#中定时任务被阻塞问题 1.摘要 2.C#中定时任务的最简方法 3.定时任务阻塞现象 4.阻塞现象原因分析 5.问题解决 1.摘要 本文会介绍一个C# ...

  3. macos command 'clang' failed with exit status 1

    export CC=$(which gcc)export CXX=$(which g++)pip install fbprophet CC=clang pip install gevent

  4. building sasl.wrapper extention

    yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64 pip install pyhs2 ref: https://www.o ...

  5. PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilder，阿里MAVEN仓库地址更新为了https问题

    http://maven.aliyun.com/nexus/content/groups/public/,仓库地址更新为了https,所以下载时需要ssl认证,我们可以忽略ssl检查导致的问题,我们可 ...

  6. IDEA maven Run Maven 启动方式

    首先想要使用 Run Maven 启动需要在IDEA设置里找到plugins  在plugins窗口下面找到Browse Repositories   打开Browse Repositories 下载 ...

  7. [luogu7078]贪吃蛇

    结论:若$a_{n}-a_{1}\ge a_{2}$,那么一定会吃掉 证明:分类讨论,若$a_{n-1}$也吃掉了$a_{2}$,就说明$a_{n-1}$之后不会被吃掉,而$a_{n-1}-a_{2} ...

  8. git新手配置（ios环境）

    ios环境,初步了解git是个什么东西,使用过svn相关软件最佳,否则可以先补一下git的相关概念和用处,相关教程:https://www.liaoxuefeng.com/wiki/896043488 ...

  9. Nocalhost 为 KubeSphere 提供更强大的云原生开发环境

    作者简介 张海立(驭势科技云平台研发总监):开源爱好者,云原生社区上海站 PMC 成员,KubeSphere Ambassador:日常云原生领域工作涉及 Kubernetes.DevOps.可观察性 ...

  10. Atcoder Grand Contest 001 D - Arrays and Palindrome（构造）

    Atcoder 题面传送门 洛谷题面传送门 又是道思维题,又是道把我搞自闭的题. 首先考虑对于固定的 \(a_1,a_2,\dots,a_n;b_1,b_2,\dots,b_m\) 怎样判定是否合法, ...