Kafka Connect

是一种用于在 Kafka 和其他系统之间可扩展的、可靠的的流式传输数据的工具。它使得能偶快速定义将大量数据集合移入和移除 kafka 连接器变得简单。

kafka connect 可以从数据库或者应用程序服务器收到数据到 kafka topic ,使数据可以用于低延迟的流处理。导出作业可以将数据从 kakfa topic 传输到二次存储和查询系统,或者传递

到批处理系统以进行离线分析

Kafka connect 概念

  • Source: 负责导入数据到kafka
  • Sink 负责从kafka 导出数据
  • Connectors 通过管理任务来协调数据流的高级抽象
  • Tasks 数据写入 kafka 和从 Kafka 中读取具体实现
  • workers 运行 connectors 和tasks 的进程
  • Converters : kafka connet 和其他存储系统直接发送或者接受数据之前转换数据
  • Transforms : 一种轻量级数据调整工具

工作模式

kafka connect 有 2 中工作模式

  1. standalone: 在 standalone 模式中,所有的worker 都在一个独立的进程中完成
  2. distributed : distributed 模式具有高扩展性,以及提供自动容错机制。你可以使用一个 group.id 在启动很多worker 进行,在有效的 worker 进程中他们会自动的去协调执行 connector 和task.
  3. GET /connectors 返回所有正在运行的 connector 的信息
  4. POST /connectors 新建一个 connectors,必须是 json 格式并且需要包含 name 和 config 字段,name 是 connector 的名字,config 是 json 格式,包含connector 的配置信息
  5. GET /connectors/{name} 获取指定 connectir 的信息
  6. GET /connectors/{name}/config  囧去指定connector 的配置信息
  7. GET /connectors/{name}/status  获取状态,是否允许,是否报错等
  8. GET /connectors/{name}/tasks 获取正在运行的 task
  9. GET /connectors/{name}/tasks/status 获取tasks 状态
  10. PUT /connectors/{name}/pause 暂停
  11. PUT /connectors/{name}/resume 恢复被暂停的 connector
  12. POST /connectors/{name}/restart 重启
  13. POST /connectors/{name}/tasks/{taskid}/restart  重启taks
  14. DELETE /connectors/{name}  删除connector ,停止所有task ,并删除配置

参考:https://my.oschina.net/hnrpf/blog/1555915

kafka connector的更多相关文章

  1. Flink Kafka Connector 与 Exactly Once 剖析

    Flink Kafka Connector 是 Flink 内置的 Kafka 连接器,它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka T ...

  2. debezium、kafka connector 解析 mysql binlog 到 kafak

    目的: 需要搭建一个可以自动监听MySQL数据库的变化,将变化的数据捕获处理,此处只讲解如何自动捕获mysql 中数据的变化 使用的技术 debezium :https://debezium.io/d ...

  3. 《Flink SQL任务自动生成与提交》后续:修改flink源码实现kafka connector BatchMode

    目录 问题 思路 kafka参数问题 支持batchmode的问题 参数提交至kafkasource的问题 group by支持问题 实现 编译 测试 因为在一篇博文上看到介绍"汽车之家介绍 ...

  4. kafka connector 使用总结以及自定义connector开发

    Kafaka connect 是一种用于在Kafka和其他系统之间可扩展的.可靠的流式传输数据的工具.它使得能够快速定义将大量数据集合移入和移出Kafka的连接器变得简单.Kafka Connect可 ...

  5. Kafka Connector无法启动的原因

    如图:启动Connector的时候一直提示报错. 后面找了一下网上发现原因, 基本原因就是Kafka的lib包和插件包都添加到ClassPath里面了 而这两地方都有Kafka-Client的jar包 ...

  6. Kafka connector (kafka核心API)

    前言 Kafka Connect是一个用于将数据流输入和输出Kafka的框架.Confluent平台附带了几个内置connector,可以使用这些connector进行关系数据库或HDFS等常用系统到 ...

  7. Confluent之Kafka Connector初体验

    概述 背景 Apache Kafka 是最大.最成功的开源项目之一,可以说是无人不知无人不晓,在前面的文章<Apache Kafka分布式流处理平台及大厂面试宝典>我们也充分认识了Kafk ...

  8. Kafka分布式集群搭建

    环境说明 kafka自0.9之后增加了connector的特性.本文主要是搭建一个分布式的kafka connector和broker. 本文用了三台机器进行部署,使用centos 6.6. host ...

  9. Kafka connect快速构建数据ETL通道

    摘要: 作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 业余时间调研了一下Kafka connect的配置和使用,记录一些自己的理解和心得,欢迎 ...

随机推荐

  1. js的变量(01)

    变量的声明用的修饰符 var ,let ,const var是普通变量      var   变量名  = 变量值         可以重复定义可以多次修改 let是es6新加的语法   let 变量 ...

  2. 网页格式gbk转utf-8【python requests】

    resp = requests.get(url) resp.content 是str类型 resp.text是unicode类型 如果返回的中文使用gbk编码,需要转换成utf-8的时候: resp. ...

  3. Vue-cli3 项目配置 Vue.config.js( 代替vue-cli2 build config)

    Vue-cli3 搭建的项目 界面相对之前较为简洁 之前的build和config文件夹不见了,那么应该如何配置 如webpack等的配那 只需要在项目的根目录下新建 vue.config.js 文件 ...

  4. think PHP5中,模板、控制器、JavaScript的url跳转重定向方法

    php控制器中的跳转: 1, header()函数是PHP中进行页面跳转的一种十分简单的方法.主要功能是将HTTP协议标头(header)输出到浏览器. header("Location: ...

  5. Linux之Socket编程

    1.什么是Socket? socket起源于Unix,而Unix/Linux基本哲学之一就是“一切皆文件”,都可以用“打开open –> 读写write/read –> 关闭close”模 ...

  6. 计算几何-Ang-Rad-Vector

    This article is made by Jason-Cow.Welcome to reprint.But please post the article's address. 旋转,跳跃,梦境 ...

  7. Javascript模块化编程之CommonJS,AMD,CMD,UMD模块加载规范详解

    JavaSript模块化 在了解AMD,CMD规范前,还是需要先来简单地了解下什么是模块化,模块化开发?     模块化是指在解决某一个复杂问题或者一系列的杂糅问题时,依照一种分类的思维把问 题进行系 ...

  8. Go_type

    1. type的定义和使用 Go语言支持函数式编程,可以使用高阶编程语法.一个函数可以作为另一个函数的参数,也可以作为另一个函数的返回值,那么在定义这个高阶函数的时候,如果函数的类型比较复杂,我们可以 ...

  9. Python常用数据类型转换

    常用的数据类型转换 目标 了解类型转换的作用 掌握常用的类型转换 函数 说明 int(x [,base ]) 将x转换为一个整数 long(x [,base ]) 将x转换为一个长整数 float(x ...

  10. 使用php-vmstat遇到的麻烦

    workerman-vmstat是一个基于workerman的扩展,用于监听服务器应用对内存.cpu消耗的友好的查看功能,具体介绍可以去git上看:    https://github.com/wal ...