kafka connector
Kafka Connect
是一种用于在 Kafka 和其他系统之间可扩展的、可靠的的流式传输数据的工具。它使得能偶快速定义将大量数据集合移入和移除 kafka 连接器变得简单。
kafka connect 可以从数据库或者应用程序服务器收到数据到 kafka topic ,使数据可以用于低延迟的流处理。导出作业可以将数据从 kakfa topic 传输到二次存储和查询系统,或者传递
到批处理系统以进行离线分析
Kafka connect 概念
- Source: 负责导入数据到kafka
- Sink 负责从kafka 导出数据
- Connectors 通过管理任务来协调数据流的高级抽象
- Tasks 数据写入 kafka 和从 Kafka 中读取具体实现
- workers 运行 connectors 和tasks 的进程
- Converters : kafka connet 和其他存储系统直接发送或者接受数据之前转换数据
- Transforms : 一种轻量级数据调整工具
工作模式
kafka connect 有 2 中工作模式
- standalone: 在 standalone 模式中,所有的worker 都在一个独立的进程中完成
- distributed : distributed 模式具有高扩展性,以及提供自动容错机制。你可以使用一个 group.id 在启动很多worker 进行,在有效的 worker 进程中他们会自动的去协调执行 connector 和task.
- GET /connectors 返回所有正在运行的 connector 的信息
- POST /connectors 新建一个 connectors,必须是 json 格式并且需要包含 name 和 config 字段,name 是 connector 的名字,config 是 json 格式,包含connector 的配置信息
- GET /connectors/{name} 获取指定 connectir 的信息
- GET /connectors/{name}/config 囧去指定connector 的配置信息
- GET /connectors/{name}/status 获取状态,是否允许,是否报错等
- GET /connectors/{name}/tasks 获取正在运行的 task
- GET /connectors/{name}/tasks/status 获取tasks 状态
- PUT /connectors/{name}/pause 暂停
- PUT /connectors/{name}/resume 恢复被暂停的 connector
- POST /connectors/{name}/restart 重启
- POST /connectors/{name}/tasks/{taskid}/restart 重启taks
- DELETE /connectors/{name} 删除connector ,停止所有task ,并删除配置
参考:https://my.oschina.net/hnrpf/blog/1555915
kafka connector的更多相关文章
- Flink Kafka Connector 与 Exactly Once 剖析
Flink Kafka Connector 是 Flink 内置的 Kafka 连接器,它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka T ...
- debezium、kafka connector 解析 mysql binlog 到 kafak
目的: 需要搭建一个可以自动监听MySQL数据库的变化,将变化的数据捕获处理,此处只讲解如何自动捕获mysql 中数据的变化 使用的技术 debezium :https://debezium.io/d ...
- 《Flink SQL任务自动生成与提交》后续:修改flink源码实现kafka connector BatchMode
目录 问题 思路 kafka参数问题 支持batchmode的问题 参数提交至kafkasource的问题 group by支持问题 实现 编译 测试 因为在一篇博文上看到介绍"汽车之家介绍 ...
- kafka connector 使用总结以及自定义connector开发
Kafaka connect 是一种用于在Kafka和其他系统之间可扩展的.可靠的流式传输数据的工具.它使得能够快速定义将大量数据集合移入和移出Kafka的连接器变得简单.Kafka Connect可 ...
- Kafka Connector无法启动的原因
如图:启动Connector的时候一直提示报错. 后面找了一下网上发现原因, 基本原因就是Kafka的lib包和插件包都添加到ClassPath里面了 而这两地方都有Kafka-Client的jar包 ...
- Kafka connector (kafka核心API)
前言 Kafka Connect是一个用于将数据流输入和输出Kafka的框架.Confluent平台附带了几个内置connector,可以使用这些connector进行关系数据库或HDFS等常用系统到 ...
- Confluent之Kafka Connector初体验
概述 背景 Apache Kafka 是最大.最成功的开源项目之一,可以说是无人不知无人不晓,在前面的文章<Apache Kafka分布式流处理平台及大厂面试宝典>我们也充分认识了Kafk ...
- Kafka分布式集群搭建
环境说明 kafka自0.9之后增加了connector的特性.本文主要是搭建一个分布式的kafka connector和broker. 本文用了三台机器进行部署,使用centos 6.6. host ...
- Kafka connect快速构建数据ETL通道
摘要: 作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 业余时间调研了一下Kafka connect的配置和使用,记录一些自己的理解和心得,欢迎 ...
随机推荐
- resize2fs: 报错
报错如下 [root@localhost ~]# resize2fs /dev/mapper/centos-root resize2fs (-Dec-) resize2fs: Bad magic nu ...
- chrome firefox浏览器屏蔽百度热搜
我是原文 操作 点击拦截元素,然后选择页面元素,添加
- PHP无法获取.env文件设置的值
EGPCS指代的是什么? 指的是可以从服务器配置和请求的信息中获取的信息,它包括了environment(环境).GET.POST.cookie.server,对应的全局数组:$_ENV.$_ ...
- JS字符串的不可变性
js中的字符串特性->不可变性,字符串的值是不可变的 1.改变字符串中的字符 var str = "hello"; str[1] = "W"; conso ...
- servlet3 使用
一 servlet类 @WebServlet() 用于注释servlet类 参数一般直接设置value外部访问名,省略value 参数类型 value 参数的值就是外部 ...
- buuctf misc 刷题记录
1.金三胖 将gif分离出来. 2.N种方法解决 一个exe文件,果然打不开,在kali里分析一下:file KEY.exe,ascii text,先txt再说,base64 图片. 3.大白 crc ...
- 优化 : Oracle数据库Where条件执行顺序 及Where子句的条件顺序对性能的影响
.Oracle数据库Where条件执行顺序: 由于SQL优化起来比较复杂,并且还会受环境限制,在开发过程中,写SQL必须必须要遵循以下几点的原则: 1.ORACLE采用自下而上的顺序解析WHERE子句 ...
- Sql Server跨服务器操作数据
var serversSql = "select count(*) count from sys.servers WHERE name='ITSV'"; var result = ...
- Python(二):做题函数记录
一,10进制 转 2,8,16进制 bin(<int>) ,oct(<int>),hex(<int>) 输出示例 '0b10011010010' '0o2322' ...
- 树链剖分 (ZQU1607)
这道题与模板之间,多了个确定哪个为根的操作: 这道题有技巧,并不需要真正去建立以某个节点为根的树 关于路径的操作,无论以哪个点为根,得出的答案无影响: 关于对子节点进行操作的,有几种情况, 当查询节点 ...