Kafka 简要使用说明

参考文章

Kafka背景及架构介绍http://www.infoq.com/cn/articles/kafka-analysis-part-1

Apache kafka 工作原理介绍https://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/

Kafka集群操作指南 http://blog.jobbole.com/99195/

kafka操作 http://www.cnblogs.com/wanghongjun/p/3647890.html

概念: Partition, consumer group, rebalance

在使用中, 如果要保证消费 Kafka 的数据和生产数据的次序严格一致,一个 Topic 只能设置了一个 Partition. 一个 partition 对应着磁盘的一个目录, 所以如果设置成一个 partition 要求数据的容量不能超过单机磁盘空间, 同时因为是单机读写, 吞吐能力会变差.

一个 Topic 可以被多个 consumer group 重复消费, 这些 consumer group 之间是完全隔离的. 一个 consumer group 可以包含一个或多个 consumer, 但消费者个数不应该多于 partition 个数. 如果一个consumer group包含多个 consumer, 它们将均分消费这个 topic.

一句话, 全序的配置方式是, 每个 topic 对应一个 partition, 每个 consumer group 也只能有一个 consumer.

Topic 除了可以设置 Partition 数量外, 还可以设置 ReplicationFactor 复制份数, Partition 是用来均分 topic 的数据量, Replica 是为每个 Partition 作拷贝的, 提高集群的可用性.

Partition/Replica和broker的关系是:

如果一个集群有三个 broker 服务器(分别为 120/121/122), Topic1 共分了6个 Partition, ReplicationFactor 设置为2, 针对每个 Partition 每个 broker 的作用是不同的, 可用命令kafka-topics.sh --describe 查看, 下面结果:

	Topic: Topic1	Partition: 0	Leader: 121	Replicas: 121,122
Topic: Topic1 Partition: 1 Leader: 122 Replicas: 122,120
Topic: Topic1 Partition: 2 Leader: 120 Replicas: 120,121
Topic: Topic1 Partition: 3 Leader: 121 Replicas: 121,120
Topic: Topic1 Partition: 4 Leader: 122 Replicas: 122,121
Topic: Topic1 Partition: 5 Leader: 120 Replicas: 120,122

rebalance: 如果 partition 数量不变(供给侧), consumer group下的 consumer 数量不变(消费侧), Kafaka 是不会做 rebalance 的,. 但如果发生如下情形, Kafaka 就要为 consumer 重新分配 partition :

  • partition 数量改变.
  • consumer group 中新增了 consumer.
  • Kafka broker 检测到某个 consumer 已经没有心跳, 相当于 consumer 数量减少

新建 group 如何消费完整的数据?

经常碰到一个场景是, 因为测试或其他需要, 我们想重新消费一个 topic 数据, 操作很简单, 为消费者设定一个新的 consumer group id, 同时设置 auto.offset.reset 为 earliest 即可.

为什么需要将 auto.offset.reset 特意设置为 earliest 呢? 因为, 默认的设置是 latest, 对于一个新的 group id, Kafka 在 ZooKeeper 中找不到它之前的 offset, 所有历史的数据都无法被消费, 只有新的数据才会被消费到; 设置为 earliest 就能从最早的 offset 开始消费, Kafka 默认会清空7天前的数据, 也就是说能消费最近7天的所有数据.

几个重要的属性

参数 含意 Kafka 缺省值 Kettle Kafka consumer推荐值
topic 要消费哪个topic的数据
group.id 消费者端自行设定一个group id
max consumption duration 消费者持续消费Kafka时长 180 000
session.timeout.ms 如果 broker 超过 session.timeout.ms 设定值还没有收到消费者的心跳汇报, 就认为消费者已经不在线, 之后 broker 安排做 consumer 之间的 rebalance 10 000 30 0000
heartbeat.interval.ms 消费者主动向 broker 汇报存活的间隔时长, 取值应该是<= session.timeout.ms的1/3 3 000 3 000
request.timeout.ms 消费者消费数据的请求超时值 30 000 400 000
auto.offset.reset 消费者如何读取 offset, 有三个取值 earliest, latest, none latest 按需
enable.auto.commit 如果需要 Kafaka 自动更新消费的 offset(周期性更新), 设置为 true, 如果由消费者自行更新的话, 可以设置为 false. 推荐使用自动提交, 可以结合 auto.commit.interval.ms 不断调优; 如果是手动提交的话, 通常仅仅在批次消费完毕后才提交, 吞吐量是很高, 但有可能在commit 之前系统崩溃, 就会造成大量数据的重复消费. true
auto.commit.interval.ms enable.auto.commit 开启情况下, 用来控制多久commit offset值, 间隔越大吞吐量越大, 但如果 commit 失败后重复消费的量也越大. 5 000

Kafka 监控的 GUI 工具(基于 Eclipse)

网址 http://www.kafkatool.com/features.html, 个人使用免费, 可以查看consumer的offset, 消息文本信息.

Kafka 简要使用说明的更多相关文章

  1. CSDN CODE平台,中国版Github简要使用说明

    CSDN CODE平台,中国版Github简要使用说明!(多图慎入)   楼主说 以前一直看到别人在用github发布自己的代码,各种牛逼,各种羡慕嫉妒恨.最后终于受不了了,也去注册了一个,注册到没什 ...

  2. kafka connect 使用说明

    KAFKA CONNECT 使用说明 一.概述 kafka connect 是一个可扩展的.可靠的在kafka和其他系统之间流传输的数据工具.简而言之就是他可以通过Connector(连接器)简单.快 ...

  3. CSDN CODE平台,中国版Github简要使用说明!(多图慎入)

    楼主说 以前一直看到别人在用github发布自己的代码,各种牛逼,各种羡慕嫉妒恨.最后终于受不了了,也去注册了一个,注册到没什么难度.然后就没有然后了... 完全看不懂,不知道怎么用. 一次偶然的机会 ...

  4. Kafka简要图解

    LinkedIn贡献的分布式消息系统 - 请参考这里 kafka集群:producer写入消息,consumer读取消息 消息分为不同主题,每个主题可以分为多个partition(并行),每个part ...

  5. supervisor简要使用说明

    安装方法(之一) pip install supervisor 主要组件 supervisord: 用于控制启用和退出子进程,记录子进程的标准输出和标准错误输出. supervisorctl: she ...

  6. JProfiler 简要使用说明

    1.简介 JProfiler是一个ALL-IN-ONE的JAVA剖析工具,可以方便地监控Java程序的CPU.内存使用状况,能够检查垃圾回收.分析性能瓶颈. 本说明文档基于JProfiler 9.2编 ...

  7. tftp 简要使用说明

    yum 安装:tftp    tftp-server (2)启动tftp   CentOS 6 service xinetd restart chkconfig tftp on     CentOS ...

  8. kafka知识点详解

    第一部分:kafka概述 一.定义(消息引擎系统) 一句话概括kafka的核心功能就是:高性能的消息发送与高性能的消息消费. kafka刚推出的时候是以消息引擎的身份出现的,它具有强大的消息传输效率和 ...

  9. 高吞吐量消息系统—kafka

    现在基本上大数据的场景中都会有kafka的身影,那么为什么这些场景下要用kafka而不用其他传统的消息队列呢?例如rabbitmq.主要的原因是因为kafka天然的百万级TPS,以及它对接其他大数据组 ...

随机推荐

  1. Android 播放Gif 动画

    在Android 中是不支持直接使用Gif 图片关联播放帧动画,如下动画在Android 中是无法播放的: Android 提供了另外一种解决的办法,就是使用AnimationDrawable 这一函 ...

  2. 如何在TableLayout中均匀拉伸columns?

    本文选自StackOverflow(简称:SOF)精选问答汇总系列文章之一,本系列文章将为读者分享国外最优质的精彩问与答,供读者学习和了解国外最新技术.本文主要解决columns难以均匀拉伸的问题,不 ...

  3. attr prop jquery关于获取DOM属性值的两个函数

    $('#domid').attr('acitve') $('#domid').prop('checked') // 在使用JQUERY获取DOM元素的属性时,有两个函数,attr 和 prop < ...

  4. tvs二极管应用电路

    瞬态电压抑制器(TVS)具有响应时间快.瞬态功率大.漏电流低.击穿电压偏差小.箝位电压较易控制.无损坏极限.体积小等优点.目前已广泛应用于计算机系统.通讯设备.交/直流电源.汽车.家用电器.仪器仪表等 ...

  5. Centos 6.5 安装和使用docker

    基于本人一贯的习惯,关于“某某某是什么”这样的问题,请百度吧,会有更专业的人士,会比我说的更详细更深,这里我只给出本人亲历的安装和使用过程. 1.安装 先检查服务器环境,docker要求操作系统Cen ...

  6. 奇怪的跨域访问:No 'Access-Control-Allow-Origin' header

    代码是几个月前写的,之前的几个月一直运行正常. 可今天使用的时候运行失败了,提示:No 'Access-Control-Allow-Origin' header 使用 chrome.firefox 都 ...

  7. 记录EXCEL格式和TXT文本格式之间的互转

    EXCEL格式转变成TXT文本格式 1.打开execl文档,点击文件另存为 2.选择txt保存 3.重命名文档,打开该txt文档 4.按Ctrl+H,将文档中空格转换成其他分割符,单击确定 TXT格式 ...

  8. 斯坦福大学公开课机器学习: advice for applying machine learning | deciding what to try next(revisited)(针对高偏差、高方差问题的解决方法以及隐藏层数的选择)

    针对高偏差.高方差问题的解决方法: 1.解决高方差问题的方案:增大训练样本量.缩小特征量.增大lambda值 2.解决高偏差问题的方案:增大特征量.增加多项式特征(比如x1*x2,x1的平方等等).减 ...

  9. linux系统调用之用户管理

    getuid 获取用户标识号 setuid 设置用户标志号 getgid 获取组标识号 setgid 设置组标志号 getegid 获取有效组标识号 setegid 设置有效组标识号 geteuid ...

  10. alias命令使用

    alias 别名 增加别名 alias vi=vim alias api='sudo apt-get install' alias apr='sudo apt-get remove' alias tz ...