Kafka 0.10.1.1 特点
1.Consumer优化:心跳线程可作为后台线程,提交offset,剥离出poll
函数
问题:0.10新设计的consumer是单线程的,提交offset是在poll中。本次的poll调用,提交上次poll的心跳和offset值。
The options for the user at the moment to handle this problem are the following:
- Increase the session timeout to give more time for record processing.
- Reduce the number of records handled on each iteration with max.poll.records.
0.10.1.1 推荐的配置
session.timeout.ms: 10s
max.poll.interval.ms: 5min
max.poll.records: 500
2.log retention 日志保留
粒度更细
- old:根据segment的创建时间来删除
- new:根据message的timestamp来删除
3.Offset和Time Index索引
由于引进了基于Time的索引策略,多了1.5x的存储空间,所以请增大索引文件的大小,防治频繁的rolling。log.index.size.max.bytes
由于加载的东西变多了,broker的启动时间变长了,设置num.recovery.threads.per.data.dir=1
,可以减少启动时间。
4.重要的改变:0.10.1.0
- The new Java Consumer now allows users to search offsets by timestamp on partitions.
- The new Java Consumer now supports heartbeating from a background thread.
5.New Protocol Versions
- ListOffsetRequest v1 supports accurate offset search based on timestamps.
- MetadataResponse v2 introduces a new field: "cluster_id".
- FetchRequest v3 supports limiting the response size (in addition to the existing per partition limit), it returns messages bigger than the limits if required to make progress and the order of partitions in the request is now significant.
- JoinGroup v1 introduces a new field: "rebalance_timeout".
6. Kafka Server主要的特性
- Time-based Search(基于timeStamp的搜索):可以根据timestamp来消费topic
- Replication Quotas(副本带宽限制):可以限制replica拉取的带宽,减少对消费者、生产者的影响。
- Improved Log Compaction(提升日志压缩):以前,consumer无法分辨哪些日志是压缩的、还是不压缩的。
对这个详细看看:
对一个consumer而言,如果它lag在一定范围内,那么它能够获得每一条压缩的消息。
对于我的理解,第三条是为了基于精确的时间清理日志而用的。那个关于 database replication 的用法-没有看懂
两个参数的含义:
- log.cleaner.min.compaction.lag.ms :The minimum time a message will remain uncompacted in the log. Only applicable for logs that are being compacted. 默认值是0. 日志中保留未压缩的message的最小时间。(超过这个时间的日志都是压缩的)
- min.compaction.lag.ms : topic级别的配置属性(上面那个是Server级别的配置。topic的配置可以覆盖server 的配置。)
7.Kafka Client APIs 主要的特性
- Interactive Queries(交互式查询): Kafka Streaming的特性
- Consumer Stabilization(稳定性):支持background 心跳,让poll之后,message的处理时间更加宽裕
对这个详细看看,
old参数:
max.partition.fetch.bytes
用来限制每次consumer fetch数据的大小限制,只是限制partition的,无法限制到一次拉取的总量,有潜在的一次拉取几个GB的可能。
new参数:
fetch.max.bytes = 50MB
: 限制整个consumer client 一次拉取的总量replica.fetch.response.max.bytes = 10MB
: 限制replica拉取线程的 一次拉取量。
new参数能否限制多线程拉取的总量,需要测试测试。即:如果我启动2个consumer 能否把fetch的量达到100MB。
- Improved memory management(提升内存管理):关于Kafka Stream的
- Secure Quotas(安全提升):以前有权限认证管理,现在可以限制Producer和Consuemr的流量了。
目前是静态配置文件,动态加载的正在讨论中~~~
// Default bytes-out per consumer.
quota.consumer.default=2M
quota.producer.default=2M
// Overrides
quota.producer.override="clientA:4M,clientB:10M"
quota.consumer.override="clientC:3M,clientD:5M"
Kafka 0.10.1.1 特点的更多相关文章
- Kafka 0.10问题点滴
15.如何消费内部topic: __consumer_offsets 主要是要让它来格式化:GroupMetadataManager.OffsetsMessageFormatter 最后用看了它的源码 ...
- Kafka 0.10.1版本源码 Idea编译
Kafka 0.10.1版本源码 Idea编译 1.环境准备 Jdk 1.8 Scala 2.11.12:下载scala-2.11.12.msi并配置环境变量 Gradle 5.6.4: 下载Grad ...
- Kafka 0.10.0
2.1 Producer API We encourage all new development to use the new Java producer. This client is produ ...
- Kafka 0.10 KafkaConsumer流程简述
ConsumerConfig.scala 储存Consumer的配置 按照我的理解,0.10的Kafka没有专门的SimpleConsumer,仍然是沿用0.8版本的. 1.从poll开始 消费的规则 ...
- kafka 0.10.2 消息消费者
package cn.xiaojf.kafka.consumer; import org.apache.kafka.clients.consumer.ConsumerConfig; import or ...
- kafka 0.10.2 消息生产者(producer)
package cn.xiaojf.kafka.producer; import org.apache.kafka.clients.producer.*; import org.apache.kafk ...
- kafka 0.10.2 消息生产者
package cn.xiaojf.kafka.producer; import org.apache.kafka.clients.producer.KafkaProducer; import org ...
- kafka 0.10.2 cetos6.5 集群部署
安装 zookeeper http://www.cnblogs.com/xiaojf/p/6572351.html安装 scala http://www.cnblogs.com/xiaojf/p/65 ...
- Kafka 0.10 Metadata的补充
什么是Metadata? Topic/Partion与broker的映射关系:每一个Topic的每一个Partion的Leader.Follower的信息. 它存在哪里?持久化在Zookeeper中: ...
随机推荐
- JQuery EasyUI DataGrid 获取属性值
在Jquery EasyUI中返回操作的时候,根据当前页返回到数据选取页: var grid = $('#datagrid'); var options = grid.datagrid('getPag ...
- 最基本的SQL语法/语句
DDL—数据定义语言(Create,Alter,Drop,DECLARE) DML—数据操纵语言(Select,Delete,Update,Insert) DCL—数据控制语言(GRANT,REVOK ...
- *CCF 201612-2 工资计算(80)
试题编号:201612-2 试题名称:工资计算 时间限制:1.0s 内存限制:256.0MB 问题描述 小明的公司每个月给小明发工资,而小明拿到的工资为交完个人所得税之后的工资.假设他一个月的税前工资 ...
- partial类修饰符
partial是一个类修饰符,用于把类定义拆分为几个部分,便于代码管理,如class ClassA{void A(){;}void B(){;}}与partial class ClassA{void ...
- php字符串比较
比较两个字符串是否相等,最常见的方法就是使用“===”来判断,至于它和“==”的区别,简单来说 就是前者强调“identical”类型也要求一样:后者要求“equal”,值相同就可以了.或者使用str ...
- js模块化开发——前端模块化
在JavaScript发展初期就是为了实现简单的页面交互逻辑,寥寥数语即可:如今CPU.浏览器性能得到了极大的提升,很多页面逻辑迁移到了客 户端(表单验证等),随着web2.0时代的到来,Ajax技术 ...
- Flash Socket通信的安全策略问题 843端口
1.问题描述 将flash发布为html格式后,加载页面后,swf无法与服务器进行socket通信.Flash端显示的错误为:securityErrorHandler信息: [Securi ...
- C# App.config配置文件的讲解
App.config是C#开发WinForm程序的配置文件,开发Web程序的配置文件叫Web.config.本文介绍App.config的简介使用. 我们先来打开一个App.config文件,看看它的 ...
- 《你不知道的js》 ------1.作用域是什么
相关定义 引擎:从头到尾负责整个JavaScript程序的编译及执行过程. 编译器:负责语法分析及代码生成等. 作用域:负责收集并维护由所有声明的标识符(变量)组成的一系列查询,并实施一套非常严格的规 ...
- MVC下form表单一次上传多种类型的图片(每种类型的图片可以上传多张)
form表单一次上传多种类型的图片(每种类型的图片可以上传多张) controller中的action方法 public ActionResult UploadImage( ) { in ...