kafka生产者工作流程

消息产生分析

1.写入方式:

producer采用推(push)模式将消息发布到broker,每条消息都会被追加(append)到分区Partition上,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障了kafka的吞吐率)

消息的路由

producer将消息发给broker时,producer根据分区算法来选择出将消息存储到哪个Partition上。其路由机制为:

1、如果指定partition,则将消息直接发送给该partition的Leader进行存储。

2、如果没有指定partition但是指定了key,通过对key的value进行一次哈希计算得出要存储的partition。

3、如果partition和key都没有指定,则轮询出一个partition。

2.分区Partition

消息发送时都被送到一个topic上,其本质就是一个目录,而topic是由一些partition Logs分区日志组成,一个topic可以由多个Partition组成,多个partition可以分布在多个broker上。如下图:



每个Partition上的消息都是有序的,生产的消息都会被不断追加到Partition log上,其中的每一个消息都会被赋予一个唯一的offset值。



分区的原因

(1)方便在集群中扩展,每个Partition可以通过调整以适应它所在的机器,而一个topic又可以有多个Partition组成。因此整个集群就可以适应任意大小的数据了

(2)可提高并发,因为可以以Partition为单位读写

(3)将大量的数据分多批存入到不同的节点上,将写的压力平分到多个节点上

分区的原则

(1)指定了partition,则直接使用

(2)未指定partition但指定了key,通过对key的value进行hash出一个partition

(3)partition和key都未指定,则使用轮询一个partition

3.副本Replication

同一个partition可能会有多个replication(对用着server.properties配置中的default.replication.factior=N)。没有replication的情况下,一旦broker宕机,其上所有的partition的数据都不可被消费,同时producer也不能再将数据存于其上的partition,引入replication之后,同一个partition可能会有多个replication,而这时需要在这些replication之间选择一个Leader,producer和Consumer只与这个leader交互,其他replication作为follower从leader中复制数据



(1)Zookeeper记录了Leader是哪一个

(2)Producer不与Follwers交互

生产消息并存储消息的流程:

1)producer先从zookeeper的 "/brokers/.../state"节点找到该partition的leader

2)producer将消息发送给该leader

3)leader将消息写入本地log

4)followers从leader pull消息,写入本地log后向leader发送ACK

5)leader收到所有ISR中的replication的ACK后,增加HW(high watermark,最后commit 的offset)并向producer发送ACK。

消息丢失

因为网络的不可靠性导致producer发出的消息并没有存储到对应的partition上,或者Producer并未收到来自partition Leader的ACK确认消息。因此producer无法判断消息是否被成功commit。但是kafka确保了从producer到broker之间发送的消息只会被发送一次不会重复发送。

4.存储方式

物理上把topic分成一个或者多个partition(对应server.properties中的num.partitions=3配置),每个partition物理上对应也给文件夹,该文件夹存储该partition的所有消息和索引文件,

kafka命令:

kafka-topics.sh --create --topic first --zookeeper localhost:2181 --replication-factor  3 --partitions创建3个副本:first0,first1,first2

存储在Partition的消息何时被清除?

1)基于时间:log.retention.hours=168

2)基于大小:log.retention.bytes=1073741824

kafka基础二的更多相关文章

  1. kafka 基础知识梳理及集群环境部署记录

    一.kafka基础介绍 Kafka是最初由Linkedin公司开发,是一个分布式.支持分区的(partition).多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特 ...

  2. Python全栈开发【基础二】

    Python全栈开发[基础二] 本节内容: Python 运算符(算术运算.比较运算.赋值运算.逻辑运算.成员运算) 基本数据类型(数字.布尔值.字符串.列表.元组.字典) 其他(编码,range,f ...

  3. Bootstrap <基础二十九>面板(Panels)

    Bootstrap 面板(Panels).面板组件用于把 DOM 组件插入到一个盒子中.创建一个基本的面板,只需要向 <div> 元素添加 class .panel 和 class .pa ...

  4. Bootstrap <基础二十八>列表组

    列表组.列表组件用于以列表形式呈现复杂的和自定义的内容.创建一个基本的列表组的步骤如下: 向元素 <ul> 添加 class .list-group. 向 <li> 添加 cl ...

  5. Bootstrap<基础二十七> 多媒体对象(Media Object)

    Bootstrap 中的多媒体对象(Media Object).这些抽象的对象样式用于创建各种类型的组件(比如:博客评论),我们可以在组件中使用图文混排,图像可以左对齐或者右对齐.媒体对象可以用更少的 ...

  6. Bootstrap <基础二十六>进度条

    Bootstrap 进度条.在本教程中,你将看到如何使用 Bootstrap 创建加载.重定向或动作状态的进度条. Bootstrap 进度条使用 CSS3 过渡和动画来获得该效果.Internet ...

  7. Bootstrap <基础二十五>警告(Alerts)

    警告(Alerts)以及 Bootstrap 所提供的用于警告的 class.警告(Alerts)向用户提供了一种定义消息样式的方式.它们为典型的用户操作提供了上下文信息反馈. 您可以为警告框添加一个 ...

  8. Bootstrap<基础二十四> 缩略图

    Bootstrap 缩略图.大多数站点都需要在网格中布局图像.视频.文本等.Bootstrap 通过缩略图为此提供了一种简便的方式.使用 Bootstrap 创建缩略图的步骤如下: 在图像周围添加带有 ...

  9. Bootstrap <基础二十三>页面标题(Page Header)

    页面标题(Page Header)是个不错的功能,它会在网页标题四周添加适当的间距.当一个网页中有多个标题且每个标题之间需要添加一定的间距时,页面标题这个功能就显得特别有用.如需使用页面标题(Page ...

随机推荐

  1. defaultdict & Counter

    在使用python原生的数据结构dict的时候,如果d[key]这样的方式访问,当指定的key不存在时,会抛出keyError异常.但是如果使用defaultdict(导入collections),只 ...

  2. bzoj2159

    树形dp+第二类斯特林数 又是这种形式,只不过这次不用伯努利数了 直接搞肯定不行,我们化简一下式子,考虑x^n的组合意义,是把n个物品放到x个箱子里的方案数.那么就等于这个i=1->n,sigm ...

  3. 可移植的配置visual studio工程第三方库

    现在编程有太多的好用的第三方库,例如 计算机视觉方面的opencv c++的扩充库boost 特殊的第三方库,相机库,通讯库等 使用这些库给我们带来了极大的便利,同时也有很多困扰.这个工程在我电脑上明 ...

  4. 1.8-1.10 大数据仓库的数据收集架构及监控日志目录日志数据,实时抽取之hdfs系统上

    一.数据仓库架构 二.flume收集数据存储到hdfs 文档:http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#hd ...

  5. Websocket 学习

    一.含义 WebSocket 是一种在单个TCP连接上进行全双工通讯的协议.   WebSocket 使得客户端和服务器之间的数据交换变得更加简单,允许服务端主动向客户端推送数据.在WebSocket ...

  6. Linux环境下Nginx及负载均衡

    Nginx 简介 Nginx 是一个高性能的 HTTP 和反向代理 Web 服务器,同时也提供了 IMAP/POP3/SMTP 服务.前向代理作为客户端的代理,服务端只知道代理的 IP 地址而不知道客 ...

  7. Weekly Contest 78-------->808. Soup Servings

    There are two types of soup: type A and type B. Initially we have N ml of each type of soup. There a ...

  8. CodeForces水题

    CodeForces754A 题意: 给一个数组,让你变成1-n,输出变换区间,要求原区间和不为0. 思路: 如果原数组不为0,那就是YES: 如果为0,则从1开始扫过去,碰到不为0时,分两个区间[1 ...

  9. 浅谈C# String对象

    本文介绍C#中的string是一个引用类型,C# String对象是存放在堆上,而不是堆栈上的,因此,当把一个字符串变量赋给另一个字符串时,会得到对内存中同一个字符串的两个引用. AD:WOT2015 ...

  10. Ogre 中使用OIS的两种模式

    关于OIS的输入 要开始考虑游戏输入的问题了,以及开始加入CEGUI也要考虑加入输入的问题.先把OIS的输入简单回忆一下. OIS有两种输入模式:非缓冲输入以及缓冲输入. 无论用哪种输入方式,都应该有 ...