把broker比作是一幢摩天大楼,一个10节点的kafka集群就是10幢摩天大楼,而且这些大楼都长得一模一样。
分区就相当于大楼里的一层。一个分区就相当于一整层哦。
原先大楼是空的。
现在用户创建了一个topic,就相当于是订酒店的意思。
比如先创建了一个主题叫做“跑男”,要求是1个分区,10个副本。
这什么意思呢?就相当于说我只要一层楼就行,但是要求是10幢楼各出一层。相当于“跑男”这个剧组包下了10个大楼里的同一层。比如说都是第7层。好了,现在这10幢楼的每一幢的第7层都被“跑男”主题包下了。这种情况,相当于是“邓超和他的9个小弟”,当外界有消息发过来的时候,都会去找邓超住的那幢大厦,把消息告诉邓超,其他小弟只是简单抄下来邓超收到的消息。也就是如果邓超住在1号大楼,收发消息的人都会往1号楼跑,不会去问其他楼的小弟。其他小弟不对外界开放,只是同步邓那边的消息。

如果现在又来了一个主题叫做“极限挑战”,要求是10个分区,10个副本。
这什么意思呢?就相当于是说我要10层楼,不是一幢大厦的10层楼,我要你们所有10幢大厦里所有的第11层到第20层都给我们。其实相当于给了100层了,10*10=100嘛。那其实这100层怎么分配呢,可能开始的时候,“极限挑战”的10个主角人员都入住在了1号大楼。2号楼到10号楼都住的小弟。那就出现了所有外界消息到了都会跑去1号楼,要么去11层,要么去12层,要么去13层。。。。比刚才“跑男”好多了,有10个主角都可以说了算。这10个主角接收和处理的其实都是“极限挑战”主题的事情。这里我们看到了1个分区和10个分区相比的好处。10个分区可以同时处理更多的请求,接收更多消息。但是发现没有,主角竟然都住在同一幢大楼,这是很危险的,万一某一天这个大楼关门了,那就所有消息都进不来了,没有一个能处理的人了。其他楼纵然开放,住的都是小弟,小弟说了不算数,也不接收处理消息的。
所以最好的方式是,主角分散到不同的大楼,比如1号楼的第11层是第一个主角,2号楼的第12层是第二个主角,3号楼的第13层是第三个主角。。。。这样的话,就算10幢楼里有9幢楼都关闭了,只要还有一幢大楼存活,他就可以继续处理“极限挑战”主题的所有事务,只是压力暂时会比较大,等其他大楼恢复了,压力就均摊到10个大楼上去了。那到这里,我们好像还没有见识到10个副本是为什么,好像只要有主角就够了嘛,要小弟做什么呢?小弟其实就是简单同步主角的收到的消息。他简单存起来。不处理也不对外服务。1号主角之前收到的信息和其他主角是不一样的,如果现在1号楼突然永久关闭了的话,那么上哪里获取1号主角之前究竟收到了什么信息呢?答案是从小弟那里。比如1号楼关门了,原来的消息也出不来,这时候2号楼的主角可以去2号楼的第11楼找一下之前1号楼主角的小弟。3号楼的主角可用去3号楼的第11层找一下之前1号楼主角的小弟。。。。2号楼到10号楼的第11层都是住着原先1号楼主角的小弟。从那里可以知道之前1号楼的主角处理过哪些消息。

爱词霸

 

 
划词翻译
自动发声
自动添加生词本

爱词霸

 

 
划词翻译
自动发声
自动添加生词本

爱词霸

 

 
划词翻译
自动发声
自动添加生词本

kafka 通俗的更多相关文章

  1. 消息队列 Kafka 的基本知识及 .NET Core 客户端

    前言 最新项目中要用到消息队列来做消息的传输,之所以选着 Kafka 是因为要配合其他 java 项目中,所以就对 Kafka 了解了一下,也算是做个笔记吧. 本篇不谈论 Kafka 和其他的一些消息 ...

  2. kafka:一个分布式消息系统

    1.背景 最近因为工作需要,调研了追求高吞吐的轻量级消息系统Kafka,打算替换掉线上运行的ActiveMQ,主要是因为明年的预算日流量有十亿,而ActiveMQ的分布式实现的很奇怪,所以希望找一个适 ...

  3. Kafka及 .NET Core 客户端

    消息队列 Kafka 的基本知识及 .NET Core 客户端 消息队列 Kafka 的基本知识及 .NET Core 客户端   前言 最新项目中要用到消息队列来做消息的传输,之所以选着 Kafka ...

  4. Kafka/Metaq设计思想学习笔记 转

    转载自: http://my.oschina.net/geecoodeer/blog/194829 本文没有特意区分它们之间的区别,仅仅是列出其中笔者认为好的设计思想,供后续设计参考. 目前笔者并没有 ...

  5. kafka学习(一)-背景及架构设计

    概念和术语 消息,全称为Message,是指在生产者.服务端和消费者之间传输数据. 消息代理:全称为Message Broker,通俗来讲就是指该MQ的服务端或者说服务器. 消息生产者:全称为Mess ...

  6. 分布式消息系统kafka

    kafka:一个分布式消息系统 1.背景 最近因为工作需要,调研了追求高吞吐的轻量级消息系统Kafka,打算替换掉线上运行的ActiveMQ,主要是因为明年的预算日流量有十亿,而ActiveMQ的分布 ...

  7. kafka集群搭建(windows环境下)

    一.简介 Kafka 是一个实现了分布式的.具有分区.以及复制的日志的一个服务.它通过一套独特的设计提供了消息系统中间件的功能.它是一种发布订阅功能的消息系统. 1.名词介绍 Message 消息,就 ...

  8. Kafka的基本概念与安装指南(单机+集群同步)

    最近在搞spark streaming,很自然的前端对接的就是kafka.不过在kafka的使用中还是遇到一些问题,比如mirrormaker莫名其妙的丢失数据[原因稍后再说],消费数据offset错 ...

  9. 消息中间件选型分析——从Kafka与RabbitMQ的对比来看全局

    一.前言 消息队列中间件(简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成.通过提供消息传递和消息排队模型,它可以在分布式环境下提供应用解耦 ...

随机推荐

  1. Akka Typed 官方文档之随手记

    ️ 引言 近两年,一直在折腾用FP与OO共存的编程语言Scala,采取以函数式编程为主的方式,结合TDD和BDD的手段,采用Domain Driven Design的方法学,去构造DDDD应用(Dom ...

  2. 如何将项目推到github上面

    1.先查看是否安装git. 2.如果没有安装git ,下载之后别忘了配置环境变量.(右击此电脑 --属性--高级系统设置--环境变量--系统变量中的path) 3.推代码 查看状态(可查可不查) gi ...

  3. Spark推荐系统实践

    推荐系统是根据用户的行为.兴趣等特征,将用户感兴趣的信息.产品等推荐给用户的系统,它的出现主要是为了解决信息过载和用户无明确需求的问题,根据划分标准的不同,又分很多种类别: 根据目标用户的不同,可划分 ...

  4. sql查询速度慢分析及如何优化查询

    原因分析后台数据库中数据过多,未做数据优化数据请求-解析-展示处理不当 网络问题提高数据库查询的速度方案SQL 查询速度慢的原因有很多,常见的有以下几种:1.没有索引或者没有用到索引(查询慢最常见的问 ...

  5. 【Flutter】功能型组件之颜色和主题

    前言 Color类中颜色以一个int值保存,显示器颜色是由红.绿.蓝三基色组成,每种颜色占8比特,存储结构如下: Bit(位) 颜色 0-7 蓝色 8-15 绿色 16-23 红色 24-31 Alp ...

  6. Java JVM——9.方法区

    前言 方法区是运行时数据区的最后一个部分: 从线程共享与否的角度来看: 大家可能在这里有些疑惑,方法区和元空间的关系到底是怎样的?请往下看,下面会为大家解惑. 栈.堆.方法区的交互关系 下面就涉及了对 ...

  7. 谈谈你不知道的gist

    1.Gist是什么关于Gist的详细介绍,请阅读官方文档About gists,下面只简略介绍部分功能: Gist是一种与其他人共享代码片段和粘贴的简单方法. 当您需要与同事或朋友共享示例代码或技术时 ...

  8. 【Spring】IoC概述

    Spring框架的核心概念--IoC IoC IoC是Inversion of Control的简写,翻译成汉语就是"控制反转".IoC并不是一门技术,而是一种设计思想,在Spri ...

  9. Java 安全之Weblogic 2018-2628&2018-2893分析

    Java 安全之Weblogic 2018-2628&2018-2893分析 0x00 前言 续上一个weblogic T3协议的反序列化漏洞接着分析该补丁的绕过方式,根据weblogic的补 ...

  10. 【Linux】ssh远程连接到指定ip的指定用户上

    通过ssh可以远程连接到其他的机器上,但是如果只想连接到指定的用户的话 需要这样做: -l 选项 (是L不是I,小写) ssh IP -l 用户名 这里的ip如果在hosts下就可以直接输入域名或者主 ...