Kafka面试你不得不知道的基础知识
- Java内存管理面试指南一
- Java基础面试指南一
- Java基础面试指南二
- Java基础面试指南三
- Java基础面试指南四
- Java线程面试指南一
- Java线程面试指南二
- Redis面试指南一
- Kafka面试指南一
- Spring面试指南一
- SpringBoot面试指南一
- 微服务面试指南一
1. Kafka消息传递系统与其他消息传递框架有何不同?
Kafka是由Apache基金会开发的消息传递框架,该框架将创建创建消息传递系统以及可提供容错群集以及低延迟系统,以确保端到端交付.
以下是要点:
- Kafka是一个消息传递系统,它提供了容错功能以防止消息丢失.
- 在public-subscribe 模型上进行设计.
- Kafka cab支持Java和Scala.
- Kafka起源于LinkedIn,后来在2011年成为开源Apache项目
- 与Spark和其他大数据技术无缝协作.
- 支持集群模式操作
- Kafka消息传递系统可以用于Web服务体系结构或大数据体系结构.
- 与其他消息传递框架相比,Kafka易于编码和配置.
Kafka需要其他组件(例如zookeeper)来创建集群并充当协调服务器
2. Kafka的主要功能是什么?
除了具有其他关键功能之外,Kafka还为从生产者到消费者的信息提供了可靠的传递方式.
- Kafka旨在实现高吞吐量和容错消息服务.
- Kafka提供了在Topic上构建patriation.
- 还提供复制功能.
- Kafka提供了一个队列,该队列可以处理大量数据,并最终将消息从一个发送者传输到接收者.
- Kafka还将消息保留在磁盘中,并具有跨群集复制消息的功能
- Kafka与Zookeeper合作,与其他服务进行协调和同步.
- Kafka具有良好的内置支持Apache Spark.
要利用所有这些关键功能,我们需要与Zookeeper配置一起正确配置Kafka集群.
3. 使用Kafka比不提供JMS,RabbitMQ等其他消息传递服务的好处?
如今,kafka是一个基于Key的消息传递框架,它有以下几个关键点.
- 可靠性 -Kafka提供了从发布者到订阅者的可靠传递,而消息丢失为零.
- 可伸缩性 -Kafka通过与Zookeeper协调服务器一起使用群集来实现此功能
- 耐用性 -通过使用分布式日志,消息可以保留在磁盘上.
- 性能 -Kafka在发布和订阅应用程序中提供高吞吐量和低延迟.
考虑到上述功能,Kafka是Bigdata Technologies用来处理大量消息以实现平稳传递的最佳选择之一.
4. Kafka的实际用例是什么,它与其他消息传递框架有什么不同?
有很多用例,Kafka适合实际工作应用程序,但是下面列出的是经常使用的实际工作用例.
- 指标:用于监视操作数据,可用于分析或对从分布式系统中收集的数据进行统计操作
- 日志聚合解决方案:可以在整个组织中使用,以收集来自多个服务的日志,消费者服务使用这些日志来执行分析操作.
- 流处理:Kafka的强大耐用性在流处理方面也非常有用.
- 异步通信:在微服务中,使这个庞大的系统保持同步是不希望的,因为它会使整个应用程序无响应. 而且,它一开始可能会破坏划分为微服务的整个目的. 因此,那时使用Kafka可使整个数据流变得更容易. 因为它是分布式的,所以具有很高的容错能力,并且可以通过Zookeeper等服务对代理节点进行持续监控. 因此,它使工作效率更高.
- 聊天机器人:当我们需要可靠的消息传递服务以顺利交付时,聊天机器人是最受欢迎的用例之一.
- 多租户解决方案. 通过配置哪些主题可以产生或使用数据来启用多租户. 配额也有运营支持
上面是主要需要Kafka框架的用例,除此之外,还有其他一些情况取决于需求和设计.
5. 为什么我们需要Kafka而不是其他消息服务?
现在让我们谈论一些现代的数据源,它是一种数据-诸如订单,库存和购物车之类的交易数据-诸如单击,点赞,推荐和在网页上的搜索之类的内容正在得到增强. 所有这些数据对于分析消费者的行为非常重要,并且可以提供一组预测分析引擎,这些引擎可以成为公司的与众不同之处.
- 支持低延迟消息传递.
- 处理实时流量.
- 保证容错能力.
- 易于与Spark应用程序集成,以处理大量消息数据.
- 能够创建消息传递容器集群,该集群由诸如Zookeeper之类的协调服务器进行监视和监督.
因此,当我们需要处理这种数据量时,我们需要Kafka来解决此问题.
6. 带组件的Kafka流程图?
Kafka流程图包含以下基本组件,这是设置消息传递基础结构所必需的.
- Topic
- Broker
- Zookeeper
- Partition
- Producer
- Consume
客户端和服务器之间的通信是通过简单,高性能,与语言无关的TCP协议完成的. 该协议已版本化,并与旧版本保持向后兼容性
7.什么是主题?Kafka如何使用该主题从生产者到消费者进行交流?
主题是将记录发布到的逻辑名称. Kafka中的主题支持多用户模型,因此该主题可以有零个,一个或多个使用者来订阅写入该主题的数据.
- 主题是保留消息流的特定类别.
- 主题分为多个分区.
- 对于每个Kafka,至少应有一个分区.
- 每个分区均以未修改的有序顺序包含消息或有效负载.
- 分区中的每个消息都有一个标识符,称为偏移量.
- 主题具有名称,并且在整个集群中必须唯一.
- 生产者需要主题来发布有效负载.
- 消费者从消费者那里提取了相同的有效载荷.
- 对于每个主题,群集维护的日志如下所示.
每个分区都有一个有序且不可变的记录序列,该记录序列被连续附加到一个结构化的提交日志中. Kafka集群使用可配置的保留期限持久地保留所有已发布记录(无论是否已被使用).
8. 什么是分区?
Kafka主题被共享到分区中,该分区以不可修改的顺序包含消息.
- 分区是数据的逻辑分组.
- 分区允许您通过跨多个代理将主题中的数据拆分来并行化主题.
- 主题中可以分组有一个或多个分区.
- 分区允许通过跨多个群集在多个主题中拆分数据来并行化主题.
- 每个分区都有一个名为offset的标识符.
- 每个分区都可以放置在单独的计算机上,以允许多个用户并行读取主题.
9. 什么是分区偏移量?
偏移量是分区内记录的唯一标识符. 它表示使用者在分区中的位置. 消费者可以从特定的偏移量开始读取消息,也可以从他们选择的任何偏移量点进行读取.
- 分区偏移具有唯一的序列ID,称为偏移.
- 每个分区应具有一个分区偏移量.
主题还可以具有多个分区日志,如右侧图像中的click-topic一样. 这允许多个使用者并行地从一个主题中阅读.
10. 什么是Broker?Kafka如何利用Broker进行交流?
- Broker是负责维护发布数据的系统.
- 每个代理可以具有一个或多个分区.
- Kafka包含多个代理来维护负载均衡器.
- Kafka Broker是无状态的
- 例如:假设一个主题中有N个分区,并且有N个代理,那么每个代理都有1个分区.
Kafka面试你不得不知道的基础知识的更多相关文章
- [不得不知道系列]Java线程面试你不得不知道的基础知识一
Java内存管理面试指南一 Java基础面试指南一 Java基础面试指南二 Java基础面试指南三 Java基础面试指南四 Java线程面试指南一 Java线程面试指南二 Redis面试指南一 Kaf ...
- Lodash 严重安全漏洞背后 你不得不知道的 JavaScript 知识
摘要: 详解原型污染. 原文:Lodash 严重安全漏洞背后 你不得不知道的 JavaScript 知识 作者:Lucas HC Fundebug经授权转载,版权归原作者所有. 可能有信息敏感的同学已 ...
- 震惊!90%的程序员不知道的Java知识!
震惊!90%的程序员不知道的Java知识! 初学Java的时候都会接触的代码 public static void main(String[] args){ ... } 当时就像背公式一样把这行代码给 ...
- 《吊打面试官》系列-Redis基础知识
前言Redis在互联网技术存储方面使用如此广泛,几乎所有的后端技术面试官都要在Redis的使用和原理方面对小伙伴们进行360°的刁难.作为一个在互联网公司面一次拿一次offer的面霸(请允许我使用一下 ...
- Spring Boot 你所不知道的超级知识学习路线清单
因而 Spring Boot 应用本质上就是一个基于 Spring 框架的应用,它是 Spring 对“约定优先于配置”理念的最佳实践产物,它能够帮助开发者更快速高效地构建基于 Spring 生态圈的 ...
- C++面试中可能考察的基础知识(1)
1 C++中允许函数的嵌套调用,但不允许函数的嵌套定义 2 构建派生类对象时,先调用基类的构造函数,在调用成员对象的构造函数,最后调用派生类构造函数. 3 volatile关键字 volatile提醒 ...
- 那些你可能不知道的 ZooKeeper 知识
本文作者:HelloGitHub-老荀 Hi,这里是 HelloGitHub 推出的 HelloZooKeeper 系列,免费开源.有趣.入门级的 ZooKeeper 教程,面向有编程基础的新手. 项 ...
- C++程序员面试题目总结(涉及C++基础、多线程多进程、网络编程、数据结构与算法)
说明:C++程序员面试题目总结(涉及C++基础知识.多线程多进程.TCP/IP网络编程.Linux操作.数据结构与算法) 内容来自作者看过的帖子或者看过的文章,个人整理自互联网,如有侵权,请联系作者 ...
- 你所不知道的库存超限做法 服务器一般达到多少qps比较好[转] JAVA格物致知基础篇:你所不知道的返回码 深入了解EntityFramework Core 2.1延迟加载(Lazy Loading) EntityFramework 6.x和EntityFramework Core关系映射中导航属性必须是public? 藏在正则表达式里的陷阱 两道面试题,带你解析Java类加载机制
你所不知道的库存超限做法 在互联网企业中,限购的做法,多种多样,有的别出心裁,有的因循守旧,但是种种做法皆想达到的目的,无外乎几种,商品卖的完,系统抗的住,库存不超限.虽然短短数语,却有着说不完,道不 ...
随机推荐
- ES6中对数组的扩展
hello,大家好,我又来了. 前面讲了字符串和数值的扩展,今天要讲的是:数组的扩展.不知道大家能否跟得上这个节奏,你们在阅读中对讲解有存在疑惑,记得留言提出来,要真正地理解,否则白白 ...
- centos7与8的区别
1.关于内核版本:RHEL8采用4.18.0-xRHEL7采用3.10-0-x 2 网络时间同步 RHEL8 只使用Chronyd,不支持NTP部署. RHEL7Chronyd与NTP两者都支持 3. ...
- [Batch脚本] if else 的格式
必须写成一行 ) else (,否则报错. if %abc%=="yes" ( ... ) else ( ... )
- 播放声音 (c++) (windows)
自己看自己看自己看自己看自己看自己看 在<windows.h>中 一:BOOL WINAPI MessageBeep (_in UINT uType ); 播放一个波形文件 (也就是wac ...
- 非阻塞同步机制和CAS
目录 什么是非阻塞同步 悲观锁和乐观锁 CAS 非阻塞同步机制和CAS 我们知道在java 5之前同步是通过Synchronized关键字来实现的,在java 5之后,java.util.concur ...
- Spring Boot devtool的使用
文章目录 添加Spring Boot devtool依赖 默认属性 自动重启 Live Reload 全局配置 Spring Boot devtool的使用 Spring Boot为我们提供了一个便捷 ...
- 解决 Retrofit 多 BaseUrl 及运行时动态改变 BaseUrl ?
原文地址: juejin.im/post/597856- 解决Retrofit多BaseUrl及运行时动态改变BaseUrl(一) 解决Retrofit多BaseUrl及运行时动态改变BaseUrl( ...
- localStorage和cookie的跨域解决方案
原文转自:点我 前言 localStorage和cookie大家都用过,我前面也有文章介绍过,跨域大家也都了解,我前面也有文章详细描述过.但是localStorage和cookie的跨域问题,好多小伙 ...
- 数学--数论--HDU-2698 Maximum Multiple(规律)
Given an integer nn, Chiaki would like to find three positive integers xx, yy and zzsuch that: n=x+y ...
- P3588 【[POI2015]PUS】(线段树优化建边)
P3588 [[POI2015]PUS] 终于有个能让我一遍过的题了,写篇题解纪念一下 给定长度为n的序列和其中部分已知的数,还有m个大小关系:区间\([l,r]\)中,有k个给定的数比剩下的\(r- ...