最近一直在整理kafka相关资料,以构建自己的知识体系. 主要分为五大方面: Kafka设计与原理分析 Kafka配置分析 Kafka运维手册 Kafka编程开发 kafka源码分析…

本文目录: 一.消息队列 Apache Pulsar Pulsar 与 Kafka 对比 二.Kafka基础 三.Kafka架构及组件 四.Kafka集群操作 五.Kafka的JavaAPI操作 六.Kafka中的数据不丢失机制 七.Kafka配置文件说明 八.CAP理论 九.Kafka中的CAP机制 十.Kafka监控及运维 十一.Kafka大厂面试题 Kafka 涉及的知识点如下图所示,本文将逐一讲解: 本文档参考了关于 Kafka 的官网及其他众多资料整理而成,为了整洁的排版及舒适的阅读,…

kafka设计和原理分析 kafka在1.0版本以前,官方主要定义为分布式多分区多副本的消息队列,而1.0后定义为分布式流处理平台,就是说处理传递消息外,kafka还能进行流式计算,类似Strom和SparkStreaming. 主要有三大核心能力: 发布和订阅记录流.在这方面,它类似于一个消息队列或企业消息系统. 持久化收到的记录流,从而具有容错能力. 处理收到的记录流. 可以看到其主要分为两类应用,即系统或应用程序之间的数据共享,以及构建实时流应用程序并进行相应的处理. 相关功能主要通过如下…

kafka文件存储机制 topic中partition存储分布 假设实验环境中Kafka集群只有一个broker,xxx/message-folder为数据文件存储根目录,在Kafka broker中server.properties文件配置(参数log.dirs=xxx/message-folder),例如创建topic名称分别为test, partitions数量都为partitions=4,副本为1 存储路径和目录规则为:xxx/logs test-0 test-1 test-2 test…

kafka leader选举 一条消息只有被ISR中的所有follower都从leader复制过去才会被认为已提交.这样就避免了部分数据被写进了leader,还没来得及被任何follower复制就宕机了,而造成数据丢失.而对于producer而言,它可以选择是否等待消息commit,这可以通过request.required.acks来设置.这种机制确保了只要ISR中有一个或者以上的follower,一条被commit的消息就不会丢失. 有一个很重要的问题是当leader宕机了,怎样在follo…

消息传递语义 消息传递保障 本节讨论Kafka如何确保消息在producer和consumer之间传输.有以下三种可能的传输保障(delivery guarantee): At most once: 消息可能会丢,但绝不会重复传输 At least once:消息绝不会丢,但可能会重复传输 Exactly once:每条消息肯定会被传输一次且仅传输一次 Kafka的消息传输保障机制非常直观.当producer向broker发送消息时,一旦这条消息被commit,由于副本机制(replicatio…

http://www.90qj.com/?post=318http://ixdba.blog.51cto.com/2895551/1751377   运维知识体系v0.5-(运维社区-赵班长出品,欢迎转载!) 运维管理体系 测试和开发相关 运维架构层级 内容描述 监控体系 安全体系 备份体系 自动化体系 管理必知必会 ITSM ITIL IT Service CMM Six Sigma PMBok 涉及到运维参与 性能测试(TCPCopy) 单机监控(nmon) 环境规划(开发.测试.预生产.生…

[From]https://www.unixhot.com/page/ops [运维知识体系]-v3.1 作者:赵舜东(赵班长) (转载请注明来自于-新运维社区:https://www.unixhot.com) 运维架构层级/运维角度 内容描述/主要技术关键词 监控体系 自动化/DevOps 云计算 客户端层 浏览器 Cookie作用域.浏览器缓存协商(Last-Modified.Expires.Etag).组件分离.前端优化.运维检测工具 舆论监控 外部网络监控 APM 故障检测工具 DNS服…

本系列主要对Redis知识体系进行详解.@pdai Redis教程 - Redis知识体系详解 知识体系 学习资料 知识体系 知识体系 相关文章 首先,我们通过学习Redis的概念基础,了解它适用的场景. Redis入门 - Redis概念和基础 Redis是一种支持key-value等多种数据结构的存储系统.可用于缓存,事件发布或订阅,高速队列等场景.支持网络,提供字符串,哈希,列表,队列,集合结构直接存取,基于内存,可持久化. 其次,这些适用场景都是基于Redis支持的数据类型的,所以我们需…

1. 前言 大约在几个月之前,让我看完了<webkit技术内幕>这本书的时候,突然有了一个想法.想把整个web前端开发所需要的知识都之中在一个视图中,形成一个完整的web前端知识体系,目的是想要颠覆人们对于前端只有三大块(html.css.js)的认识——做web前端需要的比这三大块要多得多. 拖了好几个月了,但是由于近期将要参加的某一个活动,我不得不这两天把这个东西整出来.说干就干.上午我就开始在办公室画草图,乱七八糟的在那儿理思路. 大家不要害怕,其实下文中的这个知识框架要比草图中的好看的…