Kafka源码分析
本文主要针对于Kafka的源码进行分析,版本为kafka-0.8.2.1。 由于时间有限,可能更新比较慢...
Kafka.scala
// 读取配置文件
val props = Utils.loadProps(args(0))
val serverConfig = new KafkaConfig(props)
KafkaMetricsReporter.startReporters(serverConfig.props) val kafkaServerStartable = new KafkaServerStartable(serverConfig) // 注册一个关闭钩子,当JVM关闭时调用KafkaServerStartable.shutdown
Runtime.getRuntime().addShutdownHook(new Thread() {
override def run() = kafkaServerStartable.shutdown
}) // 运行并等待结束
kafkaServerStartable.startup
kafkaServerStartable.awaitShutdown
Server
实际调用类为KafkaServer
def startup() {
kafkaScheduler.startup() // 初始化Zookeeper内相关路径
zkClient = initZk() // 日志管理器
logManager = createLogManager(zkClient, brokerState)
logManager.startup() socketServer = new SocketServer(...)
socketServer.startup() // 启动副本管理器
replicaManager = new ReplicaManager(config, time, zkClient, kafkaScheduler, logManager, isShuttingDown) // 创建偏移量管理器
offsetManager = createOffsetManager() // 实例化调度器
kafkaController = new KafkaController(config, zkClient, brokerState) // 请求处理器
apis = new KafkaApis(...) // 网络请求处理
requestHandlerPool = new KafkaRequestHandlerPool(config.brokerId, socketServer.requestChannel, apis, config.numIoThreads)
brokerState.newState(RunningAsBroker) Mx4jLoader.maybeLoad()
replicaManager.startup()
kafkaController.startup() // Topic配置管理器
topicConfigManager = new TopicConfigManager(zkClient, logManager)
topicConfigManager.startup() // Broker的心跳检查
kafkaHealthcheck = new KafkaHealthcheck(...)
kafkaHealthcheck.startup() registerStats()
startupComplete.set(true)
info("started")
}
在KafkaServer的startup中看到主要进行几个主要服务的初始化和启动。
private def initZk(): ZkClient =
{
info("Connecting to zookeeper on " + config.zkConnect) // Kafka在Zookeeper中的工作根目录
val chroot = {
if (config.zkConnect.indexOf("/") > 0)
config.zkConnect.substring(config.zkConnect.indexOf("/"))
else
""
}
// 创建工作根目录
if (chroot.length > 1) {
val zkConnForChrootCreation = config.zkConnect.substring(0, config.zkConnect.indexOf("/"))
val zkClientForChrootCreation = new ZkClient(...)
ZkUtils.makeSurePersistentPathExists(zkClientForChrootCreation, chroot)
info("Created zookeeper path " + chroot)
zkClientForChrootCreation.close()
} // 实例化ZkClient
val zkClient = new ZkClient(config.zkConnect, config.zkSessionTimeoutMs, config.zkConnectionTimeoutMs, ZKStringSerializer)
// 在Zookeeper中创建必要持久路径
ZkUtils.setupCommonPaths(zkClient)
zkClient
}
KafkaScheduler实际为对线程池ScheduledThreadPoolExecutor的封装,这里不做过多的分析。
KafkaHealthcheck(...)
{
val brokerIdPath = ZkUtils.BrokerIdsPath + "/" + brokerId
val sessionExpireListener = new SessionExpireListener def startup()
{
// 注册一个Zookeeper事件(状态)监听器
zkClient.subscribeStateChanges(sessionExpireListener)
// 在Zookeeper的/brokers/ids/id目录创建临时节点并写入节点信息
register()
}
}
IZkStateListener 定义了两种事件:一种是连接状态的改变,例如由未连接改变成连接上,连接上改为过期等;
另一种创建一个新的session(连接), 通常是由于session失效然后新的session被建立时触发。
class SessionExpireListener() extends IZkStateListener
{
@throws(classOf[Exception])
def handleStateChanged(state: KeeperState) {} @throws(classOf[Exception])
def handleNewSession() = register()
}
ReplicaManager
def startup()
{
scheduler.schedule("isr-expiration", maybeShrinkIsr, period = config.replicaLagTimeMaxMs, unit = TimeUnit.MILLISECONDS)
}
// 定时调用maybeShrinkIsr
private def maybeShrinkIsr(): Unit =
{
trace("Evaluating ISR list of partitions to see which replicas can be removed from the ISR")
allPartitions.values.foreach(partition => partition.maybeShrinkIsr(config.replicaLagTimeMaxMs, config.replicaLagMaxMessages))
}
这里调用了cluster.Partition中的maybeShrinkIsr来将卡住的或者低效的副本从ISR中去除并更新HighWatermark。
def maybeShrinkIsr(replicaMaxLagTimeMs: Long, replicaMaxLagMessages: Long)
{
inWriteLock(leaderIsrUpdateLock) {
leaderReplicaIfLocal() match {
case Some(leaderReplica) =>
// 找出卡住和低效的Replica并从ISR中去除
val outOfSyncReplicas = getOutOfSyncReplicas(leaderReplica, replicaMaxLagTimeMs, replicaMaxLagMessages)
if(outOfSyncReplicas.size > 0) {
val newInSyncReplicas = inSyncReplicas -- outOfSyncReplicas
assert(newInSyncReplicas.size > 0)
// 更新ZK中的ISR
updateIsr(newInSyncReplicas)
// 计算HW并更新
maybeIncrementLeaderHW(leaderReplica)
replicaManager.isrShrinkRate.mark()
}
...
}
def getOutOfSyncReplicas(leaderReplica: Replica, keepInSyncTimeMs: Long, keepInSyncMessages: Long): Set[Replica] =
{
// Leader的最后写入偏移量
val leaderLogEndOffset = leaderReplica.logEndOffset
// ISR中排除LeaderReplica的其他集合
val candidateReplicas = inSyncReplicas - leaderReplica
// 卡住的Replica集合
val stuckReplicas = candidateReplicas.filter(r => (time.milliseconds - r.logEndOffsetUpdateTimeMs) > keepInSyncTimeMs)
// 低效的Replica
// 条件1 Replicas的offset > 0
// 条件2 Leader的offset - Replicas的offset > 阀值
val slowReplicas = candidateReplicas.filter(r =>
r.logEndOffset.messageOffset >= 0 &&
leaderLogEndOffset.messageOffset - r.logEndOffset.messageOffset > keepInSyncMessages)
// 返回卡住的和低效的Replicas
stuckReplicas ++ slowReplicas
}
Cluster
Controller
Kafka源码分析的更多相关文章
- Apache Kafka源码分析 – Broker Server
1. Kafka.scala 在Kafka的main入口中startup KafkaServerStartable, 而KafkaServerStartable这是对KafkaServer的封装 1: ...
- Kafka源码分析系列-目录(收藏不迷路)
持续更新中,敬请关注! 目录 <Kafka源码分析>系列文章计划按"数据传递"的顺序写作,即:先分析生产者,其次分析Server端的数据处理,然后分析消费者,最后再补充 ...
- Kafka源码分析(一) - 概述
系列文章目录 https://zhuanlan.zhihu.com/p/367683572 目录 系列文章目录 一. 实际问题 二. 什么是Kafka, 如何解决这些问题的 三. 基本原理 1. 基本 ...
- Kafka源码分析(三) - Server端 - 消息存储
系列文章目录 https://zhuanlan.zhihu.com/p/367683572 目录 系列文章目录 一. 业务模型 1.1 概念梳理 1.2 文件分析 1.2.1 数据目录 1.2.2 . ...
- kafka源码分析之一server启动分析
0. 关键概念 关键概念 Concepts Function Topic 用于划分Message的逻辑概念,一个Topic可以分布在多个Broker上. Partition 是Kafka中横向扩展和一 ...
- apache kafka源码分析-Producer分析---转载
原文地址:http://www.aboutyun.com/thread-9938-1-1.html 问题导读1.Kafka提供了Producer类作为java producer的api,此类有几种发送 ...
- Kafka源码分析及图解原理之Producer端
一.前言 任何消息队列都是万变不离其宗都是3部分,消息生产者(Producer).消息消费者(Consumer)和服务载体(在Kafka中用Broker指代).那么本篇主要讲解Producer端,会有 ...
- Kafka源码分析(二) - 生产者
系列文章目录 https://zhuanlan.zhihu.com/p/367683572 目录 系列文章目录 一. 使用方式 step 1: 设置必要参数 step 2: 创建KafkaProduc ...
- Kafka源码分析-序列2 -Producer
在上一篇,我们从使用方式和策略上,对消息队列做了一个宏观描述.从本篇开始,我们将深入到源码内部,仔细分析Kafka到底是如何实现一个分布式消息队列.我们的分析将从Producer端开始. 从Kafka ...
随机推荐
- RSA 每次公钥加密不同结果
今天服务器端一哥们突然跑过来跟我说:我发现公钥每次加密都不同结果啊? 我说:怎么可能?不同的话,私要怎么解密和验证啊? 然后我屁颠屁颠的试了下,结果发现不论在在线RSA的还是自己公司 利用同一个明文加 ...
- Tornado之自定义异步非阻塞的服务器和客户端
一.自定义的异步非阻塞的客户端 #!/usr/bin/env python # -*- coding: utf8 -*- # __Author: "Skiler Hao" # da ...
- LG4848 崂山白花蛇草水
题意 神犇 Aleph 在 SDOI Round2 前立了一个 flag:如果进了省队,就现场直播喝崂山白花蛇草水.凭借着神犇 Aleph 的实力,他轻松地进了山东省省队,现在便是他履行诺言的时候了. ...
- ballerina 学习六 xml && json
ballerina xml && json 参考使用 代码比较简单,使用起来还是比较方便的 xml 代码说明: import ballerina/io; function main ( ...
- Python 函数 -hasattr()
hasattr(object, name)hasattr() 函数用于判断对象是否包含对应的属性.如果对象有该属性返回 True,否则返回 False.object -- 对象.name -- 字符串 ...
- 生产环境LNMP (果图片)
一. 下载一键安装包 LNMP 官方地址为:http://lnmp.org/ 登陆后运行:screen -S lnmp cd /usr/local/src wget -c http://soft. ...
- 使用RawComparator加速Hadoop程序
使用RawComparator加速Hadoop程序 在前面两篇文章[1][2]中我们介绍了Hadoop序列化的相关知识,包括Writable接口与Writable对象以及如何编写定制的Writable ...
- 从内存的角度观察 堆、栈、全局区(静态区)(static)、文字常量区、程序代码区
之前写了一篇堆栈的,这里再补充下内存其他的区域 1.栈区(stack)— 由编译器自动分配释放 ,存放函数的参数值,局部变量的值等.其操作方式类似于数据结构中的栈. 2.堆区(heap) — 一般由程 ...
- [转]nginx虚拟目录(alias与root的区别)
今天配置awstats,awstats创建出的文件目录在/home/awstats下,在nginx中加入配置后狂报404,发现还是忽略了root和alias的区别,特将修改配置记录如下: 1.失败:s ...
- Renesas APIs ***
一个线程,强行结束另外一个线程,并将其挂起: static void SuspendTask(TX_THREAD *thread) { UINT status = ; UINT state; stat ...