于kafka核心原理的资料,网上有很多,但是如果不自己研究其源码,永远是知其然而不知所以然.下面就来演示如何在windows环境下来编译kafka源码,并通过IntelliJ IDEA开发工具搭建kafka的源码环境,以方便在本地通过debug调试来研究kafka的内部实现机制. 具体步骤: (1)安装jdk,版本为1.8.0_131,配置JAVA_HOME: (2)安装scala,版本为 2.10.6,配置SCALA_HOME: (3)安装Gradle,版本为 3.1,配置GRADLE_HOM

1.概述 在对Kafka使用层面掌握后,进一步提升分析其源码是极有必要的.纵观Kafka源码工程结构,不算太复杂,代码量也不算大.分析研究其实现细节难度不算太大.今天笔者给大家分析的是其核心处理模块,core模块. 2.内容 首先,我们需要对Kafka的工程结构有一个整体的认知度,Kafka 大家最为熟悉的就是其消费者与生产者.然其,底层的存储机制,选举机制,备份机制等实现细节,需要我们对其源码仔细阅读学习,思考与分析其设计之初的初衷.下面,我们首先来看看Kafka源码工程模块分布,截止当天日期

1. 从 GitHub 网站,git clone kafka 源码 2. 下载安装好 gradle,scala 3. 进入 kafka 项目目录,依次执行 gradle wrapper,gradle idea 4. 将工程导入到 idea 4.1 启动主类 kafka.Kafka 4.2 program arguments:server.properties 文件路径 4.3 把 config 目录下的 log4j.properties 拷贝到 core/src/main/resources 目

本文主要讲述的是如何搭建Kafka的源码环境,主要针对的Linux操作系统下IntelliJ IDEA编译器,其余操作系统或者IDE可以类推. 1.安装和配置JDK确认JDK版本至少为1.7,最好是1.8及以上.使用java -version命令来查看当前JDK的版本,示例如下: lenmom@M1701:~/workspace/software/hadoop-/bin$ java -version java version "1.8.0_191" Java(TM) SE Runtim

系列文章目录 https://zhuanlan.zhihu.com/p/367683572 目录 系列文章目录 一. 实际问题 二. 什么是Kafka, 如何解决这些问题的 三. 基本原理 1. 基本框架 2. Topic 3. Partition 和 Consumer Group 4. Replica 5. Broker & KafkaController 五. 源码结构 1. 源码地址 2. 目录结构 六. 总结 一. 实际问题 我们在业务开发的过程中,会涉及很多"事件驱动"

0. 关键概念 关键概念 Concepts Function Topic 用于划分Message的逻辑概念,一个Topic可以分布在多个Broker上. Partition 是Kafka中横向扩展和一切并行化的基础,每个Topic都至少被切分为1个Partition. Offset 消息在Partition中的编号,编号顺序不跨Partition(在Partition内有序). Consumer 用于从Broker中取出/消费Message. Producer 用于往Broker中发送/生产Me

前言:有的时候自己不知道自己是井底之蛙,这并没有什么可怕的,因为你只要蜷缩在方寸之间的井里,无数次的生活轨迹无非最终归结还是一个圆形:但是可怕的是有一天你不得不从井里跳出来生活,需要重新审视井以外的生活,你就会发现世界如此美好,我知道的如此的少! 好比,但你看到如下代码 namespace Singleton { public class Singleton { private static Singleton singleton; private Singleton() { } public

Kakfa揭秘 Day3 Kafka源码概述 今天开始进入Kafka的源码,本次学习基于最新的0.10.0版本进行.由于之前在学习Spark过程中积累了很多的经验和思想,这些在kafka上是通用的. 总体 首先从总体方式进行一下分析,进入最关键的core. 从源码角度看,最关键的是标红的几个模块. admin是管理模块,主要管理Topic和Partition相关的东西. client客户端模块,给客户端(consumer.producer.broker等的总称)提供各种支持功能. cluster

一 Eclipse导入Hadoop源码项目 基本步骤: 1)在Eclipse新建一个java项目[hadoop-1.2.1] 2)将Hadoop压缩包解压目录src下的core,hdfs,mapred,tools,example四个目录copy到上述新建项目的src目录下 3)右击选择 Build Path,修改Java Build Path中[Source],删除src,添加src/core,src/hdfs,src/mapred,src/tools几个源码目录: 4)在项目中新建一个lib目

Apache kafka编译 前言 github网站kafka项目的README.md有关于kafka源码编译的说明 github地址:https://github.com/apache/kafka 编译环境准备 java maven gradle 编译 失败原因:gradle版本太高,降低到4.8就ok了  编译(执行如下命令) 会在kafka/core/build/distributions目录下生成需要的tar包 CDH kafka编译 源码还是从github获取 git clone ht

我前提已经在环境变量中将GRADLE_HOME设置到了gradle的目录(在E盘),并且在环境变量里设置了本地仓库GRADLE_USER_HOME. 编译kafka源码时候,很慢很慢.百度了一下,有说在GRADLE_HOME目录下的init.d目录下新建一个名叫 init.gradle的文件,有说在用户目录下的.gradle目录下新建init.gradle文件的. 起初我只设置了“GRADLE_HOME目录下的init.d目录下新建一个名叫 init.gradle的文件”,发现执行gradle

参考http://blog.csdn.net/gisshixisheng/article/details/43016443 和  http://blog.sina.com.cn/s/blog_6e3765300102vvh8.html 两篇文章 一.安装JDK环境 1.到到官网下载JDK 最好是1.8.0以上版本,这里jdk jdk-8u101-windows-x64(我的机器是64位,如果是32位,需要32位) 2.安装JDK 一路next,其中jdk安装位置和jre安装位置默认是放在c盘,如

kafka源码环境搭建好之后,需要在IntelliJ IDEA开发工具中以debug方式启动kafka服务器来测试消息的生产和消费. 但是在启动kafka.Kafka类中的main方法(也就是运行 kafka-0.10.0.1-src\core\src\main\scala\kafka\Kafka.scala 类中的main方法)的时候遇到一个错误,错误信息的截图如下: Error:scalac: Output path D:\kafka-0.10.0.1-src\build is shared

我的环境: JDK: 1.8.0_131 Gradle: Gradle 3.1 Kafka源码包: kafka-0.10.0.1-src.tgz Zookeeper安装包: zookeeper-3.4.6.tar.gz Scala版本: 2.10.6 提示在 D:\soft\kafka-0.10.0.1-src\build.gradle文件的230行有问题.解决办法: 打开build.gradle文件:在开头添加如下内容: ScalaCompileOptions.metaClass.daemon

前言 对于一门技术,我们最先是了解它(what),然后再熟练的使用它(how)以及何时用它(when),最后肯定要看透它(why).spring作为Java开发人员可以说是最熟悉不过的了,基本每个Java的项目都会用到spring,阅读spring的源码对于一个有理想的程序员来说也是一件必干不可的事,阅读源码我们才能更好的使用它.理解它,在遇到问题的时候我们才能更好的找到问题的原因并高效的解决. 阅读源码的最好方式就是下载下来然后导入到IDE,通过编写Test代码来Debug跟踪.spring源

eclipse导入Java源码 下载源码包(一般jdk都自带了, 我的没有) src.zip eclipse -> window -> preferences -> JAVA -> Installed JREs 选中jdk -> edit 选中rt.jar包(我的在第二行) 点击左边三角展开这个包 选择Source attachment , 右边点Source Attachment 选择要引入的文件 完毕

Kafka源码依赖于Scala环境,首先需要安装scala,这块请自行百度进行安装. 传送门 当然,我们要分析源码,需要下载源码,请自行从github上面下载. 说明:本文使用的kafka版本为0.10.0.1,这是目前公司使用的版本. 下面说明下kafka源码的工程结构: 下面主要对core目录模块进行说明,这块是kafka的核心. admin:管理员模块,操作和管理topic,paritions相关,包含create,delete topic,扩展patitions api:这块主要负责数据

这是解压hadoop后,hadoop-1.2.1目录 各目录结构及说明: Eclipse导入Hadoop源码项目: 注意:如果没有ant的包可以去网上下,不是hadoop里面的. 然后如果通过以上还报错的话,可以右键点击项目,然后如下图(配置**/*):

1. Kafka.scala 在Kafka的main入口中startup KafkaServerStartable, 而KafkaServerStartable这是对KafkaServer的封装 1: val kafkaServerStartble = new KafkaServerStartable(serverConfig) 2: kafkaServerStartble.startup 1: package kafka.server 2: class KafkaServerStartable

问题:idea导入spring 源码的步骤是: 首先从官网下载spring的源码:git clone https://github.com/spring-projects/spring-framework.git 下载后再spring-framework 下面有一个gradlew这个文件: 见下图所示: 然后切换到spring-framework这个文件夹下面: 执行命令: ./gradlew :spring-oxm:compileTestJava 这个命令执行成功的标志见下图所示: 然后把这个