介绍 前面讲过producer会将数据保存在RecordAccumulator中,并通过Sender发送数据.RecordAccumulator 就相当于一个队列保存着那些准备发送到server的数据. 在producer中,有几个参数和RecordAccumulator 有关系: buffer.memory buffer.memory主要用来保存要发送的数据,里面的内存大部分是用来让RecordAccumulator保存数据的. compression.type 压缩格式 batch.size…

Kafka到底会不会丢数据(data loss)? 通常不会,但有些情况下的确有可能会发生.下面的参数配置及Best practice列表可以较好地保证数据的持久性(当然是trade-off,牺牲了吞吐量).笔者会在该列表之后对列表中的每一项进行讨论,有兴趣的同学可以看下后面的分析. block.on.buffer.full = true acks = all retries = MAX_VALUE max.in.flight.requests.per.connection = 1 使用Kafk…

客户端由两种:生产者和消费者 1. 生产者 先看一下生产者的构造方法: private KafkaProducer(ProducerConfig config, Serializer<K> keySerializer, Serializer<V> valueSerializer) { try { log.trace("Starting the Kafka producer"); Map<String, Object> userProvidedConf…

producer接口: /** * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding copyright ownership. * The ASF licenses this…

在上一篇,我们从使用方式和策略上,对消息队列做了一个宏观描述.从本篇开始,我们将深入到源码内部,仔细分析Kafka到底是如何实现一个分布式消息队列.我们的分析将从Producer端开始. 从Kafka 0.8.2开始,发布了一套新的Java版的client api, KafkaProducer/KafkaConsumer,替代之前的scala版的api.本系列的分析将只针对这套Java版的api. 多线程异步发送模型 下图是经过源码分析之后,整理出来的Producer端的架构图: 这里写图片描述…

1.普通锁 只有lock功能, Java实现:ReentrantLock lock = new ReentrantLock(); lock和unlock: lock.lock(); lock.unlock(); 2.读写锁 读写锁:分为读锁和写锁,多个读锁不互斥,读锁与写锁互斥. 总之,读的时候上读锁,写的时候上写锁! Java里面的实现:ReentrantReadWriteLock ReadWriteLock mylock = new ReentrantReadWriteLock(false)…

什么是Metadata? Topic/Partion与broker的映射关系:每一个Topic的每一个Partion的Leader.Follower的信息. 它存在哪里?持久化在Zookeeper中:运行时存储在Broker的内存中. 1 Metadata的2种更新机制 周期性的更新: 每隔一段时间更新一次.,这个通过 Metadata的lastRefreshMs, lastSuccessfulRefreshMs 这2个字段来实现.对应的ProducerConfig配置项为: metadata.…

1.Producer 网络请求 1.1 Producer Client角度 KafkaProducer主要靠Sender来发送数据给Broker. Sender: 该线程handles the sending of produce requests to the Kafka cluster. 该线程发送metadata requests来更新它感知的整个集群的视图;另外,主要负责发送produce请求到相关的broker. Selector的主要目的是网络事件的 loop 循环,通过调用sele…

属性 描述 类型 默认值 bootstrap.servers 用于建立与kafka集群的连接,这个list仅仅影响用于初始化的hosts,来发现全部的servers.格式:host1:port1,host2:port2,…,数量尽量不止一个,以防其中一个down了 list   acks Server完成 producer request 前需要确认的数量.acks=0时,producer不会等待确认,直接添加到socket等待发送:acks=1时,等待leader写到local log就行:a…

Kafka 概述 Apache Kafka 是一个分布式流处理平台,用于构建实时的数据管道和流式的应用.它可以让你发布和订阅流式的记录,可以储存流式的记录,并且有较好的容错性,可以在流式记录产生时就进行处理. Apache Kafka是分布式发布-订阅消息系统,在 kafka官网上对 Kafka 的定义:一个分布式发布-订阅消息传递系统. Kafka 特性 高吞吐量.低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition, consumer…