修改rocketmq官方代码测试: package com.alibaba.middleware.race.rocketmq; import java.util.Scanner; import com.alibaba.rocketmq.client.exception.MQClientException; import com.alibaba.rocketmq.client.producer.DefaultMQProducer; import com.alibaba.rocketmq.clien

其实最好的学习方式就是互相交流,最近也有跟网友讨论了一些关于 RocketMQ 消息拉取与重平衡的问题,我姑且在这里写下我的一些总结. ## 关于 push 模式下的消息循环拉取问题 之前发表了一篇关于重平衡的文章:「[Kafka 重平衡机制](https://mp.weixin.qq.com/s/4DFup_NziFJ1xdc4bZnVcg)」,里面有说到 RocketMQ 重平衡机制是每隔 20s 从任意一个 Broker 节点获取消费组的消费 ID 以及订阅信息,再根据这些订阅信息进行分配

AVL树是有平衡条件的二叉搜索树.这个平衡条件必须容易保持,而且需要保证树的深度是O(logN). AVL=BBST 作为二叉搜索树的最后一部分,我们来介绍最为经典的一种平衡二叉搜索树:AVL树.回顾此前的几节,我们首先介绍的是二叉查找树BST.然而我们也能感受到,尽管从同时兼顾高效的静态操作 和动态操作的角度讲,BST相对此前简单的向量和链表已经具有某种优势和潜质,但是毕竟它并不能保证这一点.其原因在于 它的高度,无论是从平均情况 还是最坏情况都不能保证做到足够的低,具体来说也就是做到logN

话说这个系列鸽了好久,之前在准备语言考试,就没管博客了,现在暑假咱们继续上路! 每当我们进行一次插入之后,整棵AVL树的平衡性就有可能发生改变,为了控制整棵树的高度,我们需要通过一系列变换(重平衡)来保证它仍满足AVL的平衡条件.我们把需要重新平衡的节点叫做 ⍺,由于任意节点最多有两个儿子,因此高度不平衡时,⍺的两颗子树高度差2.考虑一下产生不平衡会有几种情况,稍加思索就会明白——四种情况的插入: ⍺->left->left ⍺->left->right ⍺->right-&

注意本文采用最新版本进行Kafka的内核原理剖析,新版本每一个Consumer通过独立的线程,来管理多个Socket连接,即同时与多个broker通信实现消息的并行读取.这就是新版的技术革新.类似于Linux I/O模型或者Select NIO 模型. Poll为什么要设置一个超时参数 条件: 1:获取足够多的可用数据 2:等待时间超过指定的超时时间. 目的在于让Consumer主线程定期的""苏醒"去做其他事情.比如:定期的执行常规任务,(比如写日志,写库等). 获取消息,

消费组组(Consumer group)可以说是kafka很有亮点的一个设计.传统的消息引擎处理模型主要有两种,队列模型,和发布-订阅模型. 队列模型:早期消息处理引擎就是按照队列模型设计的,所谓队列模型,跟队列数据结构类似,生产者产生消息,就是入队,消费者接收消息就是出队,并删除队列中数据,消息只能被消费一次.但这种模型有一个问题,那就是只能由一个消费者消费,无法直接让多个消费者消费数据.基于这个缺陷,后面又演化出发布-订阅模型. 发布-订阅模型:发布订阅模型中,多了一个主题.消费者会预先订阅

本篇博客主要参考: <浅入浅出>-RocketMQ 敖丙 APACHE-RocketMQ Gitee RocketMQ官方文档 RocketMQ 实战与进阶 GitChat 又是好久没有写博客了,虽然可以找出无数个没有写的博客的理由,但是说到底,还是一个字"懒".今天我终于吃了一颗治疗懒癌的药丸,决定写一篇博客.介绍什么好呢,思来想去,还是介绍下RocketMQ吧,毕竟写了30多篇博客,还没有好好写过关于MQ的博客呢.本篇博客比较基础,不涉及到源码分析,只是扫盲. MQ有什

每个时代,都不会亏待会学习的人. 大家好,我是 yes. 继上一篇 头条终面:写个消息中间件 ,我提到实现消息中间件的一些关键点,今天就和大家一起深入生产级别消息中间件 - RocketMQ 的内核实现,来看看真正落地能支撑万亿级消息容量.低延迟的消息队列到底是如何设计的. 这篇文章我会先介绍整体的架构设计,然后再深入各核心模块的详细设计.核心流程的剖析. 还会提及使用的一些注意点和最佳实践. 对于消息队列的用处和一些概念不太清楚的同学强烈建议先看消息队列面试连环问,这篇文章介绍了消息队列的使用

一.方案背景 RocketMQ(以下简称MQ)作为消息中间件在事务管理,异步解耦,削峰填谷,数据同步等应用场景中有着广泛使用.当业务系统进行灰度发布时,Dubbo与HTTP的调用可以基于业界通用的灰度方式在我们的微服务治理与网关平台来实现,但MQ已有的灰度方案都不能完全解决消息的隔离与切换衔接问题,为此,我们在鲁班MQ平台(包含根因分析.资源管理.订阅关系校验.延时优化等等的扩展)增加了MQ灰度功能的扩展实现. 二.RocketMQ技术特点 为什么MQ的灰度方案迟迟没有实现呢?我们先来回顾一下R

前 言 三此君看了好几本书,看了很多遍源码整理的 一张图进阶 RocketMQ 图片链接,关于 RocketMQ 你只需要记住这张图!觉得不错的话,记得点赞关注哦. [重要]视频在 B 站同步更新,欢迎围观,轻轻松松涨姿势.一张图进阶 RocketMQ-消息发送(视频版) 本文是"一张图进阶 RocketMQ" 系列第 3 篇,对 RocketMQ 不了解的同学可以先看看三此君的 一张图进阶 RocketMQ-整体架构,一张图进阶 RocketMQ - NameServer. 在了解了

RocketMQ 5.0:云原生"消息.事件.流"实时数据处理平台,覆盖云边端一体化数据处理场景. 核心特性 云原生:生与云,长与云,无限弹性扩缩,K8s友好 高吞吐:万亿级吞吐保证,同时满足微服务与大数据场景 流处理:提供轻量.高扩展.高性能和丰富功能的流计算引擎 金融级:金融级的稳定性,广泛用于交易核心链路 架构极简:零外部依赖,Shared-nothing 架构 生态友好:无缝对接微服务.实时计算.数据湖等周边生态 1. 基本概念 1.消息由生产者初始化并发送到Apache Ro

消费流程 消费者组: 一个逻辑概念,在使用消费者时需要指定一个组名.一个消费者组可以订阅多个Topic. 消费者实例: 一个消费者组程序部署了多个进程,每个进程都可以称为一个消费者实例. 订阅关系: 一个消费者组订阅一个 Topic 的某一个 Tag,这种记录被称为订阅关系.RocketMQ规定消费订阅关系(消费者组名-Topic-Tag)必须一致--在此,笔者想提醒读者,一定要重视这个问题,一个消费者组中的实例订阅的Topic和Tag必须完全一致,否则就是订阅关系不一致.订阅关系不一致会导致消

大家好,我是三友~~ 在众多关于MQ的面试八股文中有这么一道题,"如何保证MQ消息消费的幂等性". 为什么需要保证幂等性呢?是因为消息会重复消费. 为什么消息会重复消费? 明明已经消费了,为什么消息会被再次被消费呢? 不同的MQ产生的原因可能不一样 本文就以RocketMQ为例,来扒一扒RocketMQ中会导致消息重复消息的原因,最终你会发现,其实消息重复消费算是RocketMQ无奈的"bug". 微信公众号:三友的java日记 如果有对RocketMQ不熟悉的小伙

RocketMQ集群搭建(3m-3s-async) 各角色介绍 角色 作用 Producer 消息发送者,将消息发送到 Broker.无状态,其与NameServer集群中的一个节点建立长连接,定期从NameServer获取Topic路由信息,并与提供Topic服务的Master建立连接,定时向Master发送心跳 Consumer 消息消费者,从 Broker 中获取消息消费.其与NameServer集群中的一个节点建立长连接,定期从NameServer获取Topic路由信息,并与提供Topi

客户端是通过Rebalance服务做到高可靠的.当发生Broker掉线.消费者实例掉线.Topic 扩容等各种突发情况时,消费者组中的消费者实例是怎么重平衡,以支持全部队列的正常消费的呢? RebalancePullImpl 和 RebalancePushImpl 两个重平衡实现类,分别被 DefaultMQPullConsumer 和DefaultMQPushConsumer 使用.下面讲一下 Rebalancelmpl 的核心属性和方法 核心属性 public abstract class

上周客串了一下面试官,在这里就简单记录一下期间我问到的一些关于 Kafka 的面试题目,这些都是我平时在学习 Kafka 的一些总结要点. 谈谈你对 kafka 的整体认识? 问这个问题主要是想知道面试者对 Kafka 的整体认识如何,能够大致了解清楚面试者对 Kafka 的相关概念的熟悉程度,比如消息.topic.partition.replica.offset.重平衡.leader/follower.ISR 等等. 谈谈 Kafka 吞吐量为何如此高? 多分区.batch send.kafk

分布式系统面临的挑战 Is it better to be alive and wrong or right and dead? 随着计算机技术的发展,系统架构从集中式演进到分布式.分布式系统相对于单台机器来说提供了更好的可扩展性,容错性以及更低的延迟,但在单台计算机上运行软件和分布式系统上运行软件却有着根本的区别,其中一点便是单台计算机上运行软件,错误是可预测的.当硬件没有故障时,运行在单台计算机的软件总是产生同样的结果:而硬件如果出现问题,那么后果往往是整个系统的故障.因此,对于单体系统来说

温馨提示:整个 Kafka 专栏基于 kafka-2.2.1 版本. 1.KafkaConsumer 概述 根据 KafkaConsumer 类上的注释上来看 KafkaConsumer 具有如下特征: 在 Kafka 中 KafkaConsumer 是线程不安全的. 2.2.1 版本的KafkaConsumer 兼容 kafka 0.10.0 和 0.11.0 等低版本. 消息偏移量与消费偏移量(消息消费进度) Kafka 为分区中的每一条消息维护一个偏移量,即消息偏移量.这个偏移量充当该分区

目录 1.KafkaConsumer poll 详解 2.Fetcher 类详解 本节重点讨论 Kafka 的消息拉起流程. @(本节目录) 1.KafkaConsumer poll 详解 消息拉起主要入口为:KafkaConsumer#poll方法,其声明如下: ~java public ConsumerRecords<K, V> poll(final Duration timeout) { // @1 return poll(time.timer(timeout), true); // @

注意异常情况导致整个消费无限重试 阻塞消费 mq支持局部消息顺序消费,可以确保同一个消息消费队列中的消息被顺序消费.看下针对顺序消息在整个消费过程中做的调整: 队列负载: DefaultMQPushConsumerImpl#consumeOrderly决定是否是顺序消息, org.apache.rocketmq.client.impl.consumer.RebalanceImpl#rebalanceByTopic: 在新分配到队列时,新添加消息拉取任务之前会先检查是否是顺序消息.如果是顺序消息检