实际业务处理 Kafka 消息丢失、重复消费和顺序消费的问题
关于 Kafka 消息丢失、重复消费和顺序消费的问题
消息丢失,消息重复消费,消息顺序消费等问题是我们使用 MQ 时不得不考虑的一个问题,下面我结合实际的业务来和你分享一下解决方案。
消息丢失问题
比如我们使用 Kakfa 时,以下场景都会发生消息丢失:
- producer -> broker (生产者生产消息)
- broker -> broker (集群环境,broker 同步给其他 broker)
- broker -> consumer (消费者消费消息)
解决方案也很简单,设置 acks(消息确认机制)retries(重试机制)factor(设置 partition 数量)...
一般来说,最常见的消息丢失场景就是:consumer 消费消息。
要保证 consumer 消费消息时不丢失消息,必须使用手动提交 ack
我们业务是这样实现的:
- 从 Kafka 拉取消息(一次批量拉取 100条)
- 为每条消息分配一个 msgId(递增)
- 将 msgId 存入内存队列(sortSet)
- 使用 Map 存储 msgId 与 msg (包含 offset)的映射关系
- 当业务处理完消息后,获取当前消息的 msgId,然后从 sortSet 中删除该 msgId(表示该消息已经处理过了)
- ack 时,如果当前 msgId <= sortSet(msgId 在 sortSet 中是从小到大排列) ,就提交当前 offset
- 就算 consumer 在处理消息时挂了,下次重启时就会从 sortSet 队首的消息开始拉取,实现至少处理一次语义。
- 步骤 7 存在一个问题:当消息处理完后,还没从 sortSet 中删除该 msgId,系统就挂了,当系统重启时,又会重新处理一次刚刚已处理过的消息,这就引出消息重复消费的问题了。
消息重复消费
要解决消息重复消费,也就是要实现幂等(幂等就是:多次请求,但结果保持不变,举一个例子你就明白了:在 http 中,你发送同一个 get 请求,无论发送多少次,返回结果都是一样的
)
回到我们的业务场景上,我以处理订单消息为例:
幂等Key 由我们的订单Id + 订单状态组成(一笔订单的状态只会处理一次)
在处理之前,我们首先会去 Redis 查询是否存在这个 Key
如果存在,说明我们已经处理过了,直接丢掉;
如果不存在,说明没处理过,继续往下处理;
最终的逻辑是:将处理过的数据存到DB上,再把 幂等Key 存到 Redis 上
显然一般场景下 Redis 是无法保证幂等的
所以Redis只是一个前置处理,最终的幂等性依赖 DB 的唯一Key(订单Id+订单状态)
总的来说就是:通过 Redis 做前置处理,DB 唯一索引做最终保证实现幂等性
消息顺序消费
消息的顺序性很好理解,还是以订单处理为例
订单的状态有:支付、确认收货、完成等等,而订单下还有计费、退款的消息报
理论上来说:支付的消息肯定要比退款的消息先到。
但是程序处理的过程就不一定了,所以我们处理消息顺序消费的流程如下:
- 宽表:创建一张宽表,唯一索引是 订单Id,将订单的每个状态拆分为一个列,当消息来了,只更新对应的字段就好,消息只会存在短暂的状态不一致问题,但是最终状态是一致的
- 消息补偿机制
- 把相同的 userID/orderId 发送到相同的 partition(因为一个 consumer 消费一个 partition)
实际业务处理 Kafka 消息丢失、重复消费和顺序消费的问题的更多相关文章
- Kafka消息丢失
1.Kafka消息丢失的情况: (1)auto.commit.enable=true,消费端自动提交offersets设置为true,当消费者拉到消息之后,还没有处理完 commit interval ...
- RocketMQ事务消费和顺序消费详解
一.RocketMq有3中消息类型 1.普通消费 2. 顺序消费 3.事务消费 顺序消费场景 在网购的时候,我们需要下单,那么下单需要假如有三个顺序,第一.创建订单 ,第二:订单付款,第三:订单完成. ...
- 【转】RocketMQ事务消费和顺序消费详解
RocketMQ事务消费和顺序消费详解 转载说明:该文章纯转载,若有侵权或给原作者造成不便望告知,仅供学习参考. 一.RocketMq有3中消息类型 1.普通消费 2. 顺序消费 3.事务消费 顺序消 ...
- MQ的消息丢失/重复/积压的问题解决
在我们实际的开发过程中,我们肯定会用到MQ中间件,常见的MQ中间件有kafka,RabbitMQ,RocketMQ.在使用的过程中,我们必须要考虑这样一个问题,在使用MQ的时候,我们怎么确保消息100 ...
- Kafka丢数据、重复消费、顺序消费的问题
面试官:今天我想问下,你觉得Kafka会丢数据吗? 候选者:嗯,使用Kafka时,有可能会有以下场景会丢消息 候选者:比如说,我们用Producer发消息至Broker的时候,就有可能会丢消息 候选者 ...
- RabbitMQ,RocketMQ,Kafka 事务性,消息丢失和消息重复发送的处理策略
消息队列常见问题处理 分布式事务 什么是分布式事务 常见的分布式事务解决方案 基于 MQ 实现的分布式事务 本地消息表-最终一致性 MQ事务-最终一致性 RocketMQ中如何处理事务 Kafka中如 ...
- RocketMQ的顺序消费和事务消费
一.三种消费 :1.普通消费 2. 顺序消费 3.事务消费 1.1 顺序消费:在网购的时候,我们需要下单,那么下单需要假如有三个顺序,第一.创建订单 ,第二:订单付款,第三:订单完成.也就是这个三个 ...
- Kafka在高并发的情况下,如何避免消息丢失和消息重复?kafka消费怎么保证数据消费一次?数据的一致性和统一性?数据的完整性?
1.kafka在高并发的情况下,如何避免消息丢失和消息重复? 消息丢失解决方案: 首先对kafka进行限速, 其次启用重试机制,重试间隔时间设置长一些,最后Kafka设置acks=all,即需要相应的 ...
- kafka系列八、kafka消息重复和丢失的场景及解决方案分析
消息重复和丢失是kafka中很常见的问题,主要发生在以下三个阶段: 生产者阶段 broke阶段 消费者阶段 一.生产者阶段重复场景 1.根本原因 生产发送的消息没有收到正确的broke响应,导致pro ...
随机推荐
- Linux环境下安装RocketMQ
最近在学习消息队列,针对RocketMQ进行了初步研究,这里记录下安装配置的过程,与大家共同分享 一.选择合适的版本 注:安装.运行过程中需要依赖JDK,因此安装之前需要保证当前linux环境下具备上 ...
- 华夏基金X袋鼠云:基金业数字化转型,为什么说用户才是解题答案?
"精准营销是以客户为中心,运用各种可利用的方式,在恰当的时间,以恰当的价格,通过恰当的渠道,向恰当的顾客提供恰当的产品." 这是学者许瑾在科特勒精准营销理论的基础上,从实践的角度对 ...
- 报错————Type interface com.ssm.mapper.NewProductMapper is not known to the MapperRegistry.
报错: Exception in thread "main" org.apache.ibatis.binding.BindingException: Type interface ...
- Nacos+OpenFegin正确调用服务的姿势!
Nacos 支持两种 HTTP 服务请求,一个是 REST Template,另一个是 Feign Client.之前的文章咱们介绍过 Rest Template 的调用方式,主要是通过 Ribbon ...
- Linux-Centos7学习笔记
镜像下载.域名解析.时间同步请点击阿里云开源镜像站 下载.安装与配置 下载 下载Centos镜像,网站见参考 点击大的版本,例如7,再选择isos进行下载 安装 这里使用的VMware 12 Pro, ...
- 域渗透 | kerberos认证及过程中产生的攻击
文章首发于公众号<Z2O安全攻防> 直接公众号文章复制过来的,排版可能有点乱, 可以去公众号看. https://mp.weixin.qq.com/s/WMGkQoMnQdyG8UmS ...
- Python 的排序方法 sort 和 sorted 的区别
使用 sort() 或内建函数 sorted() 对列表进行排序.它们之间的区别有两点: sort() 方法是对原列表进行操作,而 sorted() 方法会返回一个新列表,不是在原来的基础上进行操作. ...
- String s = "Hello";s = s + " world!";这两行代码执行后,原始的String对象中的内容到底变了没有?
没有.因为String被设计成不可变(immutable)类,所以它的所有对象都是不可变对象.在这段代码中,s原先指向一个String对象,内容是 "Hello",然后我们对s进行 ...
- Auth0案例学习(SpringMVC形式)
官方SpringMVC示例Github:https://github.com/auth0-samples/auth0-spring-mvc-sample/tree/master/01-Login Ma ...
- Spring 配置文件 ?
Spring 配置文件是个 XML 文件,这个文件包含了类信息,描述了如何配置它们,以及如何相互调用.