spring cloud stream 经验总结
---恢复内容开始---
基本概念
spring:
cloud:
stream:
kafka:
binder:
brokers: cloudTest:19092
zk-nodes: cloudTest:22182
auto-create-topics: true
bindings:
output:
destination: simpleTest
content-type: text/plain
producer:
partitionCount: 1
做类比的话binder
就类似于connection,而bindings
就是topic,其中destination
就是消息队列中的。
spring会对很多东西做出自己的封装。有些不错。有些就做些类比就好了。
关于具体channel的配置有两类。比如channel input
一类是通用配置。路径是spring.cloud.bindings.input
一类是kafka专用配置。路径是spring.cloud.kafka.bindings.input
,然后官方指导上面的文章上面default不太对。我试下来是下面的路径
spring:
cloud:
stream:
kafka:
default:
consumer:
autoCommitOffset: false
或者说官方的意思,可能说想、是同级别下面的defualt的意思吧。
MessageConverter
MessageConverter最大的一个坑就是网络上很多google到的教程。往往已经过时,比如开始的时候是在配置项里面baeldung里面很多配置,现在已经过时。现在只要配置一个bean。注入就好。
其他的看看文档就好。
- 看了一下代码,MessageConverter是通过
content-type
这个配置项来捞的。
Avro
关于Avro,就是需要一个schema-registy
服务器。简单的来书,就是共享schema的地方。其实这个话题,是Avro的话题。
回到spring的话,spring自己做了一个schma的服务器。那么你用两种选择
- 用spring的。然后配置
@EnableSchemaRegistryServer
新建一个boot的application,然后在client端配置@EnableSchemaRegistryClient
就好 - 用Confluent的话,像下面配置就好。然后记住默认的content type是
application/*+avro
@Bean
public SchemaRegistryClient schemaRegistryClient(@Value("${spring.cloud.stream.schemaRegistryClient.endpoint}") String endpoint){
ConfluentSchemaRegistryClient client = new ConfluentSchemaRegistryClient();
client.setEndpoint(endpoint);
return client;
}
如果开发目的呢。我建议还是用Confluent,然后弄个docker container就好。就是方便而已。
offset
- 获取offset:
Long offset = message.getHeaders().get(KafkaHeaders.OFFSET, Long.class);
手动提交的配置
spring:
cloud:
stream:
kafka:
bindings:
input:
consumer:
autoCommitOffset: false
bindings:
input:
destination: textPlain
group: s1
关于手动提交的
一开始的时候,按照官方的手动提交的例子,我发觉一直获得的Acknowledge一直为Null。然后细看了配置,才发现原来源于kafka的配置,要写在kafka下面。我觉得这个设计还是挺操蛋的。
然后关于meesage的meta data。其实都藏在header里面,可以通过KafkaHeaders
来取。
不过关于这点,我觉得还有一个问题,就是commit offset。其实也可以通过那个从header里面来获得customer
对象来获得,我发觉commit相关的api都在。估计一个是spring的封装。一个是原生吧
resume
基本没什么特别
@Slf4j
@Component
public class RebalancedListener implements KafkaBindingRebalanceListener {
@Override
public void onPartitionsAssigned(String bindingName,
Consumer<?, ?> consumer,
Collection<TopicPartition> partitions,
boolean initial) {
partitions.forEach(
p -> consumer.seek(p, offset)
);
}
}
@StreamListener
condition
尽管来说支持spel表达式。如果读取payload的话,payload是之前的。所以最好加在heeders里面。
有用的代码入入口
NetworkClient-initiateConnect
: 用来看kafka到底是怎么连接到那里。- 由于kafka的机制问题。经常会有很多的地址。有时候一个配置错误,不知道哪里错了。就可以看这里。有一次,我把127和172搞错了。花了一个下午
SmartMessageMethodArgumentResolver-convertPayload
: message to pojo的入口- 可以看看你配置的MessageConverter到底有没有作用
- 可以看看到底message的二进制字节码
OutboundContentTypeConvertingInterceptor-doPreSend
: pojo to message的入口- 和上面一个正好相对
---恢复内容结束---
- 和上面一个正好相对
spring cloud stream 经验总结的更多相关文章
- Spring Cloud Stream同一通道根据消息内容分发不同的消费逻辑
应用场景 有的时候,我们对于同一通道中的消息处理,会通过判断头信息或者消息内容来做一些差异化处理,比如:可能在消息头信息中带入消息版本号,然后通过if判断来执行不同的处理逻辑,其代码结构可能是这样的: ...
- Spring Cloud Stream消费失败后的处理策略(四):重新入队(RabbitMQ)
应用场景 之前我们已经通过<Spring Cloud Stream消费失败后的处理策略(一):自动重试>一文介绍了Spring Cloud Stream默认的消息重试功能.本文将介绍Rab ...
- Spring Cloud Stream消费失败后的处理策略(三):使用DLQ队列(RabbitMQ)
应用场景 前两天我们已经介绍了两种Spring Cloud Stream对消息失败的处理策略: 自动重试:对于一些因环境原因(如:网络抖动等不稳定因素)引发的问题可以起到比较好的作用,提高消息处理的成 ...
- Spring Cloud Stream消费失败后的处理策略(二):自定义错误处理逻辑
应用场景 上一篇<Spring Cloud Stream消费失败后的处理策略(一):自动重试>介绍了默认就会生效的消息重试功能.对于一些因环境原因.网络抖动等不稳定因素引发的问题可以起到比 ...
- Spring Cloud Stream消费失败后的处理策略(一):自动重试
之前写了几篇关于Spring Cloud Stream使用中的常见问题,比如: 如何处理消息重复消费 如何消费自己生产的消息 下面几天就集中来详细聊聊,当消息消费失败之后该如何处理的几种方式.不过不论 ...
- Spring Cloud Stream如何消费自己生产的消息?
在上一篇<Spring Cloud Stream如何处理消息重复消费>中,我们通过消费组的配置解决了多实例部署情况下消息重复消费这一入门时的常见问题.本文将继续说说在另外一个被经常问到的问 ...
- Spring Cloud Stream如何处理消息重复消费?
最近收到好几个类似的问题:使用Spring Cloud Stream操作RabbitMQ或Kafka的时候,出现消息重复消费的问题.通过沟通与排查下来主要还是用户对消费组的认识不够.其实,在之前的博文 ...
- 使用 Spring Cloud Stream 构建消息驱动微服务
相关源码: spring cloud demo 微服务的目的: 松耦合 事件驱动的优势:高度解耦 Spring Cloud Stream 的几个概念 Spring Cloud Stream is a ...
- Spring Cloud Stream
Spring Cloud Stream是Spring Cloud的组件之一,是一个为微服务应用构建消息驱动能力的框架. 1.导入引用 <dependency> <groupId> ...
随机推荐
- TensorFlow 2.0 入门教程实战案例
中文文档 TensorFlow 2 / 2.0 中文文档 知乎专栏 欢迎关注知乎专栏 https://zhuanlan.zhihu.com/geektutu 一.实战教程之强化学习 TensorFlo ...
- fiddler无法抓取chrome浏览器请求的解决方案之关闭代理软件
最近安装fiddler后,按照通用设置后依然无法抓取到chrome的请求,经检查,我本地的chrome安装了代理管理的插件Switchy,无论选择直接连接还是选择使用代理连接,插件都会屏蔽fiddle ...
- C语言学习书籍推荐《你必须知道的495个C语言问题》
萨米特 (Steve summit) (作者), 孙云 (译者), 朱群英 (译者) 下载地址:点我 <你必须知道的495个C语言问题>以问答的形式组织内容,讨论了学习或使用C语言的过程中 ...
- RDBMS与数据库之间的关系
什么是数据库? 数据库就是用来存放数据的仓库,它是一种特殊的文件. 什么是关系型数据库? 关系型数据库就是指建立在关系模型基础上的数据库,通常由多张表组成,这些表之间存在一定的关系. 什么是RDBMS ...
- 【Spring容器】项目启动后初始化数据的两种实践方案
早期业务紧急,没有过多的在意项目的运行效率,现在回过头看走查代码,发现后端项目(Spring MVC+MyBatis)在启动过程中多次解析mybatis的xml配置文件及初始化数据,对开发阶段开发人员 ...
- 《Predict Anchor Links across Social Networks via an Embedding Approach》阅读笔记
基本信息 文献:Predict Anchor Links across Social Networks via an Embedding Approach 时间:2016 期刊:IJCAI 引言 预测 ...
- Java编程思想:擦除的补偿(数组泛型处,我有很多细节没有研究)
import sun.net.www.content.text.Generic; import java.lang.reflect.Array; import java.util.ArrayList; ...
- 【题解】P2078 朋友-C++
题目传送门 这道题目就是一个模板并查集 但是!唯一不同的地方在于,这道题的编号有负数. C++的map你忘了吗!!!下表可以是任意类型. 所以把fa数组开成一个int->int的map就可以了 ...
- Python学习4——条件、循环及其他语句总结
多种语句 打印语句: 导入语句: 赋值语句: 代码块: 条件语句: 断言: 循环: 推导: pass.dal.exec和eval : 学习到的新函数:(以下函数的应用代码均在IDLE测试通过) ch ...
- VUE v-for循环中每个item节点动态绑定不同函数方法
一. 业务场景: 一个title 处 可能有 一个或多个按钮, 按钮对应不同的响应事件 二. 思路 : 按钮个数 根据传入的数据length 来循环渲染, 每条数据对应的事件名称 通过动态绑定 三 ...