RocketMQ
http://rocketmq.apache.org/docs/quick-start/
解压后添加启动脚本
nohup sh bin/mqnamesrv >> logs/namesrv.log >& &
nohup sh bin/mqbroker -n localhost: >> logs/broker.log >& &
启动broker的时候可能会报错
修改bin/runbroker.sh里面的JVM配置
JAVA_OPT="${JAVA_OPT} -server -Xms2g -Xmx2g -Xmn1g"
关闭
sh bin/mqshutdown broker
sh bin/mqshutdown namesrv
关于拒绝连接异常
Caused by: org.apache.rocketmq.remoting.exception.RemotingConnectException: connect to <172.17.0.1:> failed
解决方案:https://my.oschina.net/simpleton/blog/3022576
监控界面:https://github.com/apache/rocketmq-externals/tree/master/rocketmq-console
参考文章:https://www.cnblogs.com/cac2020/p/9447938.html
按文中部署后运行程序还报错:
直接在/etc/hosts中添加
127.0.0.1 dev-server02
再次运行即可
集群部署
使用2台机器,用2m-noslave 模式
2台机器IP为:
172.20.102.194 mq2
172.20.102.150 mq1
在两台机器的/etc/hosts中添加上面的配置
在mq1机器上配置
conf/2m-noslave/broker-a.properties
brokerClusterName=DefaultCluster
brokerName=broker-a
namesrvAddr=127.0.0.1:;mq2:
在mq2上配置
conf/2m-noslave/broker-b.properties
brokerClusterName=DefaultCluster
brokerName=broker-b
namesrvAddr=127.0.0.1:;mq1:
分别启动mq1和mq2的namesrv
nohup sh bin/mqnamesrv >> logs/app.log >& &
启动mq1的broker
nohup sh bin/mqbroker -c conf/2m-noslave/broker-a.properties >> logs/broker.log >& &
启动mq2的broker
nohup sh bin/mqbroker -c conf/2m-noslave/broker-b.properties >> logs/broker.log >& &
在监控界面中查看
spring boot 中使用
https://www.jianshu.com/p/8c4c2c2ab62e
spring-boot-starter-rocketmq
使用的时候如果遇到rocketMQTemplate bean
报错
需要配置producer
rocketmq:
name-server: 172.20.102.150:
producer:
group: ${spring.application.name}
将rocketmq.name-server 修改为 rocketmq.nameServer
这里要注意处理tag为空的情况
//根据Topic分组
Map<String, List<MessageExt>> topicGroups = msgs.stream().collect(Collectors.groupingBy(MessageExt::getTopic));
for (Map.Entry<String, List<MessageExt>> topicEntry : topicGroups.entrySet()) {
String topic = topicEntry.getKey();
//根据tags分组
List<MessageExt> messageExts=topicEntry.getValue();
for(MessageExt messageExt:messageExts){
String tag= messageExt.getTags();
if(StringUtils.isEmpty(tag)){
messageExt.setTags("*");
}
}
Map<String, List<MessageExt>> tagGroups = topicEntry.getValue().stream().collect(Collectors.groupingBy(MessageExt::getTags));
for (Map.Entry<String, List<MessageExt>> tagEntry : tagGroups.entrySet()) {
String tag = tagEntry.getKey();
//消费某个主题下,tag的消息
this.consumeMsgForTag(topic,tag,tagEntry.getValue());
}
}
非spring boot 中使用
添加beans
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:aop="http://www.springframework.org/schema/aop"
xmlns:context="http://www.springframework.org/schema/context"
xmlns:p="http://www.springframework.org/schema/p"
xmlns:tx="http://www.springframework.org/schema/tx"
xmlns:cache="http://www.springframework.org/schema/cache"
xsi:schemaLocation="http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans.xsd
http://www.springframework.org/schema/aop
http://www.springframework.org/schema/aop/spring-aop-3.0.xsd
http://www.springframework.org/schema/context
http://www.springframework.org/schema/context/spring-context-3.0.xsd
http://www.springframework.org/schema/tx
http://www.springframework.org/schema/tx/spring-tx-3.0.xsd
http://www.springframework.org/schema/cache
http://www.springframework.org/schema/cache/spring-cache.xsd"> <cache:annotation-driven/> <bean id="messageListeners" class="com.rongdu.cashloan.cl.mq.MQConsumeMsgListenerProcessor"></bean> <bean id="rocketmqConsumer" class="org.apache.rocketmq.client.consumer.DefaultMQPushConsumer" init-method="start" destroy-method="shutdown">
<property name="consumerGroup" value="${rocketmq.consumer.groupName}"/>
<property name="namesrvAddr" value="${rocketmq.consumer.namesrvAddr}"/>
<property name="messageListener" ref="messageListeners"/>
<property name="subscription">
<map>
<entry key="${rocketmq.consumer.topics}" value="${rocketmq.consumer.tags}" />
</map>
</property>
<property name="consumeMessageBatchMaxSize" value="${rocketmq.consumer.consumeMessageBatchMaxSize}"></property>
</bean> <bean id="rocketMQProducer" class="org.apache.rocketmq.client.producer.DefaultMQProducer" init-method="start" destroy-method="shutdown">
<property name="producerGroup" value="${rocketmq.producer.groupName}"/>
<property name="namesrvAddr" value="${rocketmq.producer.namesrvAddr}"/>
<!-- 失败重试次数 -->
<property name="retryTimesWhenSendFailed" value="${rocketmq.producer.retryTimesWhenSendFailed}" />
</bean> </beans>
mq-beans
添加配置
#该应用是否启用生产者
rocketmq.producer.isOnOff=on
#发送同一类消息的设置为同一个group,保证唯一,默认不需要设置,rocketmq会使用ip@pid(pid代表jvm名字)作为唯一标示
rocketmq.producer.groupName=cashloan-producer
#mq的nameserver地址
rocketmq.producer.namesrvAddr=172.20.102.150:
rocketmq.producer.topics=cashloan_risk_control_req
#消息最大长度 默认1024*(4M)
rocketmq.producer.maxMessageSize=
#发送消息超时时间,默认3000
rocketmq.producer.sendMsgTimeout=
#发送消息失败重试次数,默认2
rocketmq.producer.retryTimesWhenSendFailed= ###consumer
##该应用是否启用消费者
rocketmq.consumer.isOnOff=on
rocketmq.consumer.groupName=cashloan-consumer
#mq的nameserver地址
rocketmq.consumer.namesrvAddr=172.20.102.150:
#该消费者订阅的主题和tags("*"号表示订阅该主题下所有的tags),格式:topic~tag1||tag2||tag3;topic2~*;
rocketmq.consumer.topics=cashloan_risk_control_result
rocketmq.consumer.tags=* rocketmq.consumer.consumeThreadMin=
rocketmq.consumer.consumeThreadMax=
#设置一次消费消息的条数,默认为1条
rocketmq.consumer.consumeMessageBatchMaxSize=
application-properties
生产者
Message msg = new Message("cashloan_risk_control_req" /* Topic */,
"TagA" /* Tag */,
(String.valueOf(borrowId)).getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */
);
SendResult sendResult = producer.send(msg);
消息监听
@Component
public class MQConsumeMsgListenerProcessor implements MessageListenerConcurrently {
private static final Logger logger = LoggerFactory.getLogger(MQConsumeMsgListenerProcessor.class); @Override
public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext consumeConcurrentlyContext) {
if(CollectionUtils.isEmpty(msgs)){
logger.info("接受到的消息为空,不处理,直接返回成功");
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
MessageExt messageExt = msgs.get();
logger.info("接受到的消息为:"+messageExt.toString());
if(messageExt.getTopic().equals("cashloan_risk_control")){
if(messageExt.getTags().equals("borrowId")){
//TODO 判断该消息是否重复消费(RocketMQ不保证消息不重复,如果你的业务需要保证严格的不重复消息,需要你自己在业务端去重)
//TODO 获取该消息重试次数
int reconsume = messageExt.getReconsumeTimes();
if(reconsume ==){//消息已经重试了3次,如果不需要再次消费,则返回成功
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
//TODO 处理对应的业务逻辑 }
}
// 如果没有return success ,consumer会重新消费该消息,直到return success
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
}
RocketMQ的更多相关文章
- RocketMQ原理解析-Remoting
Remoting2. 通信层底层传输协议 RocketMq服务器与客户端通过传递RemotingCommand来交互,通过NettyDecoder,对RemotingCommand进行协议的编码与解码 ...
- RocketMQ原理解析-Broker
broker 1. broker的启动 brker的启动 Broker向namesrv注册 1. 获取namesrv的地址列表(是乱序的) 2. 遍历向每个namesrv注册topic的配置信息top ...
- RocketMQ原理解析-Consumer
consumer 1.启动 有别于其他消息中间件由broker做负载均衡并主动向consumer投递消息,RocketMq是基于拉模式拉取消息,consumer做负载均衡并通过长轮询向broker拉消 ...
- RocketMQ原理解析-Producer
producer producer 1.启动流程 Producer如何感知要发送消息的broker即brokerAddrTable中的值是怎么获得的, 1. 发送消息的时候指定会指定topic,如果 ...
- 分布式开放消息系统(RocketMQ)的原理与实践
分布式消息系统作为实现分布式系统可扩展.可伸缩性的关键组件,需要具有高吞吐量.高可用等特点.而谈到消息系统的设计,就回避不了两个问题: 消息的顺序问题 消息的重复问题 RocketMQ作为阿里开源的一 ...
- rocketmq生产者和消费者
1.生产者: package com.ebways.mq.test.mq; import com.alibaba.rocketmq.client.exception.MQClientException ...
- rocketmq查看命令
首先进入 RocketMQ 工程,进入/RocketMQ/bin 在该目录下有个 mqadmin 脚本 . 查看帮助: 在 mqadmin 下可以查看有哪些命令 a: 查看具体命令的使 ...
- rocketmq生产者部署的机器注意事项
报错: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'warningP ...
- Kafka vs RocketMQ——多Topic对性能稳定性的影响-转自阿里中间件
引言 上期我们对比了RocketMQ和Kafka在多Topic场景下,收发消息的对比测试,RocketMQ表现稳定,而Kafka的TPS在64个Topic时可以保持13万,到了128个Topic就跌至 ...
- Kafka vs RocketMQ—— Topic数量对单机性能的影响-转自阿里中间件
引言 上一期我们对比了三类消息产品(Kafka.RabbitMQ.RocketMQ)单纯发送小消息的性能,受到了程序猿们的广泛关注,其中大家对这种单纯的发送场景感到并不过瘾,因为没有任何一个网站的业务 ...
随机推荐
- Windows上Kafka运行环境安装
1. 安装JDK 1.1 安装文件:http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载JDK1.2 安装完成后需 ...
- node.js 使用 superagent 与 cheerio 完成简单爬虫
目标 建立一个 lesson3 项目,在其中编写代码. 当在浏览器中访问 http://localhost:3000/ 时,输出 CNode(https://cnodejs.org/ ) 社区首页的所 ...
- SQL视图命名规则:一般以V_xxx_xxxxxx
- 模板引擎,中间件,spring AOP原理
1. 主流模板引擎有哪些 https://blog.csdn.net/wangmx1993328/article/details/81054474 2. 解释模板引擎是个什么东西 https://ww ...
- resin4配置之一个resin下多个app的正确配置方法
可能是因为resin4出来不久的原因,很多人对一个resin配置多个app不是很了解,经过几个小时的研究,有了一些小的成果,在此分享一下: 在开发的时候很多人习惯了一个resin下配置多个app,习惯 ...
- 前后台分离开发时遇到循环引用问题"$ref"
1. 遇到的问题 { "errMsg": "", "data": { "baseinfo": { "freeT ...
- 每日一练ACM 2019.0416
2019.04.16 Problem Description Your task is to Calculate the sum of some integers. Input Input ...
- linux系统中使用socket直接发送ARP数据
这个重点是如这样创建socket: sock_send = socket ( PF_PACKET , SOCK_PACKET , htons ( ETH_P_ARP) ) ; 其后所有收发的数据都是 ...
- linux_批量关闭进程
以下环境是 fedora24 linux 系统中的情况: 仿真中遇到意外弹出上百个图片,无法一下全部关闭. 可以使用: ps -ef|grep LOCAL=NO|grep -v grep|cut -c ...
- Vue两种组件类型介绍:递归组件和动态组件
一递归组件 递归组件的特性就是可以在自己的template模板中调用自己本身.值得注意的它必须设置name属性. // 递归组件 recursive.vue <template> < ...