RocketMQ多Master多Slave模式部署
每个 Master 配置一个 Slave，有多对Master-Slave，HA采用同步双写方式，主备都写成功，向应用返回成功。
优点：数据与服务都无单点，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高。
缺点：性能比异步复制模式略低，大约低10%左右，发送单个消息的RT会略高。目前主宕机后，备机不能自动切换为主机，后续会支持自动切换功能。
### 先启动 NameServer
### 在机器 A，启动第一个 Master
### 在机器 B，启动第二个 Master
### 在机器 C，启动第一个 Slave
### 在机器 D，启动第二个 Slave
以上 Broker 与 Slave 配对是通过指定相同的brokerName 参数来配对，Master的 BrokerId 必须是 0，Slave 的BrokerId 必须是大与 0 的数。
另外一个 Master 下面可以挂载多个 Slave，同一 Master 下的多个 Slave通过指定不同的 BrokerId来区分。
1. 服务器环境如下图所示，四台机器，IP位7为主节点，149是7的从节点。105是主节点，160是105的从节点
序号 IP 用户名 角色 模式
192.168.1.7 root nameServer1,brokerServer1 Master1
192.168.1.105 root nameServer2,brokerServer2 Master2
192.168.1.149 root nameServer3,brokerServer3 Master1-slave1
192.168.1.160 root nameServer4,brokerServer4 Master2-slave1
2. Hosts添加信息
IP NAME
192.168.1.7 rocketmq-nameserver1
192.168.1.7 rocketmq-master1
192.168.1.105 rocketmq-nameserver2
192.168.1.105 rocketmq-master2
192.168.1.149 rocketmq-nameserver3
192.168.1.149 rocketmq-master1-slave1
192.168.1.160 rocketmq-nameserver4
192.168.1.160 rocketmq-master2-slave1
3.编辑hosts文件【4台机器】
# vim /etc/hosts
4.上传解压【4台机器】
# 上传alibaba-rocketmq-3.2..tar.gz文件至/home/xm6f/dev
# cd /home/xm6f/dev
# tar -zxvf alibaba-rocketmq-3.2..tar.gz
# mv alibaba-rocketmq rocketmq
5.创建存储路径【4台机器】
# mkdir /home/xm6f/dev/rocketmq/store
# mkdir /home/xm6f/dev/rocketmq/store/commitlog
# mkdir /home/xm6f/dev/rocketmq/store/consumequeue
# mkdir /home/xm6f/dev/rocketmq/store/index
6.RocketMQ配置文件【4台机器】--该文件有点类似于Redis里面的redis.con
# sudo vim /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-a.properties ##192.168..7配置文件
# sudo vim /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-a-s.properties ##192.168..149配置文件
# sudo vim /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-b.properties ##192.168..105配置文件
# sudo vim /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-b-s.properties ##192.168..160配置文件
broker-a.properties文件
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/xm6f/dev/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/home/xm6f/dev/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/xm6f/dev/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/xm6f/dev/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/xm6f/dev/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/xm6f/dev/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误
brokerIP1=192.168.1.7
broker-a-s.properties文件
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/xm6f/dev/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/home/xm6f/dev/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/xm6f/dev/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/xm6f/dev/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/xm6f/dev/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/xm6f/dev/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误
brokerIP1=192.168.1.149
broker-b.properties文件
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/xm6f/dev/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/home/xm6f/dev/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/xm6f/dev/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/xm6f/dev/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/xm6f/dev/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/xm6f/dev/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误
brokerIP1=192.168.1.105
broker-b-s.properties文件
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/xm6f/dev/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/home/xm6f/dev/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/xm6f/dev/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/xm6f/dev/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/xm6f/dev/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/xm6f/dev/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误
brokerIP1=192.168.1.160
7. 修改启动脚本参数【4台机器】
# vim /home/xm6f/dev/rocketmq/bin/runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -
XX:PermSize=128m -XX:MaxPermSize=320m" # vim /home/xm6f/dev/rocketmq/bin/runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -
XX:PermSize=128m -XX:MaxPermSize=320m"
注意：启动脚本设置不合理，可能报如下异常：
Error occurred during initialization of VM
Too small new size specified
8.防火墙
默认启动用使用3个端口9876,10911,10912
分别代表名称服务端口，broker端口，broker ha端口。
ha端口haListenPort表示Master监听Slave请求的端口，默认为服务端口+1
添加到/etc/sysconfig/iptables的filter表INPUT链中
-A INPUT -m state --state NEW -m tcp -p tcp --dport -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport -j ACCEPT
添加完成后重启防火墙
service iptables restart
9.启动NameServer【4台机器】
# cd /home/xm6f/dev/rocketmq/bin
# sudo nohup sh mqnamesrv &
10.启动BrokerServer 【4台机器】
注意配置文件需要根据实际配置/broker-X.properties
# cd /home/xm6f/dev/rocketmq/bin
# 192.168.1.7
# sudo nohup sh mqbroker -c /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-a.properties >/dev/null >& &
# 192.168.1.105
# sudo nohup sh mqbroker -c /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-b.properties >/dev/null >& &
# 192.168.1.149
# sudo nohup sh mqbroker -c /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-a-s.properties >/dev/null >& &
# 192.168.1.160
# sudo nohup sh mqbroker -c /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-b-s.properties >/dev/null >& &
说明：IP位7为主节点，149是7的从节点。105是主节点，160是105的从节点
输入jps看到如上图所示表示成功
停止服务broker：
# sh mqshutdown broker
11.在tomcat中部署rocketmq-console.war
修改rocketmq-console配置文件，找到/tomcat-8082/webapps/rocketmq-console/WEB-INF/classes/config.properties文件，添加如下：
rocketmq.namesrv.addr=192.168.1.7:;192.168.1.105:;192.168.1.149:;192.168.1.160:
throwDone=true
启动tomcat，在浏览器输入：http://192.168.1.105:8082/rocketmq-console/
多Master多Slave可以保证实时消费，比如说：我有一主一从，如果主机宕机，那么我从主机上获得的数据如果在没有从节点，那么这些消息将在主节点重启之前将无法被消费，直到主节点启动，如果这个主节点里面有从节点，从节点可以对外提供服务，并且从节点有从主节点同步过来的数据，那么还是可以将这些消息实时地消费掉。这点多Master方式无法做到。
当宕机的主节点起来之后，会和从节点进行数据的同步，不会重复消费刚刚消费过的数据。
12.数据清理
# cd /home/xm6f/devrocketmq/bin
# sh mqshutdown broker
# sh mqshutdown namesrv
# --等待停止
# rm -rf /home/xm6f/devrocketmq/store
# mkdir /home/xm6f/devrocketmq/store
# mkdir /home/xm6f/devrocketmq/store/commitlog
# mkdir /home/xm6f/devrocketmq/store/consumequeue
# mkdir /home/xm6f/devrocketmq/store/index
# --按照上面步骤重启NameServer与BrokerServer
启动时报错：
注释runserver.sh和runbroker.sh以下，并添加JAVA_HOME地址
#[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/home/xm6f/dev/jdk1..0_80
#[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/home/xm6f/dev/jdk1..0_80
#[ ! -e "$JAVA_HOME/bin/java" ] && error_exit "Please set the JAVA_HOME variable in your environment, We need java(x64)!" export JAVA_HOME="/home/xm6f/dev/jdk1.7.0_80"
export JAVA="$JAVA_HOME/bin/java"
.....
RocketMQ多Master多Slave模式部署的更多相关文章
- RocketMQ多master迁移至多master多slave模式
一.项目背景 由于当前生产环境RocketMQ机器使用年限较长,已经过保,并且其中一台曾经发生过异常宕机事件.并且早期网络规划较乱,生产.开发.测试等网络没有分开,公司决定对当前网络进行规划,区分各个 ...
- redis配置master－slave模式
由于云服务器存在闪断现象,项目线上会存在基于redis的功能在闪断时段内出现异常,所以redis需要做master-slave模式.直接上代码: 原单机redis,RedisConnectionFac ...
- hadoop的master和slave模式
hadoop的集群是基于master/slave模式. namenode和jobtracker属于master,datanode和tasktracker属于slave,master只有一个,而slav ...
- RocketMQ环境搭建(双master双slave模式)
1.环境准备: 准备四台主机(我这里用CentOSx64) 主机 角色 broker 192.168.192.130 Master1 BrokerServerA 192.168.192.131 Mas ...
- Linux环境快速搭建RocketMQ双Master模式
RocketMQ的集群部署方式有多种,其中包括单个Master.多个Master.多Master多Slave模式(异步复制)以及多Master多Slave模式(同步双写).本次以多Master集群模式 ...
- RocketMQ多master多salve集群搭建
一.RocketMQ集群模式简介 单Master方式 风险比较大, 一旦Broker重启或者宕机, 将导致整个环境不可用, 不建议线上使用. 多Master模式 一个集群中没有slave, 全是mas ...
- Docker 部署 RocketMQ 双主双从模式（ 版本v4.7.0）
文章转载自:http://www.mydlq.club/article/96/ 系统环境: 系统版本:CentOS 7.8 RocketMQ 版本:4.7.0 Docker 版本:19.03.13 一 ...
- ActiveMQ集群支持Master/Slave模式
现在ActiveMQ, 在Failover方面有两种解决方案:Pure Master Slave和Shared File System Master Slave. 先看Pure Master ...
- Jenkins—Master/Slave模式
Jenkins可部署在windows或者linux平台上,项目系统的用户多数为windows系统.如果Jenkins部署在linux上,而自动化任务要在windows平台执行,那么就需要使用Jenki ...
随机推荐
- java中的中文字符转码技术
package com.yin.test; import java.io.UnsupportedEncodingException; import java.net.URLDecoder; impor ...
- Codeforces Round #298 (Div. 2)--D. Handshakes
#include <stdio.h> #include <algorithm> #include <set> using namespace std; #defin ...
- js-图片时间(倒计时)
<!DOCTYPE html><html> <head> <meta charset="UTF-8"> ...
- bootstrap 图片切换
<!DOCTYPE html><html> <head> <meta charset="utf-8" /> <title> ...
- CSS 基础 例子 图片拼合技术
利用background-position xpos ypos 就是以图片的左上角顶点为原点,往下和右都为正,反之为负,移动图片 如: background-position: 15px 20px;( ...
- 2.启动MySql服务
windows10下启动mysql服务出现服务名无效的原因及解决方法 问题原因:mysql服务没有安装. 解决办法: 在 mysql bin目录下 以管理员的权限 执行 mysqld -install ...
- PHP内存溢出Allowed memory size of 解决办法
PHP内存溢出Allowed memory size of 解决办法 博客分类: php ============================Allowed memory size of x ...
- ios 百度地图，火星坐标，地球坐标互转
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 3 ...
- 定时任务 Wpf.Quartz.Demo.4
本文继续介绍定时任务 Wpf.Quartz.Demo.3的一些小细节, 代码也请前往第3节下载. 1.RichTextBox右键菜单 <RichTextBox.ContextMenu> ...
- bower 安装后 jade 引用404问题
这个问题困扰我接近2小时,这是我在stackoveflow 上面挖到的 原文地址:http://stackoverflow.com/questions/21821773/configure-node- ...