RocketMQ下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.3.0/rocketmq-all-4.3.0-bin-release.zip

环境规划：

名称 IP 配置
NameServer01 10.2.42.81 2C4G
NameServer02 10.2.42.82 2C4G
Broker-a Master 10.2.42.83 1C2G
Broker-a Slave 10.2.42.84 1C2G
Broker-b Master 10.2.42.85 1C2G
Broker-b Slave 10.2.42.86 1C2G

修改配置文件

下载安装包，解压到opt目录下

wget https://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.3.0/rocketmq-all-4.3.0-bin-release.zip

unzip rocketmq-all-4.3.0-bin-release.zip -d /opt

mv rocketmq-all-4.3.0-bin-release rocketMQ

进入配置文件目录进行修改

cd /opt/rocketMQ/conf/2m-2s-sync

vim broker-a.properties

#所属集群名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样

brokerName=broker-a

#0 表示 Master，>0 表示 Slave

brokerId=0

#nameServer地址，分号分割

namesrvAddr=10.2.42.81:9876;10.2.42.82:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭

autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口

listenPort=10911

haListenPort=10912

#删除文件时间点，默认凌晨 4点

deleteWhen=04

#文件保留时间，默认 48 小时

fileReservedTime=48

#commitLog每个文件的大小默认1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/data/alibaba-rocketmq/store

#commitLog 存储路径

storePathCommitLog=/data/alibaba-rocketmq/store/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/data/alibaba-rocketmq/store/consumequeue

#消息索引存储路径

storePathIndex=/data/alibaba-rocketmq/store/index

#checkpoint 文件存储路径

storeCheckpoint=/data/alibaba-rocketmq/store/checkpoint

#abort 文件存储路径

abortFile=/data/alibaba-rocketmq/store/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE

brokerRole=SYNC_MASTER

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

vim broker-a-s.properties

#所属集群名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样

brokerName=broker-a

#0 表示 Master，>0 表示 Slave

brokerId=1

#nameServer地址，分号分割

namesrvAddr=10.2.42.81:9876;10.2.42.82:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭

autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口

listenPort=10921

haListenPort=10922

#删除文件时间点，默认凌晨 4点

deleteWhen=04

#文件保留时间，默认 48 小时

fileReservedTime=48

#commitLog每个文件的大小默认1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/data/alibaba-rocketmq/store

#commitLog 存储路径

storePathCommitLog=/data/alibaba-rocketmq/store/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/data/alibaba-rocketmq/store/consumequeue

#消息索引存储路径

storePathIndex=/data/alibaba-rocketmq/store/index

#checkpoint 文件存储路径

storeCheckpoint=/data/alibaba-rocketmq/store/checkpoint

#abort 文件存储路径

abortFile=/data/alibaba-rocketmq/store/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE

brokerRole=SLAVE

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

vim broker-b.properties

#所属集群名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样

brokerName=broker-b

#0 表示 Master，>0 表示 Slave

brokerId=0

#nameServer地址，分号分割

namesrvAddr=10.2.42.81:9876;10.2.42.82:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭

autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口

listenPort=10911

haListenPort=10912

#删除文件时间点，默认凌晨 4点

deleteWhen=04

#文件保留时间，默认 48 小时

fileReservedTime=48

#commitLog每个文件的大小默认1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/data/alibaba-rocketmq/store

#commitLog 存储路径

storePathCommitLog=/data/alibaba-rocketmq/store/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/data/alibaba-rocketmq/store/consumequeue

#消息索引存储路径

storePathIndex=/data/alibaba-rocketmq/store/index

#checkpoint 文件存储路径

storeCheckpoint=/data/alibaba-rocketmq/store/checkpoint

#abort 文件存储路径

abortFile=/data/alibaba-rocketmq/store/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE

brokerRole=SYNC_MASTER

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

vim broker-b-s.properties

#所属集群名字

brokerClusterName=rocketmq-cluster

#broker名字，注意此处不同的配置文件填写的不一样

brokerName=broker-b

#0 表示 Master，>0 表示 Slave

brokerId=1

#nameServer地址，分号分割

namesrvAddr=10.2.42.81:9876;10.2.42.82:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭

autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口

listenPort=10921

haListenPort=10922

#删除文件时间点，默认凌晨 4点

deleteWhen=04

#文件保留时间，默认 48 小时

fileReservedTime=48

#commitLog每个文件的大小默认1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条，根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/data/alibaba-rocketmq/store

#commitLog 存储路径

storePathCommitLog=/data/alibaba-rocketmq/store/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/data/alibaba-rocketmq/store/consumequeue

#消息索引存储路径

storePathIndex=/data/alibaba-rocketmq/store/index

#checkpoint 文件存储路径

storeCheckpoint=/data/alibaba-rocketmq/store/checkpoint

#abort 文件存储路径

abortFile=/data/alibaba-rocketmq/store/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE

brokerRole=SLAVE

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

修改日志目录

cd /opt/rocketMQ/conf

sed -i 's/\${user.home}/\/data\/alibaba-rocketmq/g' logback_broker.xml

sed -i 's/\${user.home}/\/data\/alibaba-rocketmq/g' logback_filtersrv.xml

sed -i 's/\${user.home}/\/data\/alibaba-rocketmq/g' logback_namesrv.xml

sed -i 's/\${user.home}/\/data\/alibaba-rocketmq/g' logback_tools.xml

修改完毕后将整个项目重新进行打包，分发到其他主机

cd /opt

tar zcvf rocketMQ.tar.gz rocketMQ/

scp rocketMQ.tar.gz xx.xx.xx.xx:/opt

创建目录

在上面6台服务器上分别执行如下命令，创建我们所需要的日志和数据目录

mkdir /data/alibaba-rocketmq/logs/rocketmqlogs/otherdays -p

mkdir /data/alibaba-rocketmq/store/{commitlog,config,consumequeue,index} -p

touch /data/alibaba-rocketmq/store/{checkpoint,abort}

启动NameServer

进入NameServer主机10.2.42.81/82，然后解压opt目录下的rocketMQ.tar.gz，然后启动NameServer

cd /opt

tar xf rocketMQ.tar.gz

## 启动

nohup /opt/rocketMQ/bin/mqnamesrv &

查看端口和进程是否起来

[root@DCA-APP-COM-MQ-NameServer01 bin]# ss -ntl

State       Recv-Q Send-Q                                Local Address:Port                                               Peer Address:Port

LISTEN      0      128                                               *:22                                                            *:*

LISTEN      0      100                                       127.0.0.1:25                                                            *:*

LISTEN      0      128                                               *:10050                                                         *:*

LISTEN      0      128                                              :::9876                                                         :::*

LISTEN      0      128                                              :::22                                                           :::*

也可以看日志如下表示启动成功

另一台相同的操作。

启动Broker

在opt目录下解压rocketMQ.tar.gz

cd /opt

tar xf rocketMQ.tar.gz

由于我们的服务器配置是1C2G，所以我们需要修改一下启动脚本，修改为如下配置即可
vim runbroker.sh

JAVA_OPT="${JAVA_OPT} -server -Xms2g -Xmx2g -Xmn1g"

在10.2.42.83上启动

nohup /opt/rocketMQ/bin/mqbroker -c /opt/rocketMQ/conf/2m-2s-sync/broker-a.properties &

在10.2.42.84上启动

nohup /opt/rocketMQ/bin/mqbroker -c /opt/rocketMQ/conf/2m-2s-sync/broker-a-s.properties &

在10.2.42.85上启动

nohup /opt/rocketMQ/bin/mqbroker -c /opt/rocketMQ/conf/2m-2s-sync/broker-b.properties &

在10.2.42.86上启动

nohup /opt/rocketMQ/bin/mqbroker -c /opt/rocketMQ/conf/2m-2s-sync/broker-b-s.properties &

查看端口和进程是否启动成功，以10.2.42.83为例：

[root@DCA-APP-COM-MQ-BrokerM-S01 bin]# ss -ntl

State       Recv-Q Send-Q                                Local Address:Port                                               Peer Address:Port

LISTEN      0      128                                               *:22                                                            *:*

LISTEN      0      100                                       127.0.0.1:25                                                            *:*

LISTEN      0      128                                               *:10050                                                         *:*

LISTEN      0      128                                              :::22                                                           :::*

LISTEN      0      128                                              :::10909                                                        :::*

LISTEN      0      128                                              :::10911                                                        :::*

LISTEN      0      50                                               :::10912                                                        :::*

在NameServer上查看topic

[root@DCA-APP-COM-MQ-NameServer01 bin]# sh mqadmin topicList -n "10.2.42.81:9876;10.2.42.82:9876"

Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0

Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0

RMQ_SYS_TRANS_HALF_TOPIC

rocketmq-cluster

AUTO_CREATE_TOPIC_KEY

broker-b

BenchmarkTest

OFFSET_MOVED_EVENT

broker-a

SELF_TEST_TOPIC

部署监控平台

下载源码包

cd /root

wget https://github.com/apache/rocketmq-externals/archive/rocketmq-console-1.0.0.tar.gz

tar xf rocketmq-console-1.0.0.tar.gz

进入配置文件目录，修改配置文件

cd /root/rocketmq-externals-rocketmq-console-1.0.0/rocketmq-console/src/main/resources

vim application.properties

server.contextPath=

server.port=8080

#spring.application.index=true

spring.application.name=rocketmq-console

spring.http.encoding.charset=UTF-8

spring.http.encoding.enabled=true

spring.http.encoding.force=true

logging.config=classpath:logback.xml

#if this value is empty,use env value rocketmq.config.namesrvAddr  NAMESRV_ADDR | now, you can set it in ops page.default localhost:9876

rocketmq.config.namesrvAddr=10.2.42.81:9876;10.2.42.82:9876

#if you use rocketmq version < 3.5.8, rocketmq.config.isVIPChannel should be false.default true

rocketmq.config.isVIPChannel=

#rocketmq-console's data path:dashboard/monitor

rocketmq.config.dataPath=/data/alibaba-rocketmq/rocketmq-console

#set it false if you don't want use dashboard.default true

rocketmq.config.enableDashBoardCollect=true

编译

mvn clean package -Dmaven.test.skip=true

编译完成后会在target目录下生成rocketmq-console-ng-1.0.0.jar，上传到指定服务器并启动，我这里上传到10.2.42.81，启动如下：

nohup java -jar rocketmq-console-ng-1.0.0.jar &

浏览器访问如下http://10.2.42.81:8080：

添加topic

可以看到添加成功

命令行操作

查看topic

sh mqadmin topicList -n "10.2.42.81:9876;10.2.42.82:9876"

添加topic

sh mqadmin updateTopic -n "10.2.42.81:9876;10.2.42.82:9876" -c rocketmq-cluster -t qft-asyncNotify

RocketMQ搭建全过程的更多相关文章

  1. linux环境(CentOS-6.7)下redis集群的搭建全过程

    linux环境下redis集群的搭建全过程: 使用mount命令将光盘挂载到/mnt/cdrom目录下: [root@hadoop03 ~]# mount -t iso9660 -o ro /dev/ ...

  2. Gerrit代码审核服务器搭建全过程

    Gerrit代码审核服务器搭建全过程 转载请标明出处:http://blog.csdn.net/ganshuyu/article/details/8978614 环境:Ubuntu12.xx 1.建立 ...

  3. RocketMQ学习笔记（16）----RocketMQ搭建双主双从（异步复制）集群

    1. 修改RocketMQ默认启动端口 由于只有两台机器,部署双主双从需要四个节点,所以只能修改rocketmq的默认启动端口,从官网下载rocketmq的source文件,解压后使用idea打开,全 ...

  4. RocketMQ学习笔记（4）----RocketMQ搭建双Master集群

    前面已经学习了RockeMQ的四种集群方式,接下来就来搭建一个双Master(2m)的集群环境. 1. 双Master服务器环境 序号 ip 用户名 密码 角色 模式 (1) 47.105.145.1 ...

  5. 【分布式事务】基于RocketMQ搭建生产级消息集群？

    导读 目前很多互联网公司的系统都在朝着微服务化.分布式化系统的方向在演进,这带来了很多好处,也带来了一些棘手的问题,其中最棘手的莫过于数据一致性问题了.早期我们的软件功能都在一个进程中,数据的一致性可 ...

  6. Git服务器搭建全过程分步详解【转】

    转自:http://developer.51cto.com/art/201507/483448.htm GitHub是一个免费托管开源代码的Git服务器,如果我们不想公开项目的源代码,又不想付费使用, ...

  7. 完整版的OpenLDAP搭建全过程

    总结:          先写总结,再写正文,嘿嘿嘿.这还是第一次认真的写个文档,写个总结,哈哈.大概在一个月前,第一次听说这个东西,完全没有概念,刚开始的时候看理论的知识,看了几次之后就没看了,看不 ...

  8. Git服务器搭建全过程

    GitHub是一个免费托管开源代码的Git服务器,如果我们不想公开项目的源代码,又不想付费使用,那么我们可以自己搭建一台Git服务器. 下面我们就看看,如何在Ubuntu上搭建Git服务器.我们使用V ...

  9. 微信小程序语音识别服务搭建全过程解析（项目开源在github）

    silk v3录音转olami语音识别和语义处理的api服务(ubuntu16.04服务器上实现) ## 重要的写在前面 重要事项一: 目前本文中提到的API已支持微信小程序录音文件格式:silk v ...

随机推荐

  1. CSS 布局水平 & 垂直对齐

    元素居中对齐 margin: auto; 文本居中对齐 text-align: center; 图片居中对齐 要让图片居中对齐, 可以使用 margin: auto; 并将它放到 块 元素中 左右对齐 ...

  2. JPA入门例子(采用JPA的hibernate实现版本) --- 会伴随 配置文件：persistence.xml

    JPA入门例子(采用JPA的hibernate实现版本) 分类: j2se2011-03-30 16:09 45838人阅读 评论(9) 收藏 举报 jpahibernate数据库jdbcjava框架 ...

  3. 【three.js第七课】鼠标点击事件和键盘按键事件的使用

    当我们使用鼠标操作three.js渲染出的对象时,不仅仅只是仅限用鼠标对场景的放大.缩小.旋转而已,还有鼠标左键.右键的点击以及键盘各种按键等等的事件.我们需要捕获这些事件,并在这些事件的方法里进行相 ...

  4. sublime text3配置html环境

    1.安装View in Browser 2.配置快捷键 [1]Preferences—Key Bindings—User. [2]插入代码 [ //ie { "keys": [&q ...

  5. Android | 教你如何快速集成机器学习能力

    背景   继上篇博文说了如何快速集成扫码以后 我又上官网去了解了一下其他的功能,其中机器学习服务是当下比较火的,而且还是免费的.就赶紧点进去学习一下.看看能够快速实现哪些功能. 链接在这里:https ...

  6. 防止html标签转义

    function htmlDecode ( str ) { var ele = document.createElement('span'); ele.innerHTML = str; return ...

  7. phpcms模块安装

    工作中需要用到 phpcms开源框架,借鉴了   http://www.cnblogs.com/benpaodelulu/p/6874201.html这个地址,搞定的 ,非常实用 如果有用到的朋友们可 ...

  8. weblogic补丁升级详细步骤,18.7.17补丁更新

    weblogic打补丁 到weblogic官网下载补丁包 对应的补丁包  如: p22248372_1036012_Generic.zip 一  安装补丁步骤 1.登录linux的weblogic用户 ...

  9. Ubuntu 设置 log 级别

    Linux环境下使用rsyslog管理日志 rsyslog linux运维 linux 22.7k 次阅读  ·  读完需要 22 分钟     在 Linux 系统中,日志文件记录了系统中包括内核. ...

  10. python字符串 提取括号中的内容

    返回值是一个列表 re.findall(r'[(](.*?)[)]', str1)