文章
文章用户商铺文档圈子

快速构建RocketMQ 集群

释放双眼，带上耳机，听听看~！
🤖 由 ChatGPT 生成的文章摘要

配置jdk环境

wget https://d.frps.cn/file/tools/jdk/jdk-8u231-linux-x64.tar.gz
mkdir /usr/java
tar zxvf jdk-8u231-linux-x64.tar.gz -C /usr/java
ln -s /usr/java/jdk1.8.0_231/ /usr/java/jdk
cat > /etc/profile.d/java_home.sh << EOF
# set java environment  
export JAVA_HOME=/usr/java/jdk
export CLASSPATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar:\$JAVA_HOME/jre/lib/rt.jar
export PATH=\$PATH:\$JAVA_HOME/bin
EOF
source /etc/profile

安装Rocketmq

IP地址 Port 部署 主从配置
192.168.31.70 9876 namesrv
192.168.31.71 9876 namesrv
192.168.31.70 10911 broker-a master
192.168.31.71 10911 broker-b master
192.168.31.70 11011 broker-a slave
192.168.31.71 11011 broker-b slave

所有节点安装Rocketmq

# 下载二进制包
wget https://dist.apache.org/repos/dist/release/rocketmq/5.2.0/rocketmq-all-5.2.0-bin-release.zip

# 解压
unzip rocketmq-all-5.2.0-bin-release.zip
mv rocketmq-all-5.2.0-bin-release /opt/
ln -s /opt/rocketmq-all-5.2.0-bin-release /opt/rocketmq

# 在2台主节点创建数据存储目录
mkdir -p /app/rocketmq/master/data/store
mkdir -p /app/rocketmq/master/data/commitlog
mkdir -p /app/rocketmq/master/data/index

# 在2台从节点创建数据存储目录
mkdir -p /app/rocketmq/slave/data/store
mkdir -p /app/rocketmq/slave/data/commitlog
mkdir -p /app/rocketmq/slave/data/index

修改jmx相关log输出目录，默认/home/rocketmq

cd /opt/rocketmq/bin/

mqbroker
mqnamesrv
mqproxy
runbroker.sh
runserver.sh
tools.sh

添加以下内容 

#rewrite user home
export JAVA_OPT="${JAVA_OPT} -Duser.home=/opt/rocketmq/logs"

配置nameserver节点

  • 192.168.31.70 nameserver-01节点
cat >  /opt/rocketmq/conf/namesrv.conf <<EOF
bindAddress=0.0.0.0
listenPort = 9876
enableControllerInNamesrv = true
controllerDLegerGroup = group1
controllerDLegerPeers = n0-192.168.31.70:9878;n1-192.168.31.71:9878
controllerDLegerSelfId = n0
controllerStorePath = /app/rocketmq/DledgerController
enableElectUncleanMaster = false
notifyBrokerRoleChanged = true
EOF
  • 192.168.31.71 nameserver-02节点
cat >  /opt/rocketmq/conf/namesrv.conf <<EOF
bindAddress=0.0.0.0
listenPort = 9876
enableControllerInNamesrv = true
controllerDLegerGroup = group1
controllerDLegerPeers = n0-192.168.31.70:9878;n1-192.168.31.71:9878
controllerDLegerSelfId = n1
controllerStorePath = /app/rocketmq/DledgerController
enableElectUncleanMaster = false
notifyBrokerRoleChanged = true
EOF

配置Rocketmq主节点

192.168.31.70节点配置文件

cat >broker-a.properties <<EOF
#所属集群名字
brokerClusterName=rocketmq-cluster
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=192.168.31.70:9876;192.168.31.71:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口，10911为默认值
listenPort=10911
#Master监听slave请求端口，用于主从同步，默认为服务端口+1
haListenPort=10912
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketmq/master/data/store
#commitLog 存储路径
storePathCommitLog=/app/rocketmq/master/data/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/master/data/store/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketmq/master/data/store/index
#checkpoint 文件存储路径
storeCheckpoint=/app/rocketmq/master/data/store/checkpoint
#abort 文件存储路径
abortFile=/app/rocketmq/master/data/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误
brokerIP1=192.168.31.70
EOF

192.168.31.71节点配置文件

cat > broker-b.properties<<EOF
#所属集群名字
brokerClusterName=rocketmq-cluster
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=192.168.31.70:9876;192.168.31.71:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口，10911为默认值
listenPort=10911
#Master监听slave请求端口，用于主从同步，默认为服务端口+1
haListenPort=10912
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketmq/master/data/store
#commitLog 存储路径
storePathCommitLog=/app/rocketmq/master/data/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/master/data/store/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketmq/master/data/store/index
#checkpoint 文件存储路径
storeCheckpoint=/app/rocketmq/master/data/store/checkpoint
#abort 文件存储路径
abortFile=/app/rocketmq/master/data/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误
brokerIP1=192.168.31.71
EOF

配置Rocketmq从节点

192.168.31.70 从节点配置文件


cat >broker-b-s.properties <<EOF
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-a,他的slave也叫broker-a
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=192.168.31.70:9876;192.168.31.71:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口，10911为默认值
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketmq/slave/data/store
#commitLog 存储路径
storePathCommitLog=/app/rocketmq/slave/data/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/slave/data/store/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketmq/slave/data/store/index
#checkpoint 文件存储路径
storeCheckpoint=/app/rocketmq/slave/data/store/checkpoint
#abort 文件存储路径
abortFile=/app/rocketmq/slave/data/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误
brokerIP1=192.168.31.70
EOF

192.168.31.71 从节点配置文件

cat >broker-a-s.properties<<EOF
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-a,他的slave也叫broker-a
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=192.168.31.70:9876;192.168.31.71:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口，10911为默认值
listenPort=11011
#Master监听slave请求端口，用于主从同步，默认为服务端口+1
#haListenPort=10912
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketmq/slave/data/store
#commitLog 存储路径
storePathCommitLog=/app/rocketmq/slave/data/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/slave/data/store/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketmq/slave/data/store/index
#checkpoint 文件存储路径
storeCheckpoint=/app/rocketmq/slave/data/store/checkpoint
#abort 文件存储路径
abortFile=/app/rocketmq/slave/data/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误
brokerIP1=192.168.31.71
EOF

启动Rocketmq namesrv

在70和71节点上启动namesre，2台节点都需要启动

nohup /opt/rocketmq/bin/mqnamesrv -c /opt/rocketmq/conf/namesrv.conf &

检查服务端口

[root@abcdocker rocketmq]# netstat -lntup|grep 9876
tcp6       0      0 :::9876                 :::*                    LISTEN      1378/java

启动Rocketmq broker

192.168.31.70执行以下启动脚本

nohup /opt/rocketmq/bin/mqbroker -n '192.168.31.70:9876;192.168.31.71:9876' -c /opt/rocketmq/conf/broker-a.properties &
nohup /opt/rocketmq/bin/mqbroker -n '192.168.31.70:9876;192.168.31.71:9876' -c /opt/rocketmq/conf/broker-b-s.properties  &

192.168.31.71执行以下启动脚本

nohup /opt/rocketmq/bin/mqbroker -n '192.168.31.70:9876;192.168.31.71:9876' -c /opt/rocketmq/conf/broker-b.properties &
nohup  /opt/rocketmq/bin/mqbroker -n '192.168.31.70:9876;192.168.31.71:9876' -c /opt/rocketmq/conf/broker-a-s.properties &

Rocketmq Dashboard

dashboard需要手动构建

手动下载jar包

wget https://github.com/apache/rocketmq-dashboard
mvn spring-boot:run

mvn clean package -Dmaven.test.skip=true
java -jar target/rocketmq-dashboard-1.0.1-SNAPSHOT.jar

快速构建RocketMQ 集群

无关联文章

给TA打赏
共{{data.count}}人
人已打赏
APISIX报错锦集

APISIX runtime error: /usr/local/apisix/apisix/init.lua:332: attempt to index local 'matched_ssl' (a nil value)

2023-8-22 0:30:39

Zabbix

ZABBIX 3.2 监控服务器TCP连接状态

2017-7-27 17:06:04

0 条回复 A文章作者 M管理员
    暂无讨论，说说你的看法吧
❯

解锁会员权限

开通会员

解锁海量优质VIP资源

立刻开通
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

  • 扫码打开当前页

  • 运维博客公众号

返回顶部