-
二进制Kafka_2.13-3.9.0集群开启并配置ACL用户授权
关于Kafka开启ACL权限控制，网上很多博客内容已经不适用于目前的版本，我这里使用官方最新版本3.9.0进行测试，并且3.1.0也测试没有问题，可放心使用 Kafka 开启SASL 在开启Kafka ACL之前，需要使用先开启SASL，否则无法直接开启ACL 详细SASL配置策略这里不在描述，可以查看下面的文章 在启动Kafka之前，创建Kafka-admin用户 不创建Kafka…- 355
- 1
-
Apache Kafka 多个高危漏洞
Kafka官网发布CVE-2025-27817、CVE-2025-27818、CVE-2025-27819高危漏洞 危害描述： CVE-2025-27817：攻击者可以利用该漏洞，读取服务器上的敏感文件（如配置文件、环境变量等），或者发起 SSRF 攻击，访问内部网络或其他受限资源，从而获取敏感信息或进一步扩大攻击范围。 CVE-2025-27818：攻击者可以利用该漏洞通过精心构造的 LDAP …- 476
- 0
-
Kafka发送超过1M消息
在Kafka中，默认消息限制为1M，超过1M后Kafka会提示The request included a message larger than the max message size the server will accept.此时需要修改Kafka Server配置文件，或者手动调整Topic 消息接收大小限制。请根据业务大小及时调整，不易限制过大 环境演示 创建测试topic ./ka…- 253
- 0
-
Kafka 自带脚本压力测试工具
在kakfa的bin目录下有很多脚本，其中有两个脚本是kafka官方自带的压力测试脚本。用来测试kafka在生产和消费中，有哪些瓶颈来限制了工作效率。 安装文档可以参考 kafka-producer-perf-test.sh 生产者压测脚本 kafka-consumer-perf-test.sh 消费者压测脚本 测试项 压测消息数（单位:W） 测试命令 生产者MQ消息 10 ./kafka-pro…- 417
- 0
-
中间件Kafka 高可用企业级集群交付文档
Kafka集群开启JMX端口后，在Broker执行kafka-topic命令会存在JMX端口占用情况，所有命令需要到Kafka Client节点执行- 297
- 0
-
快速构建RocketMQ 集群
配置jdk环境 wget https://d.frps.cn/file/tools/jdk/jdk-8u231-linux-x64.tar.gz mkdir /usr/java tar zxvf jdk-8u231-linux-x64.tar.gz -C /usr/java ln -s /usr/java/jdk1.8.0_231/ /usr/java/jdk cat > /etc/prof…- 233
- 0
-
Zabbix 使用RabbitMQ node by Zabbix agent监控RabbitMQ
RabbitMQ node by Zabbix agent 为Zabbix默认模板，在我们安装好Zabbix Server后就可以直接进行使用了 在配置模板前需要在RabbitMQ 模板修改监控键值 修改默认RabbitMQ node by Zabbix agent 监控项 修改RabbitMQ模板，找到RabbitMQ node by Zabbix agent选择监控项 找到RabbitMQ: …- 733
- 0
-
Zabbix 监控RabbitMQ提示Preprocessing failed for: HTTP/1.1 500 Internal Server Error..content-length: 0
触发器错误日志如下 Preprocessing failed for: HTTP/1.1 500 Internal Server Error..content-length: 0 1. Failed: cannot perform regular expression "\n\s?\n(.*)" match for value of type "none":…- 259
- 0
-
二进制Kafka集群接入JMX_Exporter以及Kafka_exporter监控
前面介绍过了Docker-compose以及Kubernetes做Kafka的监控，接下来我们使用传统的方式接入Kafka的监控。 首先需要下载jmx_exporter的包，引用到Kafka 启动文件中 wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.19.0/jmx_promethe…- 385
- 0
-
kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING
启动Kafka提示错误日志如下 [root@abcdocker logs]# /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties [2023-12-21 11:21:59,612] INFO Registered kafka:type=kafka.Log4jController MBean (kafka.…- 603
- 0
-
Nacos 集群搭建文档
Nacos是 Dynamic Naming and Configuration Service的首字母简称,相较之下,它更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。本次采用单台虚拟机及APISIX作为代理配置高可用- 450
- 0
-
Kafka 安全认证SASL
基本概念 监听器（Listener）： Kafka Broker 可以启动多个实例，每个实例又可以监听多个端口，一个监听器就是其中一个实例 IP + 端口的组合。 监听器名字（Listener Name）：为监听器起的名字，便于描述监听器的作用。一个 Kafka Broker 可以启动多个监听器，有了名字，也就能够在需要引用监听器的地方，通过名字指明引用的具体是哪个监听器。 SASL（Simple…- 639
- 0
-
Kafka Uncaught error in kafka producer I/O thread: (org.apache.kafka.clients.producer.internals.Sender) java.lang.IllegalStateException: No entry found for connection 0
具体报错如下 [2023-08-29 06:25:19,540] ERROR [Producer clientId=console-producer] Uncaught error in kafka producer I/O thread: (org.apache.kafka.clients.producer.internals.Sender) java.lang.IllegalStateExce…- 436
- 0
-
Kafka修改topic partition分区数
命令行方式修改 创建Kafka实例Topic成功之后，您可以根据业务需要修改Topic的分区数。分区数只支持增加，不支持减少。 Kafka客户端版本为2.2以上时，支持通过kafka-topics.sh修改Topic分区数。 未开启SASL的Kafka实例，在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下，通过以下命令修改Topic分区数。 #方法一 ./kafka-…- 1.2k
- 0
-
Docker compose 快速部署Kafka集群
这里使用docker compose快速部署Kafka集群(3台Broker节点，一台zk) 确定docker-compose环境 [root@tmp-01 kafka]# docker compose version Docker Compose version v2.18.1 #docker版本 [root@tmp-01 kafka]# docker info Client: Docker E…- 1.9k
- 0
-
Kafka开通JMX端口配置
打开Kafka启动脚本，比如kafka-server-start.sh 向脚本添加下面的代码： # 添加JMX相关配置 if [ "x$JMX_PORT" = "x" ]; then export JMX_PORT=9999 # 设置JMX端口，默认是9999 fi export KAFKA_JMX_OPTS="-Dcom.sun.manageme…- 1.6k
- 0
-
Prometheus 监控Kafka集群并设置AlertManager告警
针对于Kafka集群监控，目前有多种监控源Kafka Exporter以及Jmx Exporter。想要完整的监控Kafka最好的情况下是把这两个metric都添加进行监控 Kafka Exporter metric数据如下 Metric 作用 kafka_topic_partitions 该topic的分区数 kafka_topic_partition_current_offset topic当…- 2.6k
- 0
-
k8s HELM 安装Kafka Zookeeper集群
我们采用helm部署高可用Zookeeper和Kafka集群，kafka的元数据存储在zookeeper中,所以要先设置zookeeper的集群然后部署kafka集群。- 2k
- 0
-
Kafka ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
helm部署kafka集群提示如下报错 2023-05-23T14:05:17.874386947+08:00 [2023-05-23 14:05:17,874] INFO [ZooKeeperClient Kafka server] Connected. (kafka.zookeeper.ZooKeeperClient) 2023-05-23T14:05:18.095024790+08:00 […- 1.5k
- 0
-
kafka: Kraft mode You cannot use Kraft mode and Zookeeper at the same time. They are mutually exclusive. Disable zookeeper in ‘.Values.zookeeper.enabled’ and delete values from ‘.Values.externalZookeeper.servers’ if you want to use Kraft mode
当我们使用helm部署Kafka集群，Zookeeper使用外置Zookeeper时需要将Kraft也设置为false 完整报错如下 [root@k8s-02 kafka]# helm install kafka -n kafka . Error: template: kafka/templates/NOTES.txt:314:4: executing "kafka/templates/…- 741
- 0
-
Kafka集群修改单个Topic数据保存周期
在大数据部门经常使用Kafka集群，有的时候大数据部门可能在Kafka中的Topic数据保存时间不需要很长，一旦被消费后就不需要一直保留。默认Topic存储时间为7day，个别的Topic或者某台Kafka集群需要修改Topic数据保存的一个周期，调整为3天或者1天 目前修改Topic 有两种方法 通过修改Kafka配置文件，使全局生效，所有的Topic数据保存时间都进行修改 通过参数调整某个To…- 1.3k
- 0
-
RabbitMQ 高可用架构原理及集群搭建
RabbitMQ 基础概念 RabbitMQ 工作原理 Broker: 接收和分发消息的应用，RabbitMQ Server就是Message Broker Virtual host: 处于多租户和安全因素设计，把AMQP的基本组件划分到一个虚拟分组中，类似于网络中的namespace概念。当多个不同的用户使用同一个RabbitMQ 提供服务时，可以划分为多个vhost，每个用户在自己的vhost…- 790
- 0
-
Ubuntu apt安装RabbitMQ
Ubuntu版本 18.04 设置apt清华源 root@iZ2zeipez8ut08dv6ypru0Z:~# cat /etc/apt/sources.list deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main multiverse restricted universe deb https://mirrors.tuna.t…- 279
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×