-
中间件Kafka 高可用企业级集群交付文档
Kafka集群开启JMX端口后，在Broker执行kafka-topic命令会存在JMX端口占用情况，所有命令需要到Kafka Client节点执行- 36
- 0
-
二进制Kafka集群接入JMX_Exporter以及Kafka_exporter监控
前面介绍过了Docker-compose以及Kubernetes做Kafka的监控，接下来我们使用传统的方式接入Kafka的监控。 首先需要下载jmx_exporter的包，引用到Kafka 启动文件中 wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.19.0/jmx_promethe…- 168
- 0
-
kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING
启动Kafka提示错误日志如下 [root@abcdocker logs]# /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties [2023-12-21 11:21:59,612] INFO Registered kafka:type=kafka.Log4jController MBean (kafka.…- 312
- 0
-
Kafka 安全认证SASL
基本概念 监听器（Listener）： Kafka Broker 可以启动多个实例，每个实例又可以监听多个端口，一个监听器就是其中一个实例 IP + 端口的组合。 监听器名字（Listener Name）：为监听器起的名字，便于描述监听器的作用。一个 Kafka Broker 可以启动多个监听器，有了名字，也就能够在需要引用监听器的地方，通过名字指明引用的具体是哪个监听器。 SASL（Simple…- 359
- 0
-
Kafka Uncaught error in kafka producer I/O thread: (org.apache.kafka.clients.producer.internals.Sender) java.lang.IllegalStateException: No entry found for connection 0
具体报错如下 [2023-08-29 06:25:19,540] ERROR [Producer clientId=console-producer] Uncaught error in kafka producer I/O thread: (org.apache.kafka.clients.producer.internals.Sender) java.lang.IllegalStateExce…- 288
- 0
-
Kafka修改topic partition分区数
命令行方式修改 创建Kafka实例Topic成功之后，您可以根据业务需要修改Topic的分区数。分区数只支持增加，不支持减少。 Kafka客户端版本为2.2以上时，支持通过kafka-topics.sh修改Topic分区数。 未开启SASL的Kafka实例，在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下，通过以下命令修改Topic分区数。 #方法一 ./kafka-…- 864
- 0
-
Docker compose 快速部署Kafka集群
这里使用docker compose快速部署Kafka集群(3台Broker节点，一台zk) 确定docker-compose环境 [root@tmp-01 kafka]# docker compose version Docker Compose version v2.18.1 #docker版本 [root@tmp-01 kafka]# docker info Client: Docker E…- 1.5k
- 0
-
Kafka开通JMX端口配置
打开Kafka启动脚本，比如kafka-server-start.sh 向脚本添加下面的代码： # 添加JMX相关配置 if [ "x$JMX_PORT" = "x" ]; then export JMX_PORT=9999 # 设置JMX端口，默认是9999 fi export KAFKA_JMX_OPTS="-Dcom.sun.manageme…- 1.2k
- 0
-
Prometheus 监控Kafka集群并设置AlertManager告警
针对于Kafka集群监控，目前有多种监控源Kafka Exporter以及Jmx Exporter。想要完整的监控Kafka最好的情况下是把这两个metric都添加进行监控 Kafka Exporter metric数据如下 Metric 作用 kafka_topic_partitions 该topic的分区数 kafka_topic_partition_current_offset topic当…- 2k
- 0
-
k8s HELM 安装Kafka Zookeeper集群
我们采用helm部署高可用Zookeeper和Kafka集群，kafka的元数据存储在zookeeper中,所以要先设置zookeeper的集群然后部署kafka集群。- 1.6k
- 0
-
Kafka ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
helm部署kafka集群提示如下报错 2023-05-23T14:05:17.874386947+08:00 [2023-05-23 14:05:17,874] INFO [ZooKeeperClient Kafka server] Connected. (kafka.zookeeper.ZooKeeperClient) 2023-05-23T14:05:18.095024790+08:00 […- 1.2k
- 0
-
kafka: Kraft mode You cannot use Kraft mode and Zookeeper at the same time. They are mutually exclusive. Disable zookeeper in ‘.Values.zookeeper.enabled’ and delete values from ‘.Values.externalZookeeper.servers’ if you want to use Kraft mode
当我们使用helm部署Kafka集群，Zookeeper使用外置Zookeeper时需要将Kraft也设置为false 完整报错如下 [root@k8s-02 kafka]# helm install kafka -n kafka . Error: template: kafka/templates/NOTES.txt:314:4: executing "kafka/templates/…- 592
- 0
-
Kafka集群修改单个Topic数据保存周期
在大数据部门经常使用Kafka集群，有的时候大数据部门可能在Kafka中的Topic数据保存时间不需要很长，一旦被消费后就不需要一直保留。默认Topic存储时间为7day，个别的Topic或者某台Kafka集群需要修改Topic数据保存的一个周期，调整为3天或者1天 目前修改Topic 有两种方法 通过修改Kafka配置文件，使全局生效，所有的Topic数据保存时间都进行修改 通过参数调整某个To…- 918
- 0
-
消息队列 Kafka –未完
消息队列 Kafka 是一个分布式的、高吞吐量、高可扩展性消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一。Apache Kafka起源于LinkedIn，后来于2011年成为开源Apache项目，然后于2012年成为First-class Apache项目。Kafka是用Scala和Java编写的。 Apache Kafka是基于发布…- 1.6k
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×