kafka

基本概念 监听器（Listener）： Kafka Broker 可以启动多个实例，每个实例又可以监听多个端口，一个监听器就是其中一个实例 IP + 端口的组合。 监听器名字（Listener Name）：为监听器起的名字，便于描述监听器的作用。一个 Kafka Broker 可以启动多个监听器，有了名字，也就能够在需要引用监听器的地方，通过名字指明引用的具体是哪个监听器。 SASL（Simple…

具体报错如下 [2023-08-29 06:25:19,540] ERROR [Producer clientId=console-producer] Uncaught error in kafka producer I/O thread: (org.apache.kafka.clients.producer.internals.Sender) java.lang.IllegalStateExce…

命令行方式修改 创建Kafka实例Topic成功之后，您可以根据业务需要修改Topic的分区数。分区数只支持增加，不支持减少。 Kafka客户端版本为2.2以上时，支持通过kafka-topics.sh修改Topic分区数。 未开启SASL的Kafka实例，在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下，通过以下命令修改Topic分区数。 #方法一 ./kafka-…

这里使用docker compose快速部署Kafka集群(3台Broker节点，一台zk) 确定docker-compose环境 [root@tmp-01 kafka]# docker compose version Docker Compose version v2.18.1 #docker版本 [root@tmp-01 kafka]# docker info Client: Docker E…

打开Kafka启动脚本，比如kafka-server-start.sh 向脚本添加下面的代码： # 添加JMX相关配置 if [ "x$JMX_PORT" = "x" ]; then export JMX_PORT=9999 # 设置JMX端口，默认是9999 fi export KAFKA_JMX_OPTS="-Dcom.sun.manageme…

针对于Kafka集群监控，目前有多种监控源Kafka Exporter以及Jmx Exporter。想要完整的监控Kafka最好的情况下是把这两个metric都添加进行监控 Kafka Exporter metric数据如下 Metric 作用 kafka_topic_partitions 该topic的分区数 kafka_topic_partition_current_offset topic当…

我们采用helm部署高可用Zookeeper和Kafka集群，kafka的元数据存储在zookeeper中,所以要先设置zookeeper的集群然后部署kafka集群。

helm部署kafka集群提示如下报错 2023-05-23T14:05:17.874386947+08:00 [2023-05-23 14:05:17,874] INFO [ZooKeeperClient Kafka server] Connected. (kafka.zookeeper.ZooKeeperClient) 2023-05-23T14:05:18.095024790+08:00 […

当我们使用helm部署Kafka集群，Zookeeper使用外置Zookeeper时需要将Kraft也设置为false 完整报错如下 [root@k8s-02 kafka]# helm install kafka -n kafka . Error: template: kafka/templates/NOTES.txt:314:4: executing "kafka/templates/…

在大数据部门经常使用Kafka集群，有的时候大数据部门可能在Kafka中的Topic数据保存时间不需要很长，一旦被消费后就不需要一直保留。默认Topic存储时间为7day，个别的Topic或者某台Kafka集群需要修改Topic数据保存的一个周期，调整为3天或者1天 目前修改Topic 有两种方法 通过修改Kafka配置文件，使全局生效，所有的Topic数据保存时间都进行修改 通过参数调整某个To…