Kafka集群修改单个Topic数据保存周期

释放双眼,带上耳机,听听看~!
🤖 由 ChatGPT 生成的文章摘要

在大数据部门经常使用Kafka集群,有的时候大数据部门可能在Kafka中的Topic数据保存时间不需要很长,一旦被消费后就不需要一直保留。默认Topic存储时间为7day,个别的Topic或者某台Kafka集群需要修改Topic数据保存的一个周期,调整为3天或者1天

目前修改Topic 有两种方法

  • 通过修改Kafka配置文件,使全局生效,所有的Topic数据保存时间都进行修改
  • 通过参数调整某个Topic数据保存时间

以上两种方式均进行演示

相关版本信息

[root@web-03 ~]# /opt/kafka/bin/kafka-topics.sh --version
3.4.0 (Commit:2e1947d240607d53)

[root@web-03 ~]# cat /etc/redhat-release
CentOS Linux release 7.4.1708 (Core)

[root@web-03 ~]# uname  -r
3.10.0-693.el7.x86_64

全局生效

修改配置文件

[root@web-03 ~]# vim /opt/kafka/config/server.properties

# The minimum age of a log file to be eligible for deletion due to age
log.retention.hours=12

#单位为小时

如果是集群需要集群内其它机器也修改

修改完配置文件重启,配置文件是全局生效

单个Topic生效

首先我们先查看目前的Topic

[root@web-03 ~]# /opt/kafka/bin/kafka-topics.sh --list --bootstrap-server 192.168.31.71:9092
tw222
two

使用describe参数查看详细Topic数值

[root@web-03 ~]# /opt/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.31.71:9092 --describe --topic tw222
Topic: tw222    TopicId: qS-h_V78ShyKC6pN1cuCfw PartitionCount: 2   ReplicationFactor: 1    Configs: segment.bytes=1073741824
    Topic: tw222    Partition: 0    Leader: 0   Replicas: 0 Isr: 0
    Topic: tw222    Partition: 1    Leader: 0   Replicas: 0 Isr: 0
[root@web-03 ~]#

使用kafka-configs.sh修改Topic名称为tw222

[root@web-03 ~]# /opt/kafka/bin/kafka-configs.sh  --bootstrap-server 192.168.31.71:9092  --alter --entity-name  tw222  --entity-type topics --add-config retention.ms=86400000
#下面为输出结果
Completed updating config for topic tw222.

#--entity-name 指定Topic名称 tw222
#--entity-type topics 类型为Topic
#retention.ms=数据保留时间
  • 86400000毫秒=1天
  • 172800000毫秒=2天
  • 259200000毫秒=3天

毫秒计算器可以访问下面的地址,由abcdocker维护
https://tool.i4t.cn/calctime/

Kafka集群修改单个Topic数据保存周期

接下来我们查看效果

[root@web-03 ~]# /opt/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.31.71:9092 --describe --topic tw222
Topic: tw222    TopicId: qS-h_V78ShyKC6pN1cuCfw PartitionCount: 2   ReplicationFactor: 1    Configs: segment.bytes=1073741824,retention.ms=86400000
    Topic: tw222    Partition: 0    Leader: 0   Replicas: 0 Isr: 0
    Topic: tw222    Partition: 1    Leader: 0   Replicas: 0 Isr: 0

#retention.ms=86400000这里表示已经为Topic添加了过期时间

Kafka集群修改单个Topic数据保存周期

给TA打赏
共{{data.count}}人
人已打赏
群晖

群晖设置Ping不通路由器自动关机 实现断电自动关机

2023-6-27 11:31:19

Kafka报错锦集

kafka: Kraft mode You cannot use Kraft mode and Zookeeper at the same time. They are mutually exclusive. Disable zookeeper in '.Values.zookeeper.enabled' and delete values from '.Values.externalZookeeper.servers' if you want to use Kraft mode

2023-5-23 13:54:27

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索