栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

cdh删除kafka topic

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

cdh删除kafka topic

在删除kafka topic时,有时候会发现无法彻底删除的情况,这里以cdh这个版本的 kafka 作为实验版本,给出一种删除kafka topic的方法。

环境说明:

环境 & 软件版本
LinuxOSCentOS 7
CDHcdh5.16.2
kafka0.11.0 , 基于ClouderaManager 以 parcel方式安装

核心配置:

1、topic自动删除开关置为true

delete.topic.enable=true


也可以在这里配置:

2、自动创建topic设置为false

auto.create.topics.enable = false

注意:
设置为true时,在向topic里生产数据或查询一个不存在的 topic 时,将自动创建新的。

3、使用 topic 删除命令

kafka-topics --delete --zookeeper dn3:2181 --topic rtdw_test_gmall.user_info

4、删除 kafka 日志数据目录

数据文件,索引文件均存在于这个目录下。

搜索 log.dirs 查找实际的目录位置(如:/var/local/kafka/data), 在此目录下找到想要删除的topic。

注意:
1、一般Broker节点为多节点,所有节点都要做删除清理操作。
2、如果设置了多个目录存储,也同样需要做删除清理操作。

5、清除zookeeper上管理的kakfa节点


被 标记为 “marked for deletion” 的topic,位于:/admin/delete_topics下
目录导航至希望删除的节点的位置,在GUI中删除,或以如下命令行方式删除。

ls /brokers/topics
rmr /brokers/topics/【topic name】
ls /admin/delete_topics
rmr /admin/delete_topics/【topic name】
6、验证topic是否已被删除

kafka-topics --list --zookeeper dn3:2181

7、重启kafka 和 zoopeeper集群

停kafka,停zookeeper,启动zookeeper,启动kafka

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/884930.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号