栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

kafka常用命令

kafka常用命令

kafka 常用命令详解
  • 1.查看所有消费组
  • 2.查看某一个消费组的详情
  • 3.消费指定组的数据
  • 4.从开始位置消费数据
  • 5.设置某一个消费组的偏移量为初始值

1.查看所有消费组
./kafka-consumer-groups.sh --bootstrap-server 172.21.80.174:9092,172.21.80.175:9092 --list

因为我用的kafka集群,所以写了两个ip和端口,这里的ip和端口不是zookeeper的ip和端口,而是kafka的ip和端口。

2.查看某一个消费组的详情
bin/kafka-consumer-groups.sh  --bootstrap-server 172.21.80.174:9092,172.21.80.175:9092 --group flow_0906 --describe

flow_0906为消费组的名称。
group 对应的是消费组名称,topic 对应的是当前消费组对应的主题,partition对应的是分区,current-offset 当前偏移量(消费数据的位置),log-end-offset 总共的偏移量,lag 代表有多少条消息还没有被消费(消息堆积)

3.消费指定组的数据
bin/kafka-console-consumer.sh --bootstrap-server 172.21.80.174:9092,172.21.80.175:9092 --topic 主题 --group 消费组名称
4.从开始位置消费数据
bin/kafka-console-consumer.sh --bootstrap-server 172.21.80.174:9092,172.21.80.175:9092 --topic 主题 --from-beginning
5.设置某一个消费组的偏移量为初始值
bin/kafka-consumer-groups.sh --bootstrap-server 172.21.80.174:9092,172.21.80.175:9092 --group flow --topic QYGKLLTJ --reset-offsets --to-earliest --execute

这个方法可以用于从新消费某个组内的所有数据。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/304515.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号