栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

kafka问题排查经历

kafka问题排查经历

今天kafka遇到个问题,go代码中消费者一直接收不到消息。
开始排查问题:

  1. 登录kafka集群的三个节点,使用ps -ef +network查看三个节点的broker都是正常启动的。
  2. 查看启动配置,三个节点的broker.id分别为0,1,2
  3. ls /logs/kafka-logs 查看topic的日志,确定producer生产的消息都正确存储了。
  4. ./bin/kafka-topics.sh --describe --topic mytopic 查看topic的详细信息,确定topic是一个分区,一个副本,leader已经isr都是正常的。
  5. ./bin/kafka-console-consumer.sh --bootstrap-server myip:9092 --topic mytopic --from-beginning ,测试consumer,确定可以收到消息。
    至此确定不是kafka服务的问题。
  6. 回头排查代码,发现在new consumer的时候指定了group,由于同一个topic只能被同一个消费者组内的一个consumer消费,如果该代码在别的地方部署了,我再进行部署的时候,我将消费不到数据。
  7. 通过查询消费者组信息验证
    ./bin/kafka-consumer-groups.sh --bootstrap-server myip:9092 --list
    ./bin/kafka-consumer-groups.sh --bootstrap-server myip:9092 --group mygroup --describe

遗留的问题:

  • 如果指定group将会导致代码不能重复部署
  • 如果不指定group,每次都从开始进行消费会导致重复消费
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/696097.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号