栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

kafka 消费者组

kafka 消费者组

每个分区只能由同一个消费者组内的一个 Consumer 实例来消费

Consumer Group 下可以有一个或多个 Consumer 实例。这里的实例可以是一个单独的进程,

也可以是同一进程下的线程。在实际场景中,使用进程更为常见一些。


Consumer Group 下所有实例订阅的主题的单个分区,只能分配给组内的某个 Consumer 实例消费。这个分区当然也可以被其他的 Group 消费。

如果所有实例都属于同一个 Group,那么它实现的就是消息队列模型;

如果所有实例分别属于不同的 Group,那么它实现的就是发布 / 订阅模型。


理想情况下,Consumer 实例的数量应该等于该 Group 订阅主题的分区总数。

消费者在消费的过程中需要记录自己消费了多少数据,即消费位置信息。

在 Kafka 中,这个位置信息有个专门的术语:位移(Offset)。

首先,Rebalance 过程对 Consumer Group 消费过程有极大的影响。如果你了解 JVM 的垃圾回收机制,你一定听过万物静止的收集方式,即著名的 stop the world,简称 STW。在 STW 期间,所有应用线程都会停止工作,表现为整个应用程序僵在那边一动不动。Rebalance 过程也和这个类似,在 Rebalance 过程中,所有 Consumer 实例都会停止消费,


等待 Rebalance 完成。这是 Rebalance 为人诟病的一个方面。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/674032.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号