栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Debezium系列之:深入理解kafka connector在不同场景下的再平衡策略

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Debezium系列之:深入理解kafka connector在不同场景下的再平衡策略

Debezium系列之:深入理解kafka connector在不同场景下的再平衡策略
  • 一、新的worker加入
  • 二、现有worker跳出
  • 三、现有worker永久离职

Kafka Connector集群由3个worker组成。Kafka Connect 中连接任务是新线程:

  • 第一个提供增量协作再平衡协议的 Kafka 客户端是 Kafka Connect,在 Kafka Connect 中,worker 之间平衡的资源是连接器及其任务。连接器是一个特殊的组件,主要与外部数据系统进行连接,并充当 Kafka 记录的源或接收器。连接任务是执行实际数据传输的结构。
  • 尽管 Connect 任务通常不会在本地存储状态,并且可以在从 Kafka 恢复状态后快速停止和恢复执行,但在每次重新平衡时停止集群可能会导致严重的延迟。在某些情况下(也称为重新平衡风暴),它可能会使集群进入连续重新平衡状态,并且 Connect 集群可能需要几分钟才能稳定。

下面列举几个典型场景,结合图文深入理解kafka connector在不同场景下的再平衡策略。

一、新的worker加入

  1. 一个新的工人加入(图 1)。在第一次重新平衡期间,领导者 (Worker1) 会计算一个新的全局分配,
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/951232.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号