栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

spring cloud stream 是如何分配kafka的partitions给不同的instance的

spring cloud stream 是如何分配kafka的partitions给不同的instance的

生产者设置分区
spring.cloud.stream.bindings.output.producer.partitionKeyexpression=payload
spring.cloud.stream.bindings.output.producer.partitionCount=2

spring.cloud.stream.bindings.output.producer.partitionKeyexpression:通过该参数指定了分区键的表达式规则,我们可以根据实际的输出消息规则来配置SpEL来生成合适的分区键,关于这个参数的作用详细看这里spring.cloud.stream.bindings.output.producer.partitionCount:该参数指定了消息分区的数量 消费者设置分区

spring.cloud.stream.kafka.bindings.input.consumer.autoRebalanceEnabled=true

这个值默认就是true,多个实例会自动均衡,无需再配置instanceCount 和instanceIndex,当设置成false后,主要是通过consumer的4个参数来决定的:

spring.cloud.stream.bindings.input.consumer.partitioned=true
spring.cloud.stream.bindings.input.consumer.instanceCount =3
spring.cloud.stream.bindings.input.consumer.instanceIndex =0
spring.cloud.stream.bindings.input.consumer.concurrency  =1

instanceCount :准备启动多少个实例instanceIndex :实例编号,从0开始到instanceCount -1concurrency :每个实例中启动多少个kafka consumer

参考:

从源码中理解spring cloud kafka stream 是如何分配kafka的partitions给不同的instance的Spring Cloud构建微服务架构:消息驱动的微服务(消费分区)【Dalston版】

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/780792.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号