深入浅出理解kafka原理系列之：Controller、rebalance、HW和LEO

• 一、Controller
• 二、rebalance机制
• 三、HW和LEO

kafka每个broker启动时会向zk创建一个临时序号节点，获得的序号最小的那个broker将会作为集群中的controller，负责以下事情：

• 当集群中有一个副本的leader挂掉，需要在集群中选举出一个新的leader，选举的规则是从isr集合中最左边获得。
• 当集群中有broker新增或减少，controller会同步信息给其他broker
• 当集群中有分区新增或减少，controller会同步信息给其他broker

• 前提：消费组中的消费者没有指明分区来消费

• 触发的条件：当消费者组中的消费者和分区的关系发生变化的时候

• 分区分配的策略：在rebalance之前，分区怎么分配会有三种策略

• range：根据公式计算得到每个消费者消费哪几个分区：前面的消费者是分区总数/消费者数量+1，之后的消费者是分区总数/消费者数量

• 轮询：消费者轮流着来

• sticky：粘合策略。如果需要rebalance，会在之前已经分配的基础上调整，不会改变之前的分配情况，如果这个策略没有开，那么就要进行全部的重新分配。建议开启。

• LEO是某个副本最后消息的消息位置（log-end-offset）
• HW是已完成同步的位置。消息在写入broker完成这条消息的同步后，hw才会变化。在这之前消费者是消费不到这条消息的。在同步完成后，HW更新之后，消费者才能消费到这条消息，这样的目的是防止消息的丢失。