topic:消息存放的目录即主题
Producer:生产消息到topic的一方
Consumer:订阅topic消费消息的一方
Broker:Kafka的服务实例就是一个broker
分区好处
1、便于合理使用存储资源,每个Partition在一个Broker上存储,可以把海量的数据按照分区切割成也一块一块数据存储在多台Broker上。合理控制分区的任务,可以实现负载均衡的效果。
2、提高并行度,生产者可以以分区为单位发送数据;消费者可以以分区为单位进行消费数据。
Kafka分区原则
图片来源于尚硅谷
测试1:
参数:partition:数据发往指定分区
key:为消息选择存储分区;key值可以为空,当指定key而且不为空的时候,Kafka会根据key的hash值与分区数取模来据稳定数据存储到哪个分区
将数据发往指定的分区代码只需在for语句下添加partiton参数即可;
将数据发往指定的分区partition(1,2,0)的情况下;
结果如下图所示
测试2
没有指明 partition 值但有 key 的情况下,将 key 的 hash 值与 topic 的 partition 数进行取 余得到 partition 值。
代码只需给key附上相应值即可
当key="a"/"b"/"c"/"f"时,在控制台查看结果
如图所示
没有指明partition值但是有key值的情况下,将key的hash值与topic的partition数进行取余得到partiton值
测试3
在即没有partition也没有key的情况下;Kafka会根据topic的值来进行随机分区存储;
设置时间为2毫秒;表示间隔2毫秒运行一次;
数据量为50条;
运行结果如图:



