栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Kafka3.0生产者分区

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Kafka3.0生产者分区

文章目录
  • 分区好处
  • 生产者发送消息的分区策略
  • 自定义分区器
    • 新建自定义分区器类MyPartition
    • 新建测试类MyPartitioner

分区好处

1)便于合理使用存储资源,每个Partition在一个Broker上存储,可以把海量的数据按照分区切割成一块一块数据存储在多台Broker上。合理控制分区的任务,可以实现负载均衡的效果。
2)提高并行度,生产者可以以分区为单位发送数据;消费者可以以分区为单位进行消费数据。

生产者发送消息的分区策略


由上图可知,可以自行在ProducerRecord类中去测试

自定义分区器

需求:例如我们实现一个分区器实现,发送过来的数据中如果包含 huanhuan,就发往 0 号分区,包含 hao,就发往 1 号分区。不包含上述两个数据,就发往2号分区

实现步骤:
1)新建Topic为second ,并设置3个分区

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 3 --replication-factor 3 --topic second

2)在虚拟机上开启消费者

[root@hadoop103 kafka]# bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic second
新建自定义分区器类MyPartition
package com.apache.producer;

import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;

import java.util.Map;

public class MyPartition implements Partitioner {
    
    @Override
    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {

        //获取数据,huanhuan hao 以及其他数据
        String message = value.toString();
        // 创建 partition
        int partition;

        //判断数据中是否包含 huanhuan 和 hao
        if (message.contains("huanhuan")) {
            partition = 0;
        } else if (message.contains("hao")) {
            partition = 1;
        } else {
            partition = 2;
        }

        //返回分区号
        return partition;
    }

    //关闭资源
    @Override
    public void close() {}

    //配置方法
    @Override
    public void configure(Map configs) {}
}

新建测试类MyPartitioner
package com.apache.producer;

import org.apache.kafka.clients.producer.*;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class MyPartitioner {
    public static void main(String[] args) {
        //配置
        Properties properties = new Properties();

        //连接集群
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop102:9092,hadoop103:9092");

        //指定对应key value序列化类型
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

        //指定自定义分区器
        properties.put(ProducerConfig.PARTITIONER_CLASS_CONFIG, "com.apache.producer.MyPartition");

        //创建kafka生产者
        KafkaProducer kafkaProducer = new KafkaProducer<>(properties);

        //发送数据
        for (int i = 0; i <= 5; i++) {
            //添加回调函数
            kafkaProducer.send(new ProducerRecord<>("second", "huanhuan" + i), new Callback() {
                @Override
                public void onCompletion(RecordMetadata recordMetadata, Exception exception) {
                    //查看exception是否为空,如果为空,则打印成功并返回信息,如果失败则不打印,依旧返回信息
                    if (exception == null) {
                        System.out.println("主题:" + recordMetadata.topic() + "t 分区:" + recordMetadata.partition());
                    }
                }
            });

            //添加回调函数
            kafkaProducer.send(new ProducerRecord<>("second", "hao" + i), new Callback() {
                @Override
                public void onCompletion(RecordMetadata recordMetadata, Exception exception) {
                    //查看exception是否为空,如果为空,则打印成功并返回信息,如果失败则不打印,依旧返回信息
                    if (exception == null) {
                        System.out.println("主题:" + recordMetadata.topic() + "t 分区:" + recordMetadata.partition());
                    }
                }
            });

            //添加回调函数
            kafkaProducer.send(new ProducerRecord<>("second", "Bigdata" + i), new Callback() {
                @Override
                public void onCompletion(RecordMetadata recordMetadata, Exception exception) {
                    //查看exception是否为空,如果为空,则打印成功并返回信息,如果失败则不打印,依旧返回信息
                    if (exception == null) {
                        System.out.println("主题:" + recordMetadata.topic() + "t 分区:" + recordMetadata.partition());
                    }
                }
            });
        }

        //关闭资源
        kafkaProducer.close();
    }
}

idea控制台结果如下:

虚拟机终端结果如下:

所对应控制台三个分区!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/945343.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号