栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Java操作Kafka API并与Spring Boot集成

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Java操作Kafka API并与Spring Boot集成

Java操作Kafka API
  • Kafka
    • Broker
    • Topic
    • Partition
  • Java操作Kafka API
    • 引入依赖
    • 生产者
    • 消费者
  • 与SpringBoot集成
    • 添加依赖
    • 添加配置
    • 生成者
    • 消费者

Kafka

官网:http://kafka.apache.org/

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。

Broker

Kafka 集群包含一个或多个服务器,服务器节点称为broker

Topic

每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。

物理上不同Topic的消息分开存储,逻辑上一个Topic的消息保存于一个或多个broker上,使用时只需指定消息的Topic即可生产或消费数据而不必关心数据的存放

Partition

topic中的数据分割为一个或多个partition。每个topic至少有一个partition,当生产者产生数据的时候,根据分配策略,选择分区,然后将消息追加到指定的分区的末尾

Partation数据路由规则

指定patition,则直接使用

未指定patition但指定key,通过对 key的value进行hash选出一个patition

patition和key都未指定,使用轮询选出一个patition

每条消息都会有一个自增的编号,用于标识顺序与标识消息的偏移量

每个partition中的数据使用多个segment文件存储

partition中的数据是有序的,不同partition间的数据丢失了数据的顺序

如果topic有多个partition,消费数据时就不能保证数据的顺序。严格保证消息的消费顺序的场景下,需要将partition数目设为1。

Java操作Kafka API 引入依赖


    org.apache.kafka
    kafka-clients
    3.2.0


生产者
public class MyProducer extends Thread {
    private Producer producer;

    
    public MyProducer(String threadName) {
        //设置线程的名字
        super.setName(threadName);
        //创建kafka生产者的配置信息
        Properties properties = new Properties();
        // Kafka集群地址,多个地址用逗号分割
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        //网络传输,对key和value进行序列化
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
        
        properties.put(ProducerConfig.ACKS_CONFIG, "-1");
        // 重试次数
        properties.put(ProducerConfig.RETRIES_CONFIG, "0");
        //批量写出
        properties.put(ProducerConfig.BATCH_SIZE_CONFIG, "16384");
        // 等待时间
        properties.put(ProducerConfig.LINGER_MS_CONFIG, "0");
        // 缓冲区大小
        properties.put(ProducerConfig.BUFFER_MEMORY_CONFIG, "33554432");
        // 添加分区器
//        properties.put(ProducerConfig.PARTITIONER_CLASS_CONFIG, "cn.ybzy.demo.kafka.MyPartitioner");
        //创建生产者对象,从properties对象或者从properties文件中加载信息
        producer = new KafkaProducer<>(properties);
    }

    public static void main(String[] args) {
        MyProducer producer = new MyProducer("thread-producer");
        producer.start();
    }

    @Override
    public void run() {
        int count = 0;
        while (count < 100000) {
            String key = String.valueOf(++count);
            String value = key;
            //将消息内容封装到ProducerRecord中
            ProducerRecord producerRecord = new ProducerRecord<>("mytopic", key, value);

            
            producer.send(producerRecord);

            
            Future demo = producer.send(new ProducerRecord<>("mytopic", key, "生产者发送同步消息--" + count));
            try {
                RecordMetadata recordMetadata = demo.get();
                System.out.println("主题:" + recordMetadata.topic() + " 元数据分区:" + recordMetadata.partition() + " 偏移量:" + recordMetadata.offset());
            } catch (Exception e) {
                System.out.println("消息发送失败...");
                e.printStackTrace();
            }


            
//            producer.send(new ProducerRecord<>("mytopic", key,"带回调方法的生产者发送消息--" + count), (metadata, exception) -> {
//                if (exception == null) {
//                    System.out.println("主题:"+metadata.topic()+"元数据分区:"+metadata.partition() + ",偏移量:" + metadata.offset());
//                } else {
//                    exception.printStackTrace();
//                }
//            });


            System.out.println("发送消息:" + "key:" + key + "value:" + value);
            //每个1秒发送1条
            try {
                Thread.sleep(100);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
        // 关闭资源
        producer.close();
    }
}


消费者
public class MyConsumer extends Thread {
    private KafkaConsumer consumer;

    
    public MyConsumer(String cname) {
        super.setName(cname);
        //读取配置文件
        Properties properties = new Properties();
        //ZK地址
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        // key,value的反序列化
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        //消费者所在组的名称,消费者组
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, "testGroup");
        //ZK超时时间
        properties.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, "45000");
        
        properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
        //消费者自动提交偏移量的时间间隔/延时
        properties.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");
        // 心跳时间
        properties.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG, "3000");
        properties.put(ConsumerConfig.CONNECTIONS_MAX_IDLE_MS_CONFIG, "540000");
        
        properties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");

        //创建消费者对象
        consumer = new KafkaConsumer<>(properties);
        // 订阅主题
        consumer.subscribe(Collections.singletonList("mytopic"));
    }

    public static void main(String[] args) {
        MyConsumer consumer01 = new MyConsumer("thread-consumer");
        consumer01.start();
    }


    @Override
    public void run() {
        while (true) {
        	
            ConsumerRecords poll = consumer.poll(Duration.ofMillis(100));
            // 解析并打印consumerRecords
            for (ConsumerRecord record : poll) {
                int partition = record.partition();
                long offset = record.offset();
                String data = record.value();
                String key = record.key();
                System.out.println("消费消息:" + " value:" + data + " key:" + key + " 分区:" + partition + " 偏移量:" + offset);
            }

            

            // 同步提交,当前线程会阻塞直到 offset 提交成功
//            consumer.commitSync();


            // 异步提交
//            consumer.commitAsync((Map offsets, Exception exception)-> {
//                if (exception != null) {
//                    System.err.println("异步提交失败:" + offsets);
//                }
//            });
        }
    }
}
与SpringBoot集成 添加依赖
  
            org.springframework.kafka
            spring-kafka
        
添加配置
spring:
  kafka:
    # kafka集群地址
    bootstrap-servers: localhost:9092
    # 生产者配置
    producer:
      # key/value的序列化
      key-serializer: org.apache.kafka.common.serialization.IntegerSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      # 应答方式
      acks: -1
      # 批量写出
      batch-size: 16384
      # 缓存容量
      buffer-memory: 33554432
      # 服务器地址
      bootstrap-servers: localhost:9092
    # 消费者配置
    consumer:
      # key/value的反序列化
      key-deserializer: org.apache.kafka.common.serialization.IntegerDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      # 指定一个默认的组名
      group-id: testGroup
      # 当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费
      auto-offset-reset: earliest

生成者
@RestController
public class KafkaProducerController {

    @Autowired
    private KafkaTemplate template;

    @Scheduled(initialDelay = 2000, fixedRate = 5000)
    public String send() {
        final ListenableFuture> future = this.template.send("mytopic", 0, 0, UUID.randomUUID().toString());

        try {
            final SendResult sendResult = future.get();
            final RecordMetadata metadata = sendResult.getRecordMetadata();

            System.out.println("生产者发送消息: " + metadata.topic() + "t" + metadata.partition() + "t" + metadata.offset());
        } catch (InterruptedException e) {
            e.printStackTrace();
        } catch (ExecutionException e) {
            e.printStackTrace();
        }

        return "success";
    }
}
消费者
@Component
public class KafkaConsumer {

    @KafkaListener(topics = "mytopic")
    public void onMassage(ConsumerRecord record) {
        System.out.println("收到的消息:" + "t" + record.topic() + "t" + record.partition() + "t" + record.offset() + "t" + record.key() + "t" + record.value());
    }
}
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/948970.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号