栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

java-中间件的使用-kafka

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

java-中间件的使用-kafka

系列文章目录


文章目录

  • 系列文章目录
  • 前言
  • 一、是什么?
  • 二、使用步骤
    • 1.引入库
    • 2.读入数据
  • 总结


前言

例如:随着技术的不断发展,数据量的增大, 中间件的使用已经成为了各大系统必不可少的一部分. 下面我们一起来看看kafka的使用


一、kafka是什么?

[摘抄自百度百科]

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。Kafka 是一种高吞吐量 的分布式发布订阅消息系统,具有如下特性:

1.通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。

2.高吞吐量 :即使是非常普通的硬件Kafka也可以支持每秒数百万 [2]  的消息。

3.支持通过Kafka服务器和消费机集群来分区消息。

4.支持Hadoop并行数据加载。

二、使用步骤 1.yml配置
kafka:
    bootstrap-servers: ip:port
    producer:
      retries: 0
      batch-size: 16384
      buffer-memory: 33554432
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      acks: 1
    consumer:
      auto-commit-interval: 1S
      auto-offset-reset: earliest
      enable-auto-commit: false
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

2.KafkaProducer
import com.alibaba.fastjson.JSON;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.support.SendResult;
import org.springframework.stereotype.Component;
import org.springframework.util.concurrent.ListenableFuture;
import org.springframework.util.concurrent.ListenableFutureCallback;

@Component
@Slf4j
public class KafkaProducer {

	@Autowired
	private KafkaTemplate kafkaTemplate;

	public void send(String topic, Object obj) {
		String obj2String = JSON.toJSONString(obj);
		log.debug("准备发送消息为:{}", obj2String);
		//发送消息
		ListenableFuture> future = kafkaTemplate.send(topic, obj2String);
		future.addCallback(new ListenableFutureCallback>() {
			@Override
			public void onFailure(Throwable throwable) {
				//发送失败的处理
				log.error(topic + " - 生产者 发送消息失败:" + throwable.getMessage());
			}

			@Override
			public void onSuccess(SendResult stringObjectSendResult) {
				//成功的处理
				log.debug(topic + " - 生产者 发送消息成功:" + stringObjectSendResult.toString());
			}
		});

	}
}

2.消息生产者
@Autowired
private KafkaProducer kafkaProducer;

kafkaProducer.send("topic_name", "消息体(自定义结构)");
3.消息消费者
import cn.hutool.json.JSONUtil;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.StringUtils;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.support.Acknowledgment;
import org.springframework.stereotype.Component;
import java.io.IOException;
import java.util.Optional;


@Component
@Slf4j
@RequiredArgsConstructor
public class KafkaConsumer {


	@KafkaListener(topics = "topic_name", groupId = "group_name")
	public void bizSaveLogListen(ConsumerRecord records, final Acknowledgment acknowledgment) {
		Optional.ofNullable(records.value()).ifPresent(o -> {
			String jsonString = o.toString();
			log.info("[start]当前消费的topic:  内容: dto {}", jsonString);
			acknowledgment.acknowledge();
			DTO dto = JSONUtil.toBean(jsonString, DTO.class);//自定义的消息结构体类
            try {
                    //业务处理
					log.info("[end]当前消费的topic: 内容: dto {}", jsonString);
				} catch (IOException e) {
					e.printStackTrace();
				}
		});
	}
}

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/970631.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号