系列文章目录
文章目录
- 系列文章目录
- 前言
- 一、是什么?
- 二、使用步骤
- 1.引入库
- 2.读入数据
- 总结
前言
例如:随着技术的不断发展,数据量的增大, 中间件的使用已经成为了各大系统必不可少的一部分. 下面我们一起来看看kafka的使用
一、kafka是什么?
[摘抄自百度百科]
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。Kafka 是一种高吞吐量 的分布式发布订阅消息系统,具有如下特性:
1.通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
2.高吞吐量 :即使是非常普通的硬件Kafka也可以支持每秒数百万 [2] 的消息。
3.支持通过Kafka服务器和消费机集群来分区消息。
4.支持Hadoop并行数据加载。
二、使用步骤
1.yml配置
kafka:
bootstrap-servers: ip:port
producer:
retries: 0
batch-size: 16384
buffer-memory: 33554432
key-serializer: org.apache.kafka.common.serialization.StringSerializer
value-serializer: org.apache.kafka.common.serialization.StringSerializer
acks: 1
consumer:
auto-commit-interval: 1S
auto-offset-reset: earliest
enable-auto-commit: false
key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
2.KafkaProducer
import com.alibaba.fastjson.JSON;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.support.SendResult;
import org.springframework.stereotype.Component;
import org.springframework.util.concurrent.ListenableFuture;
import org.springframework.util.concurrent.ListenableFutureCallback;
@Component
@Slf4j
public class KafkaProducer {
@Autowired
private KafkaTemplate kafkaTemplate;
public void send(String topic, Object obj) {
String obj2String = JSON.toJSONString(obj);
log.debug("准备发送消息为:{}", obj2String);
//发送消息
ListenableFuture> future = kafkaTemplate.send(topic, obj2String);
future.addCallback(new ListenableFutureCallback>() {
@Override
public void onFailure(Throwable throwable) {
//发送失败的处理
log.error(topic + " - 生产者 发送消息失败:" + throwable.getMessage());
}
@Override
public void onSuccess(SendResult stringObjectSendResult) {
//成功的处理
log.debug(topic + " - 生产者 发送消息成功:" + stringObjectSendResult.toString());
}
});
}
}
2.消息生产者
@Autowired
private KafkaProducer kafkaProducer;
kafkaProducer.send("topic_name", "消息体(自定义结构)");
3.消息消费者
import cn.hutool.json.JSONUtil;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.StringUtils;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.support.Acknowledgment;
import org.springframework.stereotype.Component;
import java.io.IOException;
import java.util.Optional;
@Component
@Slf4j
@RequiredArgsConstructor
public class KafkaConsumer {
@KafkaListener(topics = "topic_name", groupId = "group_name")
public void bizSaveLogListen(ConsumerRecord, ?> records, final Acknowledgment acknowledgment) {
Optional.ofNullable(records.value()).ifPresent(o -> {
String jsonString = o.toString();
log.info("[start]当前消费的topic: 内容: dto {}", jsonString);
acknowledgment.acknowledge();
DTO dto = JSONUtil.toBean(jsonString, DTO.class);//自定义的消息结构体类
try {
//业务处理
log.info("[end]当前消费的topic: 内容: dto {}", jsonString);
} catch (IOException e) {
e.printStackTrace();
}
});
}
}
import com.alibaba.fastjson.JSON;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.support.SendResult;
import org.springframework.stereotype.Component;
import org.springframework.util.concurrent.ListenableFuture;
import org.springframework.util.concurrent.ListenableFutureCallback;
@Component
@Slf4j
public class KafkaProducer {
@Autowired
private KafkaTemplate kafkaTemplate;
public void send(String topic, Object obj) {
String obj2String = JSON.toJSONString(obj);
log.debug("准备发送消息为:{}", obj2String);
//发送消息
ListenableFuture> future = kafkaTemplate.send(topic, obj2String);
future.addCallback(new ListenableFutureCallback>() {
@Override
public void onFailure(Throwable throwable) {
//发送失败的处理
log.error(topic + " - 生产者 发送消息失败:" + throwable.getMessage());
}
@Override
public void onSuccess(SendResult stringObjectSendResult) {
//成功的处理
log.debug(topic + " - 生产者 发送消息成功:" + stringObjectSendResult.toString());
}
});
}
}



