- Kafka
- Broker
- Topic
- Partition
- Java操作Kafka API
- 引入依赖
- 生产者
- 消费者
- 与SpringBoot集成
- 添加依赖
- 添加配置
- 生成者
- 消费者
官网:http://kafka.apache.org/
BrokerKafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。
TopicKafka 集群包含一个或多个服务器,服务器节点称为broker
每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。
Partition物理上不同Topic的消息分开存储,逻辑上一个Topic的消息保存于一个或多个broker上,使用时只需指定消息的Topic即可生产或消费数据而不必关心数据的存放
topic中的数据分割为一个或多个partition。每个topic至少有一个partition,当生产者产生数据的时候,根据分配策略,选择分区,然后将消息追加到指定的分区的末尾
Partation数据路由规则
指定patition,则直接使用 未指定patition但指定key,通过对 key的value进行hash选出一个patition patition和key都未指定,使用轮询选出一个patition
每条消息都会有一个自增的编号,用于标识顺序与标识消息的偏移量
每个partition中的数据使用多个segment文件存储
partition中的数据是有序的,不同partition间的数据丢失了数据的顺序
Java操作Kafka API 引入依赖如果topic有多个partition,消费数据时就不能保证数据的顺序。严格保证消息的消费顺序的场景下,需要将partition数目设为1。
生产者org.apache.kafka kafka-clients 3.2.0
public class MyProducer extends Thread {
private Producer producer;
public MyProducer(String threadName) {
//设置线程的名字
super.setName(threadName);
//创建kafka生产者的配置信息
Properties properties = new Properties();
// Kafka集群地址,多个地址用逗号分割
properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
//网络传输,对key和value进行序列化
properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
properties.put(ProducerConfig.ACKS_CONFIG, "-1");
// 重试次数
properties.put(ProducerConfig.RETRIES_CONFIG, "0");
//批量写出
properties.put(ProducerConfig.BATCH_SIZE_CONFIG, "16384");
// 等待时间
properties.put(ProducerConfig.LINGER_MS_CONFIG, "0");
// 缓冲区大小
properties.put(ProducerConfig.BUFFER_MEMORY_CONFIG, "33554432");
// 添加分区器
// properties.put(ProducerConfig.PARTITIONER_CLASS_CONFIG, "cn.ybzy.demo.kafka.MyPartitioner");
//创建生产者对象,从properties对象或者从properties文件中加载信息
producer = new KafkaProducer<>(properties);
}
public static void main(String[] args) {
MyProducer producer = new MyProducer("thread-producer");
producer.start();
}
@Override
public void run() {
int count = 0;
while (count < 100000) {
String key = String.valueOf(++count);
String value = key;
//将消息内容封装到ProducerRecord中
ProducerRecord producerRecord = new ProducerRecord<>("mytopic", key, value);
producer.send(producerRecord);
Future demo = producer.send(new ProducerRecord<>("mytopic", key, "生产者发送同步消息--" + count));
try {
RecordMetadata recordMetadata = demo.get();
System.out.println("主题:" + recordMetadata.topic() + " 元数据分区:" + recordMetadata.partition() + " 偏移量:" + recordMetadata.offset());
} catch (Exception e) {
System.out.println("消息发送失败...");
e.printStackTrace();
}
// producer.send(new ProducerRecord<>("mytopic", key,"带回调方法的生产者发送消息--" + count), (metadata, exception) -> {
// if (exception == null) {
// System.out.println("主题:"+metadata.topic()+"元数据分区:"+metadata.partition() + ",偏移量:" + metadata.offset());
// } else {
// exception.printStackTrace();
// }
// });
System.out.println("发送消息:" + "key:" + key + "value:" + value);
//每个1秒发送1条
try {
Thread.sleep(100);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
// 关闭资源
producer.close();
}
}
消费者
public class MyConsumer extends Thread {
private KafkaConsumer consumer;
public MyConsumer(String cname) {
super.setName(cname);
//读取配置文件
Properties properties = new Properties();
//ZK地址
properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
// key,value的反序列化
properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
//消费者所在组的名称,消费者组
properties.put(ConsumerConfig.GROUP_ID_CONFIG, "testGroup");
//ZK超时时间
properties.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, "45000");
properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
//消费者自动提交偏移量的时间间隔/延时
properties.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");
// 心跳时间
properties.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG, "3000");
properties.put(ConsumerConfig.CONNECTIONS_MAX_IDLE_MS_CONFIG, "540000");
properties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
//创建消费者对象
consumer = new KafkaConsumer<>(properties);
// 订阅主题
consumer.subscribe(Collections.singletonList("mytopic"));
}
public static void main(String[] args) {
MyConsumer consumer01 = new MyConsumer("thread-consumer");
consumer01.start();
}
@Override
public void run() {
while (true) {
ConsumerRecords poll = consumer.poll(Duration.ofMillis(100));
// 解析并打印consumerRecords
for (ConsumerRecord record : poll) {
int partition = record.partition();
long offset = record.offset();
String data = record.value();
String key = record.key();
System.out.println("消费消息:" + " value:" + data + " key:" + key + " 分区:" + partition + " 偏移量:" + offset);
}
// 同步提交,当前线程会阻塞直到 offset 提交成功
// consumer.commitSync();
// 异步提交
// consumer.commitAsync((Map offsets, Exception exception)-> {
// if (exception != null) {
// System.err.println("异步提交失败:" + offsets);
// }
// });
}
}
}
与SpringBoot集成
添加依赖
添加配置org.springframework.kafka spring-kafka
spring:
kafka:
# kafka集群地址
bootstrap-servers: localhost:9092
# 生产者配置
producer:
# key/value的序列化
key-serializer: org.apache.kafka.common.serialization.IntegerSerializer
value-serializer: org.apache.kafka.common.serialization.StringSerializer
# 应答方式
acks: -1
# 批量写出
batch-size: 16384
# 缓存容量
buffer-memory: 33554432
# 服务器地址
bootstrap-servers: localhost:9092
# 消费者配置
consumer:
# key/value的反序列化
key-deserializer: org.apache.kafka.common.serialization.IntegerDeserializer
value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
# 指定一个默认的组名
group-id: testGroup
# 当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费
auto-offset-reset: earliest
生成者
@RestController
public class KafkaProducerController {
@Autowired
private KafkaTemplate template;
@Scheduled(initialDelay = 2000, fixedRate = 5000)
public String send() {
final ListenableFuture> future = this.template.send("mytopic", 0, 0, UUID.randomUUID().toString());
try {
final SendResult sendResult = future.get();
final RecordMetadata metadata = sendResult.getRecordMetadata();
System.out.println("生产者发送消息: " + metadata.topic() + "t" + metadata.partition() + "t" + metadata.offset());
} catch (InterruptedException e) {
e.printStackTrace();
} catch (ExecutionException e) {
e.printStackTrace();
}
return "success";
}
}
消费者
@Component
public class KafkaConsumer {
@KafkaListener(topics = "mytopic")
public void onMassage(ConsumerRecord record) {
System.out.println("收到的消息:" + "t" + record.topic() + "t" + record.partition() + "t" + record.offset() + "t" + record.key() + "t" + record.value());
}
}



