- 1. 生产者消息发送流程
- 1.1 发送原理
- 1.2 生产者重要参数列表
- 2. 异步发送 API
- 2.1 普通异步发送
- 2.2 带回调函数的异步发送
- 3. 同步发送 API
- 4. 生产者分区
- 4.1 分区好处
- 4.2 生产者发送消息的分区策略
- 4.2.1 默认的分区器 DefaultPartitioner
- 4.2.2 自定义分区器
- 5. 生产经验
- 5.1 生产者如何提高吞吐量
- 5.2 数据可靠性
- 5.2.1 ack 应答原理
- 5.3 数据去重
- 5.3.1 数据传递语义
- 5.3.2 幂等性
- 5.3.3 生产者事务
- 5.4 数据有序和无序
图例:
步骤:
- 在消息发送的过程中,涉及到了两个线程——main 线程和 Sender 线程。
- 在 main 线程中配置生产者(如:连接、主题、指定分区、key-value序列化等配置),然后通过send方法将消息发送到分区器partitioner暂存,实际暂存在该分区器里的一个双端队列 RecordAccumulator。该RecordAccumulator里有多个DQuene队列,默认大小16k=batch.size;
- Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka Broker服务器, sender拉取前提是batch.size达到16k,或者达到linger.ms。
java生产者代码可能需要:
| 参数名称 | 描述 |
|---|---|
| bootstrap.servers | 生 产 者 连 接 集 群 所 需 的 broker 地 址 清 单 。 如hadoop102:9092,hadoop103:9092,hadoop104:9092,可以设置 1 个或者多个,中间用逗号隔开。注意这里并非需要所有的 broker 地址,因为生产者从给定的 broker里查找到其他 broker 信息。 |
| key.serializer 和 value.serializer | 指定发送消息的 key 和 value 的序列化类型。一定要写全类名。 |
| buffer.memory | RecordAccumulator 缓冲区总大小, 默认 32m。 |
| batch.size | 缓冲区一批数据最大值, 默认 16k。适当增加该值,可以提高吞吐量,但是如果该值设置太大,会导致数据传输延迟增加。 |
| linger.ms | 如果数据迟迟未达到 batch.size, sender 等待 linger.time之后就会发送数据。单位 ms, 默认值是 0ms,表示没有延迟。 生产环境建议该值大小为 5-100ms 之间。 |
| acks | 0:生产者发送过来的数据,不需要等数据落盘应答。 1:生产者发送过来的数据, Leader 收到数据后应答。 -1(all):生产者发送过来的数据,Leader+和isr 队列里面的所有节点收齐数据后应答。 默认值是-1, -1 和all 是等价的 |
| max.in.flight.requests.per.connection | 允许最多没有返回 ack 的次数, 默认为 5,开启幂等性要保证该值是 1-5 的数字。 |
| retries | 当消息发送出现错误的时候,系统会重发消息。 retries表示重试次数。 默认是 int 最大值, 2147483647。如果设置了重试,还想保证消息的有序性,需要设置MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION=1否则在重试此失败消息的时候,其他的消息可能发送成功了。 |
| retry.backoff.ms | 两次重试之间的时间间隔,默认是 100ms。 |
| enable.idempotence | 是否开启幂等性, 默认 true,开启幂等性。 |
| compression.type | 生产者发送的所有数据的压缩方式。 默认是 none,也就是不压缩。支持压缩类型: none、 gzip、 snappy、 lz4 和 zstd。 |
kafka默认就是异步发送
生产者案列
public class CustomProducer {
public static void main(String[] args) throws
InterruptedException {
// 1. 创建 kafka 生产者的配置对象
Properties properties = new Properties();
// 2. 给 kafka 配置对象添加配置信息: bootstrap.servers
properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
"hadoop102:9092");
// key,value 序列化(必须): key.serializer, value.serializer
properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringSerializer");
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringSerializer");
// 3. 创建 kafka 生产者对象
KafkaProducer kafkaProducer = new
KafkaProducer(properties);
// 4. 调用 send 方法,发送消息
for (int i = 0; i < 5; i++) {
kafkaProducer.send(new
ProducerRecord<>("first","atguigu " + i));
}
// 5. 关闭资源
kafkaProducer.close();
}
}
测试:
①在 hadoop102 上开启 Kafka 消费者。 [atguigu@hadoop103 kafka]$ bin/kafka-console-consumer.sh -- bootstrap-server hadoop102:9092 --topic first ②在 IDEA 中执行代码,观察 hadoop102 控制台中是否接收到消息。 [atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh -- bootstrap-server hadoop102:9092 --topic first atguigu 0 atguigu 1 atguigu 2 atguigu 3 atguigu 42.2 带回调函数的异步发送
区别在于多了个callback回调函数
回调函数会在 producer 收到 ack 时调用,为异步调用,该方法有两个参数,分别是元数据信息(RecordMetadata) 和异常信息(Exception),如果 Exception 为 null,说明消息发
送成功,如果 Exception 不为 null,说明消息发送失败
注意:消息发送失败会自动重试,不需要我们在回调函数中手动重试。
public class CustomProducerCallback {
public static void main(String[] args) throws
InterruptedException {
// 1. 创建 kafka 生产者的配置对象
Properties properties = new Properties();
// 2. 给 kafka 配置对象添加配置信息
properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
"hadoop102:9092");
// key,value 序列化(必须): key.serializer, value.serializer
properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
StringSerializer.class.getName());
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
StringSerializer.class.getName());
// 3. 创建 kafka 生产者对象
KafkaProducer kafkaProducer = new
KafkaProducer(properties);
// 4. 调用 send 方法,发送消息
for (int i = 0; i < 5; i++) {
// 添加回调
kafkaProducer.send(new ProducerRecord<>("first",
"atguigu " + i), new Callback() {
// 该方法在 Producer 收到 ack 时调用,为异步调用
@Override
public void onCompletion(RecordMetadata metadata,
Exception exception) {
if (exception == null) {
// 没有异常,输出信息到控制台
System.out.println(" 主 题 : " +
metadata.topic() + "->" + "分区: " + metadata.partition());
} else {
// 出现异常打印
exception.printStackTrace();
}
}
});
// 延迟一会会看到数据发往不同分区
Thread.sleep(2);
}
// 5. 关闭资源
kafkaProducer.close();
}
}
③在 IDEA 控制台观察回调信息。
主题: first->分区: 0
主题: first->分区: 0
主题: first->分区: 1
主题: first->分区: 1
主题: first->分区: 1
测试: ①在 hadoop102 上开启 Kafka 消费者。 [atguigu@hadoop103 kafka]$ bin/kafka-console-consumer.sh -- bootstrap-server hadoop102:9092 --topic first ②在 IDEA 中执行代码,观察 hadoop102 控制台中是否接收到消息。 [atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh -- bootstrap-server hadoop102:9092 --topic first atguigu 0 atguigu 1 atguigu 2 atguigu 3 atguigu 43. 同步发送 API
只需在异步发送的基础上,再调用一下 get()方法即可。
// 4. 调用 send 方法,发送消息
for (int i = 0; i < 10; i++) {
// 异步发送 默认
// kafkaProducer.send(new
ProducerRecord<>("first","kafka" + i));
// 同步发送
kafkaProducer.send(new
ProducerRecord<>("first","kafka" + i)).get();
}
4. 生产者分区
4.1 分区好处
4.2 生产者发送消息的分区策略
4.2.1 默认的分区器 DefaultPartitioner
public class DefaultPartitioner implements Partitioner {
… …
}
(1) 指明 将数据发往指定 partition 的情况下, 例如,将所有数据发往分区 1 中。
......
for (int i = 0; i < 5; i++) {
// 指定数据发送到 1 号分区, key 为空(IDEA 中 ctrl + p 查看参数)
kafkaProducer.send(new ProducerRecord<>("first",
1,"","atguigu " + i), new Callback() {
@Override
public void onCompletion(RecordMetadata metadata,
Exception e) {
if (e == null){
System.out.println(" 主 题 : " +
metadata.topic() + "->" + "分区: " + metadata.partition()
);
}else {
e.printStackTrace();
}
}
});
}
kafkaProducer.close();
}
}
测试: ①在 hadoop102 上开启 Kafka 消费者。 [atguigu@hadoop103 kafka]$ bin/kafka-console-consumer.sh -- bootstrap-server hadoop102:9092 --topic first ②在 IDEA 中执行代码,观察 hadoop102 控制台中是否接收到消息。 [atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh -- bootstrap-server hadoop102:9092 --topic first atguigu 0 atguigu 1 atguigu 2 atguigu 3 atguigu 4 ③在 IDEA 控制台观察回调信息。 主题: first->分区: 1 主题: first->分区: 1 主题: first->分区: 1 主题: first->分区: 1 主题: first->分区: 1
(2) 没有指明 partition 值但有 key 的情况下,将 key 的 hash 值与 topic 的 partition 数进行取余得到 partition 值
......
for (int i = 0; i < 5; i++) {
// 依次指定 key 值为 a,b,f ,数据 key 的 hash 值与 3 个分区求余,
分别发往 1、 2、 0
kafkaProducer.send(new ProducerRecord<>("first",
"a","atguigu " + i), new Callback() {
@Override
public void onCompletion(RecordMetadata metadata,
Exception e) {
if (e == null){
System.out.println(" 主 题 : " +
metadata.topic() + "->" + "分区: " + metadata.partition()
);
}else {
e.printStackTrace();
}
}
});
}
kafkaProducer.close();
}
}
测试: ①key="a"时,在控制台查看结果。 主题: first->分区: 1 主题: first->分区: 1 主题: first->分区: 1 主题: first->分区: 1 主题: first->分区: 1 ②key="b"时,在控制台查看结果。 主题: first->分区: 2 主题: first->分区: 2 主题: first->分区: 2 主题: first->分区: 2 主题: first->分区: 2 ③key="f"时,在控制台查看结果。 主题: first->分区: 0 主题: first->分区: 0 主题: first->分区: 0 主题: first->分区: 0 主题: first->分区: 04.2.2 自定义分区器
(1)定义类实现 Partitioner 接口。
(2)重写 partition()方法。
public class MyPartitioner implements Partitioner {
@Override
public int partition(String topic, Object key, byte[]
keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
// 获取消息
String msgValue = value.toString();
// 创建 partition
int partition;
// 判断消息是否包含 atguigu
if (msgValue.contains("jh")){
partition = 0;
}else {
partition = 1;
}
// 返回分区号
return partition;
}
// 关闭资源
@Override
public void close() {
}
// 配置方法
@Override
public void configure(Map configs) {
}
}
(3) 使用分区器的方法,在生产者的配置中添加分区器参数
properties.put(ProducerConfig.PARTITIONER_CLASS_CONFIG,"com.atgui gu.kafka.producer.MyPartitioner")
public class CustomProducerCallbackPartitions {
public static void main(String[] args) throws
InterruptedException {
Properties properties = new Properties();
properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"hadoop102
:9092");
properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
StringSerializer.class.getName());
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
StringSerializer.class.getName());
// 添加自定义分区器
properties.put(ProducerConfig.PARTITIONER_CLASS_CONFIG,"com.atgui
gu.kafka.producer.MyPartitioner");
KafkaProducer kafkaProducer = new
KafkaProducer<>(properties);
for (int i = 0; i < 5; i++) {
kafkaProducer.send(new ProducerRecord<>("first",
"jh" + i), new Callback() {
@Override
public void onCompletion(RecordMetadata metadata,
Exception e) {
if (e == null){
System.out.println(" 主 题 : " +
metadata.topic() + "->" + "分区: " + metadata.partition()
);
}else {
e.printStackTrace();
}
}
});
}
kafkaProducer.close();
}
}
①在 hadoop102 上开启 Kafka 消费者。 [atguigu@hadoop103 kafka]$ bin/kafka-console-consumer.sh -- bootstrap-server hadoop102:9092 --topic first ②在 IDEA 控制台观察回调信息。 主题: first->分区: 0 主题: first->分区: 0 主题: first->分区: 0 主题: first->分区: 0 主题: first->分区: 05. 生产经验 5.1 生产者如何提高吞吐量
public class CustomProducerParameters {
public static void main(String[] args) throws
InterruptedException {
// 1. 创建 kafka 生产者的配置对象
Properties properties = new Properties();
// 2. 给 kafka 配置对象添加配置信息: bootstrap.servers
properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
"hadoop102:9092");
// key,value 序列化(必须): key.serializer, value.serializer
properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringSerializer");
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringSerializer");
// batch.size: 批次大小, 默认 16K
properties.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384);
// linger.ms: 等待时间,默认 0
properties.put(ProducerConfig.LINGER_MS_CONFIG, 1);
// RecordAccumulator: 缓冲区大小, 默认 32M: buffer.memory
properties.put(ProducerConfig.BUFFER_MEMORY_CONFIG,
33554432);
// compression.type: 压缩,默认 none,可配置值 gzip、 snappy、
lz4 和 zstd
properties.put(ProducerConfig.COMPRESSION_TYPE_CONFIG,"snappy");
// 3. 创建 kafka 生产者对象
KafkaProducer kafkaProducer = new
KafkaProducer(properties);
// 4. 调用 send 方法,发送消息
for (int i = 0; i < 5; i++) {
kafkaProducer.send(new
ProducerRecord<>("first","atguigu " + i));
}
// 5. 关闭资源
kafkaProducer.close();
}
}
测试: ①在 hadoop102 上开启 Kafka 消费者。 [atguigu@hadoop103 kafka]$ bin/kafka-console-consumer.sh -- bootstrap-server hadoop102:9092 --topic first ②在 IDEA 中执行代码,观察 hadoop102 控制台中是否接收到消息。 [atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh -- bootstrap-server hadoop102:9092 --topic first atguigu 0 atguigu 1 atguigu 2 atguigu 3 atguigu 45.2 数据可靠性 5.2.1 ack 应答原理
代码案列
public class CustomProducerAck {
public static void main(String[] args) throws
InterruptedException {
// 1. 创建 kafka 生产者的配置对象
Properties properties = new Properties();
// 2. 给 kafka 配置对象添加配置信息: bootstrap.servers
properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
"hadoop102:9092");
// key,value 序列化(必须): key.serializer, value.serializer
properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
StringSerializer.class.getName());
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
StringSerializer.class.getName());
// 设置 acks
properties.put(ProducerConfig.ACKS_CONFIG, "all");
// 重试次数 retries,默认是 int 最大值, 2147483647
properties.put(ProducerConfig.RETRIES_CONFIG, 3);
// 3. 创建 kafka 生产者对象
KafkaProducer kafkaProducer = new
KafkaProducer(properties);
// 4. 调用 send 方法,发送消息
for (int i = 0; i < 5; i++) {
kafkaProducer.send(new
ProducerRecord<>("first","atguigu " + i));
}
// 5. 关闭资源
kafkaProducer.close();
}
}
5.3 数据去重
5.3.1 数据传递语义
5.3.2 幂等性
(1) 幂等性原理
幂等性就是指Producer不论向Broker发送多少次重复数据, Broker端都只会持久化一条, 保证了不重复。
精确一次(Exactly Once) = 幂等性 + 至少一次( ack=-1 + 分区副本数>=2 + ISR最小副本数量>=2) 。
重复数据的判断标准: 具有
中PID是Kafka每次重启都会分配一个新的; Partition 表示分区号; Sequence Number是单调自增的。
所以幂等性只能保证的是在单分区单会话内不重复
(2) 如何使用幂等性
开启参数 enable.idempotence 默认为 true, false 关闭。
(1) 原理
(2) Kafka 的事务一共有如下 5 个 API
// 1 初始化事务 void initTransactions(); // 2 开启事务 void beginTransaction() throws ProducerFencedException; // 3 在事务内提交已经消费的偏移量(主要用于消费者) void sendOffsetsToTransaction(Mapoffsets, String consumerGroupId) throws ProducerFencedException; // 4 提交事务 void commitTransaction() throws ProducerFencedException; // 5 放弃事务(类似于回滚事务的操作) void abortTransaction() throws ProducerFencedException;
(3) 单个 Producer,使用事务保证消息的仅一次发送
public class CustomProducerTransactions {
public static void main(String[] args) throws
InterruptedException {
// 1. 创建 kafka 生产者的配置对象
Properties properties = new Properties();
// 2. 给 kafka 配置对象添加配置信息
properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
"hadoop102:9092");
// key,value 序列化
properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
StringSerializer.class.getName());
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
StringSerializer.class.getName());
// 设置事务 id(必须),事务 id 任意起名
properties.put(ProducerConfig.TRANSACTIONAL_ID_CONFIG,
"transaction_id_0");
// 3. 创建 kafka 生产者对象
KafkaProducer kafkaProducer = new
KafkaProducer(properties);
// 初始化事务
kafkaProducer.initTransactions();
// 开启事务
kafkaProducer.beginTransaction();
try {
// 4. 调用 send 方法,发送消息
for (int i = 0; i < 5; i++) {
// 发送消息
kafkaProducer.send(new ProducerRecord<>("first",
"atguigu " + i));
}
// int i = 1 / 0;
// 提交事务
kafkaProducer.commitTransaction();
} catch (Exception e) {
// 终止事务
kafkaProducer.abortTransaction();
} finally {
// 5. 关闭资源
kafkaProducer.close();
}
}
}
5.4 数据有序和无序
有序
无序
但是服务端内部会排序
1) kafka在1.x版本之前保证数据单分区有序, 条件如下:
max.in.flight.requests.per.connection=1( 不需要考虑是否开启幂等性) 。
2) kafka在1.x及以后版本保证数据单分区有序, 条件如下:
(1) 未开启幂等性
max.in.flight.requests.per.connection需要设置为1。
(2) 开启幂等性
max.in.flight.requests.per.connection需要设置小于等于5。
原因说明:因为在kafka1.x以后,启用幂等后, kafka服务端会缓存producer发来的最近5个request的元数据,
故无论如何,都可以保证最近5个request的数据都是有序的。
如图:
request1和request2有序落库,在kafka集群接收不到request3,则之后进来的request4、request5先不落库,直到request3进来,重新排序3/4/5,然后保持有序队列。



