大数据之 Kafka API 从入门到放弃 (第四章)

• 一、Producer API
• • 1、消息发送流程
  • 2、KafkaProducer 发送消息流程
  • 3、异步发送 API
  • • 1）导入依赖
    • 2）编写代码
    • • 1、不带回调函数的 API

Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程，以及一个线程共享变量——RecordAccumulator。main 线程将消息发送给 RecordAccumulator，Sender 线程不断从 RecordAccumulator 中拉取消息发送到Kafka broker。

相关参数

batch.size：只有数据积累到 batch.size 之后，sender 才会发送数据。

linger.ms：如果数据迟迟未达到 batch.size，sender 等待 linger.time 之后就会发送数据。

org.apache.kafka
kafka-clients
0.11.0.0

需要用到的类：

KafkaProducer：需要创建一个生产者对象，用来发送数据
ProducerConfig：获取所需的一系列配置参数
ProducerRecord：每条数据都要封装成一个ProducerRecord 对象