1.
安装kafka:
官网下载链接:Apache Kafka
2.
配置
想要启动kafka需要修改kafka配置文件和zookeeper配置文件,配置文件都在跟目录下面的config文件夹下。
kafka配置
kafka 服务端配置在server.properties中。
需要用记事本打开编辑。
kafka配置需要修改两处配置文件:listeners 和 log.dirs
listeners:服务器监听的地址,修改如下:
listeners=PLAINTEXT://localhost:9092
log.dirs:日志文件修改为自定义的日志目录,我的是
log.dirs=D:/kafka_2.12-3.1.0/logs
zookeeper配置文件为zookeeper.properties,只需修改一处,dataDir:zookeeper存储数据的路径修改自定义的目录,要用反斜杠/
dataDir=D:/kafka_2.12-3.1.0/data
配置完成后
先启动zookeeper,启动命令如下:
.binwindowszookeeper-server-start.bat .configzookeeper.properties
启动kafka-server
再在地址栏输入cmd
.binwindowskafka-server-start.bat .configserver.properties
如果启动kafka失败,并出现以下异常,删除logs文件夹下的meta.properties文件即可。
The Cluster ID xxxx doesn’t match stored clusterId Some(finN2zUTRWaXMomXCknRew) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.
启动kafka-topics
创建一个名为test的topic命令如下:(再在地址栏输入cmd
)
.binwindowskafka-topics.bat --create --bootstrap-server localhost:2181 --replication-factor 1 --partitions 1 --topic test
启动之后,kafka-topics处于等待创建topic状态,一段时间内如果不createTopic,kafka-topics将自动断开
启动生产者
命令如下:
.binwindowskafka-console-producer.bat --broker-list localhost:9092 --topic test
启动生产者之后就可以发送消息了
启动消费者
命令如下:
.binwindowskafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test
启动消费者之后生产者发送的消息,消费者端就能收到了。
在生产端发送消息,可以看到消费端就收到了
至此,消息队列kafka就安装完毕了。
此时不应有 Javajdk1.8.0_73libdt.jar异常.
这是因为jdk路径含空格或者括号
解决方法:
复制jdk到其他路径,如D:javajdk
修改JAVA_HOME
(如果修改JAVA_HOME后cmd查看路径没有改变)重启
引入依赖:
先新建maven工程
kafka-clients
添加JAR
消息生产者:ProducerSample
package com.hfs.kafka;
import org.apache .kafka. clients. producer.*;
import java.util.HashMap;
import java.util.Map;
public class ProducerSample {
public static void main(String[] args) {
Map props = new HashMap();
props.put("bootstrap.servers","localhost:9092");
props.put("key.serializer","org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer","org.apache.kafka.common.serialization.StringSerializer");
String topic = "test-topic";
Producer producer =new KafkaProducer(props);
producer.send(new ProducerRecord(topic,"idea-key2","java-message 1"));
producer.send(new ProducerRecord(topic,"idea-key2","java-message 2"));
producer.send(new ProducerRecord(topic, "idea-key2","java-message 3"));
producer.close();
}
}
消息消费者:ConsumerSample
package com.hfs.kafka;
import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.common.TopicPartition;
import java.util.Arrays;
import java.util.Map;
import java.util.Properties;
public class ConsumerSample {
public static void main(String[] args) {
String topic = "test-topic";
Properties props = new Properties();
props.put("bootstrap.servers","localhost:9092");
props.put("group.id","testGroup1");
props.put("enable.auto.commit","true");
props.put("auto.commit.interval.ms","1000");
props.put("key.deserializer",
"org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer",
"org.apache.kafka.common.serialization.StringDeserializer");
Consumer consumer = new KafkaConsumer(props);
consumer.subscribe(Arrays.asList(topic));
while (true) {
ConsumerRecords records = consumer.poll(100);
for (ConsumerRecord record : records){
System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
}
}
}
}
启动服务器:
Zookeeper
Kafka
运行consumer,这样当生产者发送消息时就能在后端看到消息记录
运行producer,发布几条消息,在consumer的控制台就能看到所接收到的消息



