栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Java如何访问kafka实例

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Java如何访问kafka实例

1.

安装kafka:

官网下载链接:Apache Kafka

2.

配置

想要启动kafka需要修改kafka配置文件和zookeeper配置文件,配置文件都在跟目录下面的config文件夹下。

kafka配置

kafka 服务端配置在server.properties中。

需要用记事本打开编辑。

kafka配置需要修改两处配置文件:listeners 和 log.dirs

listeners:服务器监听的地址,修改如下:

listeners=PLAINTEXT://localhost:9092

log.dirs:日志文件修改为自定义的日志目录,我的是

log.dirs=D:/kafka_2.12-3.1.0/logs

zookeeper配置文件为zookeeper.properties,只需修改一处,dataDir:zookeeper存储数据的路径修改自定义的目录,要用反斜杠/

dataDir=D:/kafka_2.12-3.1.0/data

配置完成后

先启动zookeeper,启动命令如下:

.binwindowszookeeper-server-start.bat .configzookeeper.properties

启动kafka-server

再在地址栏输入cmd

.binwindowskafka-server-start.bat .configserver.properties

如果启动kafka失败,并出现以下异常,删除logs文件夹下的meta.properties文件即可。

The Cluster ID xxxx doesn’t match stored clusterId Some(finN2zUTRWaXMomXCknRew) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.

启动kafka-topics

创建一个名为test的topic命令如下:(再在地址栏输入cmd

)

.binwindowskafka-topics.bat --create --bootstrap-server  localhost:2181 --replication-factor 1 --partitions 1 --topic test

启动之后,kafka-topics处于等待创建topic状态,一段时间内如果不createTopic,kafka-topics将自动断开

启动生产者

命令如下:

.binwindowskafka-console-producer.bat --broker-list localhost:9092 --topic test

启动生产者之后就可以发送消息了

启动消费者

命令如下:

.binwindowskafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

启动消费者之后生产者发送的消息,消费者端就能收到了。

在生产端发送消息,可以看到消费端就收到了

至此,消息队列kafka就安装完毕了。

此时不应有 Javajdk1.8.0_73libdt.jar异常.

这是因为jdk路径含空格或者括号

解决方法:

复制jdk到其他路径,如D:javajdk

修改JAVA_HOME

(如果修改JAVA_HOME后cmd查看路径没有改变)重启

引入依赖:

先新建maven工程

  org.apache.kafka

  kafka-clients

  2.0.1

添加JAR

消息生产者:ProducerSample

package com.hfs.kafka;

import org.apache .kafka. clients. producer.*;
import java.util.HashMap;
import java.util.Map;
public class ProducerSample {
public static void main(String[] args) {
Map props = new HashMap();
props.put("bootstrap.servers","localhost:9092");
props.put("key.serializer","org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer","org.apache.kafka.common.serialization.StringSerializer");
String topic = "test-topic";
Producer producer  =new KafkaProducer(props);

producer.send(new ProducerRecord(topic,"idea-key2","java-message 1"));
producer.send(new ProducerRecord(topic,"idea-key2","java-message 2"));
producer.send(new ProducerRecord(topic, "idea-key2","java-message 3"));
producer.close();
}
}

消息消费者:ConsumerSample

package com.hfs.kafka;
 
import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.common.TopicPartition;
import java.util.Arrays;
import java.util.Map;
import java.util.Properties;
public class ConsumerSample {
public static void main(String[] args) {
		String topic = "test-topic";
		Properties props = new Properties();
		props.put("bootstrap.servers","localhost:9092");
		props.put("group.id","testGroup1");
		props.put("enable.auto.commit","true");
		props.put("auto.commit.interval.ms","1000");
		props.put("key.deserializer",
"org.apache.kafka.common.serialization.StringDeserializer");
		props.put("value.deserializer",
"org.apache.kafka.common.serialization.StringDeserializer");
		Consumer consumer = new KafkaConsumer(props);
		consumer.subscribe(Arrays.asList(topic));
		while (true) {
            ConsumerRecords records = consumer.poll(100);
            for (ConsumerRecord record : records){
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }


}
}
}
	
	
	

启动服务器:

Zookeeper

Kafka

运行consumer,这样当生产者发送消息时就能在后端看到消息记录

运行producer,发布几条消息,在consumer的控制台就能看到所接收到的消息

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/939132.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号