栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

kafka安装

kafka安装

一、安装kafka

官网安装kafka http://kafka.apache.org/downloads (安装2.8版本的,其他版本可能会出现各种问题。。。)

二、配置

下载后新建kafka文件夹,解压压缩包到当前文件夹,新建data和kafka-logs文件夹,作为kafka快照和日志的存储文件夹。
进入到config目录,修改service.properties里面log.dirs路径未log.dirs=D:kafkakafka_2.12-3.0.0kafka-logs 注意:文件夹分割符一定要是””

修改zookeeper.properties里面dataDir路径为dataDir=D:kafkakafka_2.12-3.0.0data

启动kafka内置的zookeeper .binwindowszookeeper-server-start.bat .configzookeeper.properties 不关闭页面!!!

启动kafka .binwindowskafka-server-start.bat .configserver.properties 不关闭页面!!!

创建topic测试主题kafka,成功不关闭页面 .binwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

创建生产者产生消息,不关闭页面 .binwindowskafka-console-producer.bat --broker-list localhost:9092 --topic test

创建消费者接收消息,不关闭页面 .binwindowskafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

三、用代码实现生产者、消费者

生产者

from kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers=['localhost:9092'])
for i in range(10):
    producer.send("test", "Hello {}".format(i).encode("utf-8"))
producer.close()

消费者

from kafka import KafkaConsumer

consumer = KafkaConsumer("test", bootstrap_servers=["localhost:9092"])
for msg in consumer:
    print(msg)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/423285.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号