栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

kafka的安装与使用

kafka的安装与使用

(1) kafka下载

下载地址:https://kafka.apache.org/downloads

说明:
sourcre downloads(源代码下载)下载以后需要自行编译出安装包,再行安装。
Binary downloads(二进制下载)已经编译完成的安装包,下载之后可以直接安装使用。Scala的版本不同,对应的kafka版本也不一样。

我是用的是2.1.12-3.0.0。网盘下载链接: https://pan.baidu.com/s/1lVoCGLY_ogT5QWskH0yNjw 密码: fppw

(2) 解压安装

Centos解压命令: tar-zxvf xxxxxxxxx.tgz

解压后的文件内部:

配置文件夹内部:

(3) 修改配置

我当前采用的是单机版本的kafka。所以broker.id可以任意设置,一定不会重复。

修改配置,具体来说是解压目录下的config/server.properties:broker.id、log.dirs

vim server.properties	//修改配置

修改日志文件的存储位置

(4)启动kafka 1、启动zookeeper
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties //启动zookeeper

2、启动kafka server
bin/kafka-server-start.sh config/server.properties 

启动之后,就停在下面的页面。打开新的命令行窗口进行测试即可。

3、创建topic
 bin/kafka-topics.sh --create --bootstrap-server localhost:9092 
 --replication-factor 1 --partitions 1 --topic second-kafka-topic  //second-kafka-topic是创建的topic的名称

4、查看topic
 bin/kafka-topics.sh --list --bootstrap-server localhost:9092

5、启动consumer
 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topics second-kafka-topic --from-beginning

启动之后,命令行窗口就停在这里等待消费消息。

6、启动producer
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic second-kafka-topic

在生产者console启动后,会出现箭头提示。可以输入消息。

输入消息之后,可以在消费者的命令行中看到生产者生产的消息。

7、查看topic的基本情况
bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic second-kafka-topic

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/682699.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号