栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

CentOS安装kafka-2.8.0单机版

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

CentOS安装kafka-2.8.0单机版

文章目录

Kafka核心组件下载解压kafka启动zookeeper

后台启动ZK检查zookeeper是否启动成功 启动kafka

修改相关配置 创建Topic

创建一个名为test的topic,只有一个副本,一个分区:查看已经创建的 topic:启动Producer发送消息

打开一个窗口,在kafka解压目录下: 启动Consumer

在一个新的远程窗口中: Producer窗口发送消息消费者收到了消息 删除kafka全部数据步骤
安装机器:172.22.40.104,安装路径为:/usr/local/kafka

简介
kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。

Kafka核心组件

Topic:消息根据Topic进行归类,可以理解为一个队里。
Producer:消息生产者,就是向kafka broker发消息的客户端。
Consumer:消息消费者,向kafka broker取消息的客户端。
broker:每个kafka实例(server),一台kafka服务器就是一个broker,一个集群由多个broker组成,一个broker可以容纳多个topic。
Zookeeper:依赖集群保存meta信息。

下载解压kafka

获取下载地址(点开具体版本,这里我们选择2.8.0版):http://kafka.apache.org/downloads

下载Binary二进制版本而不是源码:

cd /usr/local/
wget https://mirror.bit.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz
或
wget https://archive.apache.org/dist/kafka/2.8.0/kafka_2.13-2.8.0.tgz

tar -xzvf kafka_2.13-2.8.0.tgz
mv kafka_2.13-2.8.0 kafka && cd kafka

注意:wget如果失效的话,请自行到官网下载。
启动zookeeper

kafka需要依赖ZK,安装包中已经自带了一个ZK,也可以改成指定已运行的ZK。如果改成指定的ZK需要修改 kafka 安装目录下的 config/server.properties 文件中的 zookeeper.connect 。这里使用自带的ZK。

后台启动ZK
nohup ./bin/zookeeper-server-start.sh config/zookeeper.properties >> zookeeper.nohup &
检查zookeeper是否启动成功
ps -ef|grep zookeeper
启动kafka 修改相关配置
vim config/server.properties

Broker ID启动以后就不能改了:

broker.id=1

取消注释,改成本机IP(注意不要写成localhost或172.0.0.1):

listeners=PLAINTEXT://172.22.40.104:9092

num.partitions后面增加2行:发送到不存在topic自动创建、允许永久删除topic:

num.partitions=1
auto.create.topics.enable=true
delete.topic.enable=true

后台启动kafka(kafka安装目录下):

nohup ./bin/kafka-server-start.sh ./config/server.properties &
或
bin/kafka-server-start.sh config/server.properties

日志在logs目录下。

创建Topic 创建一个名为test的topic,只有一个副本,一个分区:
sh bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testT
或
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testT
查看已经创建的 topic:
sh bin/kafka-topics.sh -list -zookeeper localhost:2181
或
bin/kafka-topics.sh --list --zookeeper localhost:2181
启动Producer发送消息 打开一个窗口,在kafka解压目录下:
sh bin/kafka-console-producer.sh --broker-list 172.22.40.104:9092 --topic testT
或
bin/kafka-console-producer.sh --broker-list 172.22.40.104:9092 --topic testT

*注意:不要localhost:9092这样写,也不要127.0.0.1:9092这样写,正确的写法是:172.22.40.104:9092。
启动Consumer 在一个新的远程窗口中:
bin/kafka-console-consumer.sh --bootstrap-server 172.22.40.104:9092 --topic testT --from-beginning
Producer窗口发送消息

输入“hello world” 回车

消费者收到了消息

删除kafka全部数据步骤
1、停止每台机器上的kafka;
2、删除kafka存储目录(server.properties文件log.dirs配置,默认为“/tmp/kafka-logs”)全部topic的数据目录;
3、删除zookeeper上与kafka相关的znode节点;除了/zookeeper
4、重启kafka。
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/769858.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号