栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Kafka集群搭建

Kafka集群搭建

文章目录
  • 一、环境
  • 二、搭建kafka集群
  • 三、启动并测试
    • 3.1 启动kafka
    • 3.2 测试

一、环境
  • 三台主机
hostnameip
zk01192.168.80.10
zk02192.168.80.11
zk03192.168.80.12
  • 已经搭建好zookeeper集群,参见 zookeeper集群搭建
  • 复用zookeeper集群的三台机器,搭建kafka集群。
  • kafka-3.0:下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/3.0.0/kafka_2.12-3.0.0.tgz
二、搭建kafka集群
  1. 解压安装包
tar zxvf kafka_2.12-3.0.0.tgz
mv kafka_2.12-3.0.0 kafka-3.0
mv kafka-3.0 /usr/local/
  1. 创建日志目录
mkdir -p /kafka/logs
chmod -R 777 /kafka
  1. 修改配置文件
cd /usr/local/kafka-3.0/
vim config/server.properties

20 # The id of the broker. This must be set to a unique integer for each broker.
21 broker.id=0 // 另外两台服务器broker.id可以改为 1和2
32 listeners=PLAINTEXT://zk01:9092
60 log.dirs=/kafka/logs
123 zookeeper.connect=zk01:2181,zk02:2181,zk03:2181

三、启动并测试 3.1 启动kafka
 nohup ./bin/kafka-server-start.sh config/server.properties &
3.2 测试
  1. 创建topic,名为test

cd /usr/local/kafka-3.0/
./bin/kafka-console-producer.sh --bootstrap-server zk01:9092,zk02:9092,zk03:9092 --topic test1

  1. 查看topic

./bin/kafka-topic.sh --list --bootstrap-server zk01:9092,zk02:9092,zk03:9092

  1. 发送和接收消息

./kafka-console-producer.sh --bootstrap-server zk01:9092,zk02:9092,zk03:9092 --topic test1
./kafka-console-consumer.sh --bootstrap-server zk01:9092,zk02:9092,zk03:9092 --topic test1 --from-beginning

  1. 删除topic

./bin/kafka-topics.sh --delete --bootstrap-server zk01:9092,zk02:9092,zk03:9092 --topic test1

上一节:

                zookeeper集群搭建

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/342361.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号