栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Hadoop大数据开发

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop大数据开发

1、下载解压Kafka

cd /home/hadoop/app
tar -zxvf kafka-2.13-3.2.0.tgz
rm kafka-2.13-3.2.0.tgz
ln -s kafka-2.13-3.2.0 kafka

2、修改Kafka配置文件
修改zookeeper.properties

dataDir=/home/hadoop/data/zookeeper/zkdata
clientPort=2181

修改consumer.properties

zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181

修改producer.properties

metadata.broker.list=hadoop01:9092,hadoop02:9092,hadoop03:9092

修改server.properties

zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181

3、kafka安装目录分发到hadoop02、hadoop03

cd /home/hadoop/app
scp -r kafka-2.13-3.2.0 hadoop@hadoop02:/home/hadoop/app
scp -r kafka-2.13-3.2.0 hadoop@hadoop03:/home/hadoop/app
ln -s kafka-2.13-3.2.0 kafka #在hadoop02、hadoop03上生成软连接

4、修改Server编号

cd /home/hadoop/app/kafka/config
vi server.properties
broker.id=1 #分别在hadoop01上执行
broker.id=2 #分别在hadoop02上执行
broker.id=3 #分别在hadoop03上执行

5、启动Kafka集群

cd /home/hadoop/app/kafka
bin/kafka-server-start.sh -daemon config/server.properties #hadoop01、hadoop02、hadoop03上都要启动

6、验证集群

jps #在hadoop01、hadoop02、hadoop03上都执行,如果都能看到kafka进程,则启动成功

7、命令验证

cd /home/hadoop/app/kafka/bin
#创建topic
kafka-topics.sh --bootstrap-server hadoop01:9092 --create --topic mydemo2 --replication-factor 3 --partitions 3
#启动kafka消费者
kafka-console-consumer.sh --bootstrap-server hadoop01:9092 --topic mydemo2
#启动kafka生产者
kafka-console-producer.sh --broker-list hadoop01:9092 --topic mydemo2
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/985914.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号