栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Linux搭建kafka 单机版

Linux搭建kafka 单机版

kafka依赖zookeeper,先安装zookeeper

zookeeper

下载地址:
Index of /zookeeper/stable (apache.org)

1、上传zookeeper压缩包(xftp)

2、解压

tar -zxvf zookeeper-3.4.10.tar.gz

3、复制到 /usr/local/下

[root@localhost tmp]# cp zookeeper-3.4.10 /usr/local/zookeeper -r  //复制所有文件到zookeeper 文件夹下
[root@localhost tmp]# cd /usr/local/zookeeper					   //切换到/usr/local/zookeeper目录下

4、修改zoo.config

[root@localhost zookeeper]# cd conf  //切换到目录下
[root@localhost conf]# ll			//显示目录下的信息
总用量 12
-rw-r--r--. 1 root root  535 5月   8 18:17 configuration.xsl
-rw-r--r--. 1 root root 2161 5月   8 18:17 log4j.properties
-rw-r--r--. 1 root root  922 5月   8 18:17 zoo_sample.cfg
[root@localhost conf]# cp zoo_sample.cfg zoo.cfg	//copy一份到当前目录下,并命名为zoo.cfg
[root@localhost conf]# ll
总用量 16
-rw-r--r--. 1 root root  535 5月   8 18:17 configuration.xsl
-rw-r--r--. 1 root root 2161 5月   8 18:17 log4j.properties
-rw-r--r--. 1 root root  922 5月   8 18:29 zoo.cfg
-rw-r--r--. 1 root root  922 5月   8 18:17 zoo_sample.cfg
[root@localhost conf]# 
[root@localhost conf]# vi zoo.cfg

前提是要创建/tmp/zookeeper和/tmp/zookeeper/log目录,不然启动时会报错

dataDir=/tmp/zookeeper
dataLogDir=/tmp/zookeeper/log

5、配置环境变量

[root@localhost zookeeper]# vi /etc/profile			//编辑文件
export ZOOKEEPER=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER/bin
[root@localhost zookeeper]# source /etc/profile    //使生效

配置了环境变量,所以在任意目录下都可以运行以下启动命令启动Zookeeper。
6、启动

/usr/local/zookeeper/zookeeper-3.4.10/bin
./zkServer.sh start 
停止
./zkServer.sh stop

查看zookeeper是否成功启动

ps -ef|grep zookeeper

Kafka

1、下载

Apache Kafka

2.上传ftp

3.解压

tar -zxvf kafka_2.13-2.4.1.tgz

4、修改配置文件

cd config
vim server.properties
broker.id=0
#绑定内网IP
listeners=PLAINTEXT://172.19.**.*:9092
#绑定外网IP
advertised.listeners=PLAINTEXT://172.19.**.*:9092
num.network.threads=2
num.io.threads=8
socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048576
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=1
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=60000
log.cleaner.enable=false
zookeeper.connect=172.19.**.*:2181
zookeeper.connection.timeout.ms=1000000
offsets.topic.replication.factor=1

5、修改zk配置

 进入kafka目录下 config目录下输入命令:vi  zookeeper.properties
修改内容为:
dataDir=/home/kakfa/kafka_2.13-2.4.1/zookeeper/data/dataDir  #zookeeper数据目录  (可以修改可以不修改)
dataLogDir=/home/kakfa/kafka_2.13-2.4.1/zookeeper/data/dataLogDir #zookeeper日志目录 (可以修改可以不修改)
clientPort=2181 
maxClientCnxns=100 
tickTime=2000 
initLimit=10

6、启动

cd /home/kafka/kafka_2.13-2.4.1
./bin/kafka-server-start.sh config/server.properties


启动成功
7、测试

命令:在kafka 目录下bin目录下执行:
./kafka-topics.sh --create --zookeeper 172.19.211.1:2181 --partitions 1 --replication-factor 1  --topic test 


表示已经存在test ,创建topic hello

成功!
查看已经创建的topics

查看topics
./kafka-topics.sh --list --broker-list 172.19.211.1:9092    ------低版本这个命令 --help查看
./kafka-topics.sh --list --bootstrap-server 172.19.211.1:9092


启动生产者:用于生产消息

启动生产者
./kafka-console-producer.sh --broker-list 172.19.211.1:9092 --topic test (2.5版本前)
./kafka-console-producer.sh --bootstrap-server 172.19.211.1:9092 --topic test  (2.5版本+)


创建消费者:用于接受消息

启动消费者
./kafka-console-consumer.sh --broker-list 172.19.211.1:9092 --topic test   -----低版本用这个命令,具体--help查看使用哪个
./kafka-console-consumer.sh --bootstrap-server 172.19.211.1:9092 --topic test



可以看到,生产者产生消息:你好,在消费者端接收到消息。成功!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/746191.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号