1、将jdk的安装包下载后上传到服务器中。
jdk下载地址:https://www.jb51.net/softs/691593.html
2、登录服务器后解压jdk的安装包
执行:tar -zxvf jdkxx.x.x_xx.tgz -C /xxxx(解压至指定目录中)
3、配置环境变量(对所有用户的shell都生效)
执行:vim /etc/profile
在文件的末尾输入:
| export JAVA_HOME=/xxx(jdk解压目录) export PATH=$JAVA_HOME/bin:$PATH |
保存退出
执行 source /etc/profile
输入java -version进行测试
二、下载安装zookeeper1、下载zookeeper安装包
https://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz
2、将zookeeper的安装下载后上传至服务器后解压
执行:tar -zxvf zookeeper-3.8.0 -C /xxxx(解压至指定目录中)
3、修改zookeeper保存数据的目录,配置文件为xx/zookeeper/conf/zoo.cfg
将zoo_sample.cfg复制命名为zoo.cfg
执行:vim zoo.cfg
找到dataDir关键字后修改后面所跟着的路径
4、修改环境变量
修改/etc/profile
执行vim /etc/profile
| export ZOOKEEPER=/xx/zookeeper-3.4.14 export PATH=$PATH:$ZOOKEEPER_PREFIX/bin export ZOO_LOG_DIR=/xxxx/zookeeper/log |
source /etc/profile
5、启动zookeeper
启动:zkServer.sh start
停止:zkServer.sh stop
重启:zkServer.sh restart
三、下载安装kafka1、下载kafka安装包
下载地址:Index of /dist/kafka,下载完成后将kafka的安装包上传到服务器中
2、修改kafka配置信息
解压kafka压缩包执行:tar -zxvf kafka_2.12-3.2.0 -C /xx (解压至指定目录中)
修改环境变量执行:vim /etc/profile
| export KAFKA_HOME=/data/elk/kafka_2.12-3.2.0 export PATH=$KAFKA_HOME/bin:$PATH |
让环境变量生效:source /etc/profile
修改配置文件:config中的server.properties文件
| #kafka连接zookeeper地址: zookeeper.connect=localhost:2181 #配置kafka存储持久化数据目录 log.dirs=xxxxx |
3、启动kafka
进入kafka安装的根目录,执行:kafka-service-start.sh ../config/service.properties &
四、测试是否正常1、topic创建的测试
创建topic执行:
| kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic topic-name |
--replication-factor 3 (表示复制两份)
--partitions 1 (表示创建一个分区)
查看所有创建的topic列表
| kafka-topics.sh --list --bootstrap-server localhost:9092 |
查看指定的topic信息
| kafka-topics.sh --describe --topic topic-name --bootstrap-server localhost:9092 |
2、发送消息
kafka提供了一个命令行的工具,可以从输入文件或者命令行中读取消息并发送给kafka集群。每一行是一个消息。
| kafka-console-producer.sh --broker-list localhost:9092 --topic topic-name xxxxx xxxxx |
3、消费消息
kafa也提供了一个消费消息的命令行工具,将存储的信息输出。
| kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic-name xxxxx xxxxx |
与单机部署类似,只需要额外修改服务的配置文件
一、修改zookeeper配置文件:vim /xxx/zoo.cfg (单机部署时zookeeper的配置文件)
| # 修改为自定义的zookeeper数据目录 dataDir=/data/zookeeper/data # 修改为自定义的zookeeper日志目录 dataLogDir=/data/zookeeper/logs # 端口 clientPort=2181 # 设置broker Id的服务地址,本机ip一定要用0.0.0.0代替 server.1=0.0.0.0:2888:3888 server.2=192.168.10.101:2888:3888 #第二个节点的ip地址和端口 server.3=192.168.10.102:2888:3888 #第三个节点的ip地址和端口 |
vim /xxx/config/server.properties
| # 每台服务器的broker.id都不能相同 broker.id=1 # 是否可以删除topic delete.topic.enable=true # topic 在当前broker上的分片个数,与broker保持一致 num.partitions=3 # 每个主机地址不一样: listeners=PLAINTEXT://xx.xx.xx.xx:9092 #本机服务器的IP地址 advertised.listeners=PLAINTEXT://xx.xx.xx.xx:9092 #本机服务器的IP地址 log.dirs=/data/kafka/kafka-logs # 设置zookeeper集群地址与端口如下: zookeeper.connect=xx.xx.xx.xx:2181,xx.xx.xx.xx:2181,xx.xx.xx.xx:2181 |
如果zookeeper集群启动失败,请在服务器上使用telnet命令检查网络是否能通
如在第一个节点的服务器上执行:
telnet xx.xx.xx.xx 2181(第二,三个节点服务器的ip地址)
如果不通在防火墙上开通对应的端口或者关闭防火墙
| 开放指定端口 firewall-cmd --add-port=8080/tcp --permanent 重载入添加的端口 firewall-cmd --reload 查看指定端口是否已经开放 firewall-cmd --query-port=8080/tcp 移除指定端口 firewall-cmd --permanent --remove-port=8080/tcp 查询开放的端口列表 firewall-cmd --zone=public --list-ports 查看防火墙状态 systemctl status firewalld 开启防火墙 systemctl start firewalld 关闭防火墙 systemctl stop firewalld 重启防火墙 service firewalld start |



