栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

CentOS 7.6环境安装kafka

CentOS 7.6环境安装kafka

本节内容主要总结一下如何在CentOS 7.6上安装kafka 2.13-3.0.0

注意:此单机版使用的是kafka自带的zookeeper

1. 组件版本
组件        版本
CentOS7.6
JDK1.8.0_221
kafka        2.13-3.0.0

这里简单解释一下kafka的版本号:因为kafka主要是使用scala语言开发的,2.13为scala的版本号;http://kafka.apache.org/downloads可以查看到每个版本的发布时间。


2.环境设置

Init-env.sh脚本:

#!/bin/bash
 
echo "----------------关闭selinux-----------------"
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/sysconfig/selinux && sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
 
echo "----------------关闭swap--------------------"
swapoff -a && sed -ri 's/.*swap.*/#&/' /etc/fstab

#使配置立即生效
setenforce 0
 
echo "----------------开放9092端口-----------------"
cat <> /etc/sysconfig/iptables
-A INPUT -p tcp -m state --state NEW -m tcp --dport 9092 -j ACCEPT
EOF

#最后重启防火墙使配置生效
service iptables restart

注意:

 如果在win10系统里面,ping IP地址是通的,但是 telnet ip port不通时:

第一:开放端口9092
命令:firewall-cmd --zone=public --add-port=9092/tcp --permanent

第二:防火墙重新加载
命令:firewall-cmd --reload

第三:后边修改kafka的server.properties文件。


3.安装JDK

安装步骤省略,注意环境变量配置即可。

export JAVA_HOME=/root/jdk/jdk1.8.0_221
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

4.安装kafka

kafka官网下载地址:Apache Kafka

解压:tar -zxvf kafka_2.13-3.0.0

修改kafka配置文件:

 在server.properties文件内编辑监听地址为本机地址即可。

listeners=PLAINTEXT://192.168.0.213:9092

advertised.listeners=PLAINTEXT://192.168.0.213:9092

编辑kafka环境变量:vi /etc/profile

export KAFKA_HOME=/root/kafka/kafka_2.13-3.0.0
export PATH=:$PATH:${KAFKA_HOME}

 使编辑生效:source /etc/profile


5.启动脚本

vi start-kafka.sh

KAFKA_DIR=/root/kafka/kafka_2.13-3.0.0/
nohup sh ${KAFKA_DIR}/bin/zookeeper-server-start.sh -daemon ${KAFKA_DIR}/config/zookeeper.properties > zookeeper.log 2>&1 &
sleep 5
nohup sh ${KAFKA_DIR}/bin/kafka-server-start.sh -daemon ${KAFKA_DIR}/config/server.properties > kafka.log 2>&1 &

给脚本赋权限:chmod +x start-kafka.sh


6.关闭脚本

vi start-kafka.sh

#!/bin/sh
KAFKA_DIR=/root/kafka/kafka_2.13-3.0.0/

#关闭kafka
nohup sh ${KAFKA_DIR}/bin/kafka-server-start.sh ${KAFKA_DIR}/config/server.properties &

sleep 5

#关闭zookeeper
sh ${KAFKA_DIR}/bin/zookeeper-server-start.sh ${KAFKA_DIR}/config/zookeeper.properties &

给脚本赋权限:chmod +x start-kafka.sh

看下端口启动情况:

ps -ef | grep kfaka

 说明zookeeper和kafka均已启动。 


注意:

上述内容简单总结了一下kafka安装过程,发现如下问题。

1-在执行脚本后,会发现有时候zookeeper端口2181启动成功,而kafka的9092端口启动失败问题

解决:关于Kafka启动后进程过一段时间自动停止的问题_合抱之木,生于毫末;九层之台,起于累土;千里之行,始于足下。-CSDN博客

2-在windows上telnet [target_ip] [9092]时,出现端口不通的问题。

解决:关闭防火墙,放开90902端口即可。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/752762.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号