Kafka安装部署

• Kafka安装部署
• • 1、部署规划
  • 2、集群部署
  • **Kafka启动异常**：
  • 3、Kafka命令行操作

1.解压安装至指定路径，然后改名

tar -zxvf apache.kafka_2.11-2.4.1.tgz -C /opt/module/
mv apache.kafka_2.11-2.4.1 kafka_2.11-2.4.1

2.修改配置文件：kafka路径下config目录中的server.properties

#broker的全局唯一编号，不能重复
broker.id=0
#删除topic功能,当前版本此配置默认为true，已从配置文件移除
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka数据存放的路径
log.dirs=/opt/module/kafka/datas
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址，需要我们配置三个，否则其中一个zookeeper 宕机了，kafka会默认zookeeper不能使用，因此我们需要对kafka配三台zookeeper
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka

注意：broker.id每个节点不能重复；

3.环境变量

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka_2.11-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin

4.将kafka和环境变量分发，各个节点source，并修改其余两个节点的kafka路径下config目录中的server.properties

将broker.id分别修改为1和2

5.启动集群

先启动Zookeeper集群，然后启动kafka

关闭时，先关闭kafka直至所有节点kafka关闭再关闭zookeeper。否则kafka出现异常。

kafka群起脚本：

#! /bin/bash
case $1 in
"start"){
    for i in hadoop102 hadoop103 hadoop104
    do
        echo " --------启动 $i Kafka-------"
        ssh $i "/opt/module/kafka_2.11-2.4.1/bin/kafka-server-start.sh -daemon /opt/module/kafka_2.11-2.4.1/config/server.properties"
    done
};;
"stop"){
    for i in hadoop102 hadoop103 hadoop104
    do
        echo " --------停止 $i Kafka-------"
        ssh $i "/opt/module/kafka_2.11-2.4.1/bin/kafka-server-stop.sh stop"
    done
};;
esac

• kafka关闭的前提下，删除其目录中的datas/和logs/

• 将zookeeper中的/kafka节点删除

  zkCli.sh
  deleteall /kafka
  

• 再次正常启动zookeeper和kafka即可。

• 查看当前服务器中的所有topic

  1.kafka-topics.sh --zookeeper hadoop102:2181/kafka –
  list(不推荐使用)
  2.kafka-topics.sh --bootstrap-server hadoop102:9092 -list
  

• 查看某个Topic的详情

  kafka-topics.sh --bootstrap-server hadoop102:9092 -describe --topic first
  

• 创建topic

  kafka-topics.sh --bootstrap-server hadoop102:9092 -create --replication-factor 2 --partitions 1 --topic first
  

• 修改分区数（修改topic的配置，只能修改分区数。而且只能往大的修改，不能往小的修改）

  kafka-topics.sh --bootstrap-server hadoop102:9092 -alter --topic first --partitions 3
  

• 删除topic

  kafka-topics.sh --bootstrap-server hadoop102:9092 -delete --topic first
  

• 生产者发送消息到指定topic

  kafka-console-producer.sh --broker-list hadoop102:9092 --topic first
  

• 消费者消费指定topic消息

  kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first