栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

kafka安装部署

kafka安装部署

一、安装kafka 下载kafka两种方式

(1)、手动下载 下载地址:Apache Kafka

(2)、也可以用命令下载(直接下载到服务器哦!):

将安装包下载到/opt/monitor/kafka文件夹下面
下载命令:
    wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz
手动下载移动到/opt/monitor/kafka目录下也可以 
二、解压kafka
tar -xzvf kafka_2.12-2.0.0.tgz(文件名可以更换哦!)
三、修改server.properties文件

在目录/opt/monitor/kafka/kafka_2.12-2.7.0/config下

在config目录下输入命令:vim server.properties
1、修改内容为:

 

server.properties修改 内容如下:可直接复制粘贴。

broker.id=0 
port=9092 #端口号 
host.name=localhost #单机可直接用localhost
log.dirs=/opt/monitor/kafka/kafka_dat #日志存放路径可修改可不修改
zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181 
2、创建日志文件夹
mkdir + 目录名称
四、修改zookeeper.properties文件 1、 进入/opt/monitor/kafka/kafka_2.12-2.7.0/config目录下输入命令:
vim  zookeeper.properties
2、修改内容为:

 

dataDir=/opt/monitor/kafka/kafka_data/zookeeper  #zookeeper数据目录  (可以修改可以不修改)
clientPort=2181
maxClientCnxns=100
tickTimes=2000
initLimit=10
syncLimit=5
admin.enableServer=false

由于我修改了默认的数据目录地址和日志目录需要在kafka下创建文件

在/opt/monitor/kafka/创建
        
        mkdir kafka_data/zookeeper

五、启动 1、启动zookeeper

(一般我使用这种方式)

启动:在/opt/monitor/kafka/kafka_2.12-2.7.0路径下先启动zookeeper,默认自带的

bin/zookeeper-server-start.sh config/zookeeper.properties
​
bin/zookeeper-server-start.sh -daemon  config/zookeeper.properties          #建议使用这种方式,不需要启动多个窗口
2、启动Kafka

然后启动kafka服务在/opt/monitor/kafka/kafka_2.12-2.7.0路径下

bin/kafka-server-start.sh config/server.properties
​
bin/kafka-server-start.sh -daemon  config/server.properties                 #建议使用这种方式,不需要启动多个窗口

#!/bin/sh #启动zookeeper

/opt/monitor/kafka/kafka_2.12-2.7.0/bin/zookeeper-server-start.sh /opt/monitor/kafka/kafka_2.12-2.7.0/config/zookeeper.properties &

sleep 3 #等3秒后执行

#启动kafka

/opt/monitor/kafka/kafka_2.12-2.7.0/bin/kafka-server-start.sh /opt/monitor/kafka/kafka_2.12-2.7.0/config/server.properties &
六、Kafka topic 1、创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic demo
​
​
bin/kafka-topics.sh --create --zookeeper localhost:2181  --topic demo

其中demo为创建的topic名称。

如上图,创建了一个名为 demo 的主题,其中包含一个分区和一个副本因子。 创建成功之后会输出:Created topic "demo".

如上图,创建主题后,系统会在config / server.properties文件中的"/ tmp / kafka-logs /"中指定的创建主题的日志。

2 、查询topic列表
bin/kafka-topics.sh --list --zookeeper localhost:2181
bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic demo
3 、删除topic
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic demo

七、Kafka 生产/消费 1 、启动生产者

进入/opt/monitor/kafka/kafka_2.12-2.7.0目录下执行命令

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic demo
bin/kafka-console-producer.sh --broker-list 192.168.113.xxx:9092 --topic prometheusMonitor_event
​
bin/kafka-console-producer.sh --broker-list 192.168.xxx.xxx:9092 --topic zabbixVm
​

从上面的语法,生产者命令行客户端需要两个主要参数 -

代理列表 - 我们要发送邮件的代理列表。 在这种情况下,我们只有一个代理。 Config / server.properties文件包含代理端口ID,因为我们知道我们的代理正在侦听端口9092,因此您可以直接指定它。主题名称:demo。

2 、启动消费者

为了方便测试,另启一个sheel窗口 这样效果更明显。需要注意的是旧版本和新版本的命令是不一样的

进入/opt/monitor/kafka/kafka_2.12-2.7.0目录下执行命令

2.1、旧版本:

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic demo --from-beginning

报错提示:zookeeper is not a recognized option

2.2、新版本

发现在启动的时候说使用 --zookeeper是一个过时的方法,最新的版本中命令如下:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic demo --from-beginning
bin/kafka-console-consumer.sh --bootstrap-server 192.168.xxx.xxx:9092 --topic 名称 --from-beginning

可以开启两个终端,一个发送消息,一个接受消息。效果如下:

3、 查看kafka生产最大位置偏移量

进入/opt/monitor/kafka/kafka_2.12-2.7.0目录下执行命令

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic demo --time -1
4、消费消息查看

进入/opt/monitor/kafka/kafka_2.12-2.7.0/bin目录下:

(1)、topic: redis_event

./kafka-console-consumer.sh --bootstrap-server 192.168.xxx.xxx:9092 --topic redis_event --from-beginning 

(2)、topic: zabbixVm 
./kafka-console-consumer.sh --bootstrap-server 192.168.xxx.xxx:9092 --topic zabbixVm #查看最新的数据
​

八,监控

1个kafka集群只需要1个exporter,在集群上的任意1台服务器部署。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/761337.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号