栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

企业级消息队列-KafKa安装于测试

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

企业级消息队列-KafKa安装于测试

文章目录
  • 一、 Kafka简介
    • 1.1 kafka定义
    • 1.2 KafKa的应用场景
    • 1.3 KafKa产生的背景
    • 2.1 搭建KafKa 集群
      • 2.1.1 将kafka安装包上传到虚拟机上,并且解压
      • 2.1.2 修改server.properties
      • 2.1.3 将安装好的kafka 复制到其他两台机器
      • 2.1.4 配置Kafka配置环境变量
      • 2.1.5 启动服务器
    • 2.2 目录结构
    • 2.3 Kafka 一键启动 / 关闭 脚本
  • 3.基础操作
    • 3.1 创建topic
    • 3.2 生产消息到kafka
    • 3.3 从KafKa中消费消息
  • 4. 基准测试
    • 4.1 含义
    • 4.2 基于一个1个分区和一个副本的基准测试
    • 4.2.1 创建Topic
    • 4.2.2 生产消息基准测试
    • 4.2.2 消费消息基准测试


一、 Kafka简介 1.1 kafka定义

Kafka是由Apache软件基金会开发的一个开源流平台,由Scala和Java编写。

Apache Kafka是一个分布式流平台,一个分布式的流平台会包括3个关键能力点:

1.发布和订阅数据流,类似于消息队列或者是企业级别消息传递系统;

2.以容错的持久化方式来存储数据流;

3.处理数据流;

1.2 KafKa的应用场景

通常我们将kafka用在两类程序中:
1.建立实时的数据管道,以可靠的在系统或应用程序中获取数据;
2.构建实时流应用程序,用来转换或响应数据流;


由上图可知:
1.Produces: 可以有很多的应用程序,将消息数据放入kafka集群中;
2.Consumer:可以有很多的应用程序,将消息从kafka集群中将数据拉取出来;
3.Connectors:kafka连接器可以将数据库中的数据导入kafka集群中,也可以将kafka中的数据导入到数据库中;
4.Stream Processors: 流处理器可以从kafka中拉取数据,也可以将数据写入到kafka中;

1.3 KafKa产生的背景

1.主要是为了解决 linkedin 中的数据管道问题,之前 linkedin 使用的是 ActiveMQ来进行数据交换,后来ActiveMQ 却还是无法满足 linkedin 对数据传递系统的要求,为了能够解决这个问题,linkedin决定研发自己的消息传递系统。

2.1 搭建KafKa 集群 2.1.1 将kafka安装包上传到虚拟机上,并且解压
cd /export/software/
tar -xvzf kafka_2.12-2.4.1.tgz -C ../server/
cd /export/server/kafka_2.12-2.4.1/
2.1.2 修改server.properties
cd /export/server/kafka_2.12-2.4.1/config
vim server.properties
# 指定broker的id
broker.id=0
# 指定Kafka数据的位置
log.dirs=/export/server/kafka_2.12-2.4.1/data
# 配置zk的三个节点
zookeeper.connect=node1.itcast.cn:2181,node2.itcast.cn:2181,node3.itcast.cn:2181
2.1.3 将安装好的kafka 复制到其他两台机器
cd /export/server
scp -r kafka_2.12-2.4.1/ node2.itcast.cn:$PWD
scp -r kafka_2.12-2.4.1/ node3.itcast.cn:$PWD
修改另外两个节点的broker.id分别为1和2
---------node2.itcast.cn--------------
cd /export/server/kafka_2.12-2.4.1/config
vim erver.properties
broker.id=1
--------node3.itcast.cn--------------
cd /export/server/kafka_2.12-2.4.1/config
vim server.properties
broker.id=2
2.1.4 配置Kafka配置环境变量
vim /etc/profile
export KAFKA_HOME=/export/server/kafka_2.12-2.4.1
export PATH=:$PATH:${KAFKA_HOME}

分发到各个节点
scp /etc/profile node2.itcast.cn:$PWD
scp /etc/profile node3.itcast.cn:$PWD
每个节点加载环境变量
source /etc/profile
2.1.5 启动服务器
# 启动ZooKeeper
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
# 启动Kafka
cd /export/server/kafka_2.12-2.4.1
nohup bin/kafka-server-start.sh config/server.properties &
# 测试Kafka集群是否启动成功
bin/kafka-topics.sh --bootstrap-server node1.itcast.cn:9092 --list
2.2 目录结构

bin: kafaka所有的执行脚本都在这里,例如:启动kafka服务器,创建Topic,生产者,消费者进程;

config: kafka所有的配置文件;

libs: 运行kafka所需要的所有jar包;

logs:kafka所有的日志文件,如果kafka出现了一些问题,可以到该目录中查看异常信息;

site-docs: kafka网站帮助文件;

2.3 Kafka 一键启动 / 关闭 脚本

为了方便将来一键启动、关闭kafka,我们可以编写一个脚本进行操作;

1.在节点中创建 /export/onekey 目录:
	cd /export/onekey

2. 准备slave配置文件,用于保存要启动哪几个节点上面的kafka
	node1.itcast.cn
	node2.itcast.cn
	node3.itcast.cn
	
3. 编写start-kafka.sh脚本
	vim start-kafka.sh
	cat /export/onekey/slave | while read line
	do
	{
	 echo $line
	 ssh $line "source /etc/profile;export JMX_PORT=9988;nohup ${KAFKA_HOME}/bin/kafka-server-start.sh ${KAFKA_HOME}/config/server.properties >/dev/nul* 2>&1 & "
	}&
	wait
	done	
	
4.编写stop-kafka脚本
	vim stop-kafka.sh
	cat /export/onekey/slave | while read line
	do
	{
	 echo $line
	 ssh $line "source /etc/profile;jps |grep Kafka |cut -d' ' -f1 |xargs kill -s 9"
	}&
	wait
	done
	
5.给start-kafka.sh 、 stop-kafka配置执行权限
	chmod u+x start-kafka.sh
	chmod u+x stop-kafka.sh
	
6.执行一键启动、一件关闭
	 ./start-kafka.sh
	./stop-kafka.sh
	
3.基础操作

3.1 创建topic

创建topic(主题) kafka中所有的消息都是保存在主题中,要生产消息到kafka,首先得要有一个确定的主题;

#创建一个test(主题)
bin/kafka-topics.sh --create --bootstrap-server node1.itcast.cn:9092 --topic test
# 查看目前Kafka中的主题
bin/kafka-topics.sh --list --bootstrap-server node1.itcast.cn:9092
3.2 生产消息到kafka

使用kafka的内置测试程序,生产一些消息到kafka的test的主题中。

# 脚本命令:bin/kafka-console-producer.sh(从控制窗口读取消息)
bin/kafka-console-producer.sh --broker-list node1.itcast.cn:9092 --topic test
3.3 从KafKa中消费消息

使用下面的命令来消费 test 主题中的消息。

from-beginning:从头拉取消息
bin/kafka-console-consumer.sh --bootstrap-server node1.itcast.cn:9092 --topic test --from-beginning
4. 基准测试 4.1 含义

基准测试:是一种测量和评估软件性能指标的活动。通过基准测试,我们可以了解到软件、性能的水平;主要测试负载的执行时间、传输速度、吞吐量、资源占用等情况;

4.2 基于一个1个分区和一个副本的基准测试

测试步骤:

启动kafka集群;
创建1个分区1个副本的topic:benchmark;
同时运行生产者、消费者基准测试程序;
观察结果;

4.2.1 创建Topic
		bin/kafka-topics.sh --zookeeper node1.itcast.cn:2181 --create --topic benchmark --partitions 1 --replication-factor 1

4.2.2 生产消息基准测试

在生产环境中,推荐使用生产5000万条消息,这样性能数据才会准确,

bin/kafka-producer-perf-test.sh --topic benchmark --num-records 5000000 --throughput -1 --record-size 1000 --producer-props bootstrap.servers=node1.itcast.cn:9092,node2.itcast.cn:9092,node3.itcast.cn:9092 acks=1

bin/kafka-producer-perf-test.sh
topic benchmark 主题名称
num-records 5000000 总共指定生产的数据量(默认500万)
throughput -1 指定吞吐量–限流(-1 为不指定)
-record-size 1000 指定数据的大小
-producer-props bootstrap.servers=node1.itcast.cn:9092,node2.itcast.cn:9092,node3.itcast.cn:9092 acks=1 指定kafka集群的地址 ACK模式

4.2.2 消费消息基准测试

在生产环境中,推荐使用生产5000万条消息,这样性能数据才会准确,

bin/kafka-consumer-perf-test.sh --broker-list node1.itcast.cn:9092,node2.itcast.cn:9092,node3.itcast.cn:9092 --topic benchmark --fetch-size 1048576 --messages 5000000

bin/kafka-consumer-perf-test.sh
broker-list 指定kafka集群的地址
num-records 5000000 总共指定生产的数据量(默认500万)
topic benchmark 指定topic 的名称
fetch-size 1048576 指定每次要拉取数据的大小
messages 5000000 总共要消费的消息条数

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/975465.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号