栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

一起揭开 Kafka 的神秘面纱

一起揭开 Kafka 的神秘面纱

Kafka是由Servers(服务器)和Clients(客户端)组成的高吞吐量分布式发布订阅消息系统,可以部署在裸机、虚拟机以及云环境上。在我们接触的很多业务场景中都会看到很多Kafka的身影,今日来给大家分享一下Kafka的基本概念以及整体框架情况,首先先来了解一下几个专业名词。

Servers:Kafka作为一个集群运行在一个或多个服务器上,把一些服务器作为storage layer(存储层),称之为brokers,其他服务器则运行 Kafka Connect 去持续性地对数据以事件流的形式进行导出导入,与现有的系统进行交互集成。

Clients:允许我们编写分布式应用程序以及微服务,并行地读取、处理、写入大规模的事件流。

Producers:把事件publish(写入)到Kafka的客户端应用。

Consumers:从Kafka内subscribe(读或者处理)事件的客户端应用。

Topics:为了分门别类,把相关主题的事件数据都放在一起,可以简单理解Topics为文件夹,event就是里面的文件,一个Topic允许有0个、1个或多个Producers或Consumers。

Consumer Group:每个Consumer属于一个特定的Consumer Group,同时记得一个Group内的Consumer数量不要大于分区数量,因为1个Consumer可以消费多个分区,但1个分区只能给1个Consumer消费。

Kafka的整体架构图可以看看下图:

Kafka-打横看高清图
Reference
  1. Kafka官方文档

http://kafka.apache.org/

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/313018.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号