栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Kafka理解

Kafka理解

kafka是什么

Apache Kafka是分布式发布-订阅消息系统,在 kafka官网上对 kafka 的定义:一个分布式发布-订阅消息传递系统。 它最初由linkedIn公司开发,linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。

几种分布式系统消息系统的对比:

kafka基本架构

它的架构包括以下组件:

话题(Topic):是特定类型的消息流。消息是字节的有效负载(Payload),话题是消息的分类名或种子(Feed)名;

生产者(Producer):是能够发布消息到话题的任何对象;

服务代理(Broker):已发布的消息保存在一组服务器中,它们被称为代理(Broker)或Kafka集群;

消费者(Consumer):可以订阅一个或多个话题,并从Broker拉数据,从而消费这些已发布的消息;

基本原理

生产者将数据生产出来,交给 broker 进行存储,消费者需要消费数据了,就从broker中去拿出数据来,然后完成一系列对数据的处理操作。多个 broker 协同合作,producer 和 consumer 部署在各个业务逻辑中被频繁的调用,三者通过 zookeeper管理协调请求和转发。这样一个高性能的分布式消息发布订阅系统就完成了。

kafka作用场景

发布 & 订阅:类似于一个消息系统,读写流式的数据。计算:编写可扩展的流处理应用程序,用于实时场景。储存:将流式的数据安全的存储在一个分布式,有副本备份,容错的集群。 参考

kafka官方文档:https://kafka.apache.org/documentation/

kafka架构解释:https://zhuanlan.zhihu.com/p/38269875

Kafka简介、基本原理、执行流程与使用场景:https://cloud.tencent.com/developer/article/1419346

kafka中文文档:https://kafka.apachecn.org/

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/775258.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号