栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Kafka概述

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Kafka概述

Kafka概述

Kafka起初是由linkedIn公司采用Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统。

Zookeeper在Kafka中扮演的角色,进行Kafka元数据的管理及Kafka Controller的选举工作。Kafka 2.8.0版本之后已移除对Zookeeper的依赖,由kafka自身进行。

目前Kafka已经被定位成一个分布式流式处理系统平台,特点:高吞吐丶可持久化丶可水平拓展丶支持流处理等多种特性。

支持与各种流式计算框架集成,Spark,Flink,Storm等。

Kafka三大角色: 消息系统:

系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。

Kafka还提供了消息系统难以实现的消息顺序性保障及回溯消费功能。

存储系统:

Kafka 把消息持久化到磁盘,相比于其他基于内存存储的系统而言,有效地降低了数据丢失的风险。也正是得益于Kafka 的消息持久化功能和多副本机制,我们可以把Kafka作为长期的数据存储系统来使用,只需要把对应的数据保留策略设置为“永久”或启用主题的日志压缩功能即可

流式处理平台:

Kafka Streams提供了丰富的类库,可以使用对于API进行开发。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/458422.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号