栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

大数据-kafka学习(一)

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

大数据-kafka学习(一)

1.1、Kafka定义 kafka传统定义:

kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域

发布/订阅:消息的发布者不会将消息直接发给指定的订阅者,而是将发布的消息分为不同的类别,订阅者只接收感兴趣的消息。

Kafka 最新定义:

Kafka 是一个开源的分布式事件流平台(Event Streaming Platform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

1.2、消息队列

目前企业中比较常见的消息队列产品主要有 Kafka、ActiveMQ、RabbitMQ、RocketMQ等

在大数据场景主要采用Kafka 作为消息队列,在JaveEE 开发主要采用AvtiveMQ、RabbitMQ、RocketMQ。

1.2.1传统消息队列的应用场景

        传统消息队列的应用场景:缓冲/削峰、解耦和异步通信

      缓冲、削峰:有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息不一致的情况

 

 解耦:允许你独立的扩展或修改两边的处理过程,只要确保他们遵守同样的接口约束

异步通信:允许用户把一个消息放入队列,但并不立即处理它,然后在需要的时候再去处理他们 

1.3、消息队列的两种模式

1)、点对点模式

        消费者主动拉取数据,消息收到后清除消息

 ​​​​​​​

2)、发布/订阅模式

        可以有多个topic主题(浏览、点赞、收藏、评论等)

        消费者消费数据之后,不删除数据

        每个消费者相互独立,都可以消费到数据

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/781002.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号