栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Kafka工作流程

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Kafka工作流程

生产过程

保证分区有序,不能保证Topic有序

offset就想当与该条消息在该队列中的唯一ID,而每个消费者会记录自己消费到的offset!

一个问题:同一个消息怎么能让N个消费者消费?

  1. 每个消息记录自己被消费的次数,当被消费N次后就删除该消息,开始消费下一个消息。
  2. 每个消费者会定时拿着自己的offset去消费,如果当前消息ID为自己的offset,那么就返回空消息。
Kafka是怎样存消息的呢?【文件】

消息丢失问题

ACK消息确认机制

数据一致性问题

消费方式

消费者主动拉去【没有数据时则阻塞一段时间再去拉取】

kafka效率高原因
  • 顺序写入磁盘

  • 零拷贝技术
    普通文件的IO过程:

  • 零拷贝
    直接内核空间进行对文件进行IO,不需要拷贝到用户空间。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/659362.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号