栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

kafka 运维篇 -- 基础

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

kafka 运维篇 -- 基础

一. 为啥用kafka

  1. 解耦
  2. 缓冲和削峰
  3. 减冗余(1个生产多个消费)
  4. 异步通信(先放数据/消息,需要时处理)

二. 高可用性

  1. zk保存kafka元数据(broker ID,topic,consumer信息)
    注意:zk在kafka中,选举controller和检测broker存活
  2. 多副本增大系统容错性

三. 一致性

  1. 从consumer端利用HW

四. 快的原因

  1. 顺序写(磁盘随机写入时,需要进行寻址,移动磁头,耗时,顺序写不涉及)
  2. 0拷贝
  3. 压缩协议(gzip、snappy、Lz4)
  4. 批量处理(合并小的请求,已流的方式进行交互,直顶网络上限)
  5. pull模式(consumer需要时直接从brokers拉取数据,此时与消费端处理能力相符)

补充解释 零拷贝:摘自网络

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/830201.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号