栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

《Apache Pulsar从入门到实战》系列教程第9讲之pulsar架构原理

《Apache Pulsar从入门到实战》系列教程第9讲之pulsar架构原理

一、深入理解pulsar分层存储

单个pulsar集群由以下三部分组成:

多个broker负责处理和负载均衡producer发出的消息,并将这些消息分派给consumer;broker和pulsar配置存储交互来处理相应的任务,并将消息存储在bookkeeper实例中(又称bookies);broker依赖zookeeper集群处理特定的任务,等等 多个bookie的bookkepper集群负责消息的持久化存储 一个zookeeper集群,用来处理多个pulsar集群之间的协调任务

在一些流数据用例场景中,用户希望将数据长时间存储在流中。虽然pulsar 对topic backlog的大小没有限制,但将所有数据存储在pulsar中较长时间,存储成本比较大。分层存储支持在不影响终端用户的条件下,将较旧的数据移动到长期存储中。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/742603.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号