栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Kafka原理&实战——(五)主题、分区的概念

Kafka原理&实战——(五)主题、分区的概念

目录

1.主题topic

2.partition分区

2.1分区的概念

2.2 创建多分区的主题

3.kafka中消息日志文件中保存的内容


1.主题topic

主题topic在kafka中是一个逻辑的概念,kafka通过topic将消息进行分类。不同的topic会被订阅该topic的消费者消费。

但是有一个问题,如果说这个topic中的消息非常的多,多到需要几个T来存,因为消息是会被保存到log日志文件中的。为了解决这个文件过大的问题,kafka提出了Partition分区的概念。

2.partition分区

2.1分区的概念

通过partition

将一个topic中的消息分区来存储。主要的好处有多个:

1)分区存储,可以解决统一存储文件过大的问题

2)提高了读写的吞吐量:读和写可以同时在多个分区中进行

2.2 创建多分区的主题

    一个主题中的消息量是非常大的,因此可以通过分区的设置,来分布式部署这些消息。比如一个topic创建了3个分区。那么topic中的消息就会分贝存放在这三个分区中。

分区的作用:

1)可以分布式存储

2)可以并行写

3.kafka中消息日志文件中保存的内容

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/734593.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号