栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

kafka基础

kafka基础

一、kafka

1、为什么要使用消息队列?

使用异步的通信方式:

同步方式存在的问题:

造成系统开销-响应时间比较长在同步的过程中要保证每个服务都顺利执行完,整个链路才执行完,如果受到网络的影响,整个链接的执行同样被影响。-导致用户体验较差。

异步的优势:

明显提高系统的吞吐量即使有服务失败,可通过分布式事务方案解决

消息队列解决:通信问题

二、消息队列的分类

rabbitMQ:

rockerMQ: 阿里内部一个大神,根据kafka的内部执行原理,手写的一个消息队列中间件

kafka: 全球消息处理性能最快的一款MQ

zeroMQ:

消息队列中间件有什么区别:

1、有broker

整个broker, 依据topic来进行消息的中转

2、无broker

在正常者和消费者之间没有使用broker, 例如:zeroMQ,直接使用socker进行通信

三、kafka基本概念

kafka是一个分布式的,分区的消息服务。

消息相关术语:

名称解释
Broker消息中间件处理节点,一个kafka节点就是一个broker,一个或者多个Broker可以组成一个kafka集群
Topickafka根据topic对消息进行归类,发布到kafka集群的每条消息都需要指定一个topic
Producer消息生产者,向Broker发送消息的客户端
Consumer消息消费者,向Broker读取消息的客户端
ConsumerGroup每个Consumer属于一个特定的ConsumerGroup,一条消息可以被多个不同的ConsumerGroup消费,但是一个ConsumerGroup只能有一个Consumer能够消费该消息
Partition物理上的概念,一个topic可以分为多个partition,每个partition内部消息是有序的
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/735862.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号