消息队列

Kafka 的设计架构

ProducerCustomer Group

Customer BrokerTopic

Partition

Replica 4.2 Kafka 的安装

Kafka底层原理剖析（近万字建议收藏）

《深入理解Kafka：核心设计与实践原理》1.2 安装与配置

Producer：消息生产者，就是向 kafka broker 发消息的客户端。

Customer Group：消费者组，一组消费者组成一个消费者组，主要用于实现 topic 的组播和单播

Consumer ：消息消费者，从 kafka broker 取消息的客户端（拉模式）。

Broker：存储消息的容器，负责存储消息并将消息持久化到磁盘，可以理解为一个队列。一台 kafka 服务器就是一个 broker，一个集群由多个 broker 组成。一个 broker 可以容纳多个 topic。

消息的主题，一个 topic 又可以划分为多个 Partition

Partition：为了实现 topic 的水平扩展，一个 topic 又可以划分为多个 partition，每个 partition 存储 topic 的一部分数据。消息存储在分区中是有序的，每条消息都有一个 offset id，用于记录消息在分组中的偏移量。

Replica：为了实现数据的容灾，每个分区（partition） 又被分为多个副本（Replica）进行存储，各个副本按一主多从（Master-Slave）的方式组织；主节点负责数据的读写（生产者写，消费者读），从节点负责同步主节点的数据。

CentOS 7环境下Kafka的安装和基本使用
在CentOS 7上安装Kafka
Apache Kafka（二）：CentOS 7下安装Apache Kafka

# 启动 zookeeper
./zookeeper-server-start.sh -daemon ../config/zookeeper.properties	

# 启动 kafka
./zookeeper-server-start.sh /usr/local/kafka_2.13-2.7.0/config/zookeeper.properties

# 查看 topic
./kafka-topics.sh --list --zookeeper localhost:2181

# 创建 topic test
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test