Producer ：消费生产者，就是向 kafka broker 发消息的客户端，broker将该消息追加到当前用于追加数据的segment文件中，生产者发送的消息，存储到一个partition中；
Consumer ：消息消费者，向 kafka broker 取消息的客户端，kafka提供了两套consumerAPI：high-level Consumer API(高层抽象)和SimpleConsumer API；
Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负 责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所 有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。
Broker ：一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker可以容纳多个 topic【kafka集群包含一个或多个服务器，服务器节点称为broker 】。
Topic ：可以理解为一个队列，是逻辑上的概念，同一个Topic 的消息可以分布在一个或多个节点（Broker）上；一个Topic包含一个或多个Partition； 每条消息都属于且仅属于一个Topic； Producer发布数据时，必须指定该消息发布到哪一个Topic；Consumer订阅消息时，也必须指定订阅到那个Topic的消息；
Partition：是物理上的概念，一个非常大的 topic 可以分布到多个 broker（即服务器）上， 一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列；
一个Partition只分布于一个Broker上（不考虑备份）一个Partition物理上对应一个文件夹一个Partition包含多个Segment(Segment对用户透明)一个Segment对应一个文件，Segment由一个个不可变记录组成记录只会被append到Segment中，不会被单独删除或者修改清除过期日志时，直接删除一个或多个Segment
Replication：副本，为保证集群中的某个节点发生故障时，该节点上的 partition 数据不丢失，且 kafka 仍然能够继续工作，kafka 提供了副本机制，一个 topic 的每个分区都有若干个副本，一个 leader 和若干个 follower。
Leader负责写入和读取数据，Follower只是负责备份的。
leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对 象都是 leader。
follower：每个分区多个副本中的“从”，实时从 leader 中同步数据，保持和 leader 数据 的同步。leader 发生故障时，某个 follower 会成为新的 follower。
offset: 偏移量可以唯一的识别一条消息，决定读取数据的位置，不会有线程安全的问题，消费者通过偏移量来决定下次读取的消息，消息被消费后，并不能被马上删除，这样多个业务就可以重复使用kafka的消息
Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic
的。
topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文 件，该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该 log 文件末端，且每条数据都有自己的 offset。消费者组中的每个消费者，都会实时记录自己 消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。
3. 文件存储机制
由于生产者生产的消息会不断追加到 log 文件末尾，为防止 log 文件过大导致数据定位效率低下，Kafka 采取了分片和索引机制，将每个 partition 分为多个 segment。每个 segment对应两个文件–“.index”文件和“.log”文件。这些文件位于一个文件夹下，该文件夹的命名规则为：topic 名称+分区序号。例如，first 这个 topic 有三个分区，则其对应的文件夹为 first-0,first-1,first-2。
分区下进行日志记录：同时为了避免大日志文件的产生，对日志文件进行分片；超过一定大小重新建立一个LogSegment。LogSegment中主要有.log 日志文件和 .index 偏移量索引文件；日志文件主要记录日志内容，偏移量索引文件，记录偏移量（offSet）和对应偏移量在日志文件中的起始读取点。
# The maximum size of a log segment file. When this size is reached a new log segment will be created. log.segment.bytes=1073741824
index 和 log 文件以当前 segment 的第一条消息的 offset 命名。下图为 index 文件和 log文件的结构示意图。 index存储的是索引，二分查找法搜索
“.index”文件存储大量的索引信息，“.log”文件存储大量的数据，索引文件中的元
数据指向对应数据文件中 message 的物理偏移地址。
