项目1在线交流平台-5.Kafka构建异步消息系统-2.Kafka入门-认识、安装与测试

1. 认识Kafka

kafka简介Kafka特点Kafka 基础架构

1） Producer ： 消息生产者2） Consumer ： 消息消费者3） Consumer Group （CG）消费者组：4） Broker 服务器：5） Topic ： 6） Partition：分区1）offset：位置标识7） Replica： 副本8） leader ：主副本 9） follower： 从副本Zookeeper ：集群管理 2. Kafka的安装

`mv kafka_2.12-2.3.0/ kafka` 3. Kafka的使用测试

1. 启动/停止Zookeeper2. 启动/停止Kafka3. 创建/删除topic4. 查看主题5. 发送消息6. 接收消息7. 查看特定主题的详细信息8. 删除主题
参考牛客网高级项目教程

尚硅谷kafka教学笔记

Kafka是一个分布式的流媒体平台。应用：

消息系统、日志收集、用户行为追踪、流式处理。 Kafka特点

高吞吐量、

kafka保证高吞吐量的机制单机写入TPS约百万条/s 消息持久化、

1.消息直接持久化在普通磁盘上，就是直接append到磁盘里去，

这样的好处是直接持久化，数据不会丢失，可以处理TB级海量数据 2.顺序写入：避免随机写入导致的磁盘频繁的寻址，

对磁盘的顺序读写性能其实是高于对内存的读写的 3.删除数据的两种策略：

基于时间删除默认7天基于partition文件的大小删除。 4.Memory Mapped Files：mmf直接利用操作系统的Page来实现文件到物理内存的映射，完成之后对物理内存的操作会直接同步到硬盘，大大提高了IO速率，省去了用户空间到内核空间的复制。它的缺点显而易见–不可靠，当发生宕机而数据未同步到硬盘时，数据会丢失，Kafka提供了produce.type参数来控制是否主动的进行刷新（默认为sync,同步模式），如果kafka写入到mmp后立即flush再返回给生产者则为同步模式，反之为异步模式。 高可靠性、高扩展性。 Kafka 基础架构

就是向 kafka broker 发消息的客户端； 2） Consumer ： 消息消费者

向 kafka broker 取消息的客户端； 3） Consumer Group （CG）消费者组：

由多个 consumer 组成

消费组内的每个消费者消费一个分区的数据，相当于将之前一个消费者消费一个topic所有分区数据的压力进出拆分，提高性能 消费者组内每个消费者负责消费一个topic主题下的不同分区的数据每个消费组消费一个同一个topic主题一个分区只能由一个组内消费者消费；因此最佳实践是，一个topic有多少分区，就设计一组消费组有多少个消费者消费者组之间互不影响。

所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。 4） Broker 服务器：

一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker可以容纳多个 topic。 5） Topic ：

kafka使用的是订阅模式，topic是订阅主题

是生产者生产出消息存放的位置，相当于一个文件夹也是对存放消息的一个分类，例如点赞主题，系统消息主题等储存不同类别的数据 可以理解为一个队列， 生产者和消费者面向的都是一个 topic； 6） Partition：分区

kafka基本原理介绍，以及重新选举，replica复制机制，isr等

为了实现分布式扩展性，

一个非常大的 topic 可以分布到多个 broker（即服务器）上，一个 topic 可以分为多个 partitionpartion可以看作一个有序的队列，里面的数据是储存在硬盘中的，追加式的

每一条数据都有一个offset，是每一条数据在该partition中的唯一标识。

各个consumer控制和设置其在该partition下消费到offset位置，

这样下次可以以该offset位置开始进行消费。这样保证一个消费者挂了后，其他消费者能够继续从这个分区的offset位置继续消费，而不是重新消费，解耦

旧版本保存在zookeeper中，新版本保存在broker的topic中

各个consumer的offset位置默认是在某一个broker当中的topic中保存的为防止该broker宕掉无法获取offset信息，可以配置在每个broker中都进行保存，配置文件中配置 7） Replica： 副本

为保证集群中的某个节点发生故障时， 该节点上的 partition 数据不丢失， 且 kafka 仍然能够继续工作，kafka 提供了副本机制，一个 topic 的每个分区都有若干个副本，一个 leader 和若干个 follower。 8） leader ：主副本

每个分区多个副本的“主”，

可以从主副本中获取数据，处理请求从副本follower只做备份，不能从follower取数据，做响应 生产者发送数据的对象，以及消费者消费数据的对象都是 leader。 9） follower： 从副本

每个分区多个副本中的“从”，

实时从 leader 中同步数据，保持和 leader 数据的同步。

分布式集群中，从副本与主副本不在一个Broker服务器，这样一个服务器挂了，可以将另一个服务器中的follower变成新的leader ，继续使用

leader 发生故障时，某个 follower 会成为新的 follower。

kafka对与zookeeper是强依赖的，是以zookeeper作为基础的，即使不做集群，也需要zk的支持

zk说白了，就是一个节点服务系统，至于用这个节点做什么，做单活、开关锁还是做检测服务器存活状态，都是业务代码根据这个节点做的一些逻辑处理。以下是kafka默认在zk中的节点层级结构：

kafka安装及配置过程

可以修改解压后的kafka文件夹名称，方便今后使用之后需要配置Zookeeper和kafka的配置文件 3. Kafka的使用测试 1. 启动/停止Zookeeper

-daemon参数的目的，可以在后台启动Zookeeper，输出的信息在保存在执行目录的logs/zookeeper.out文件中。

这样主控制台可以继续使用，无需另开控制台

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
bin/zookeeper-server-stop.sh -daemon config/zookeeper.properties

bin/kafka-server-start.sh -daemon config/server.properties
bin/kafka-server-stop.sh config/server.properties

先测试一个副本，一个分区，并创建主题为test

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
bin/kafka-topics.sh --zookeeper localhost:2181 --delete  --topic test

bin/kafka-topics.sh --list --zookeeper localhost:2181

bin/kafka-console-producer.sh --broker-list  192.168.181.136:9092 --topic test

bin/kafka-console-consumer.sh --bootstrap-server 192.168.181.136:9092 --topic test --from-beginning

bin/kafka-topics.sh --zookeeper localhost:2181 --describe  --topic test

bin/kafka-topics.sh --zookeeper localhost:2181 --delete  --topic test