kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue）。类似于一个有顺序的缓冲区，将访问的信息缓冲起来，减少服务器的压力，主要应用于大数据实时处理领域。
2 kafka基础架构点对点模式：一对一，消费者主动拉取数据，消息收到后消息清除。消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。
发布/订阅模式：一对多，消费者消费数据之后不会清除消息。消息生产者（发布）将消息发布到topic（队列），同时有多个消息消费者（订阅）消费该消息。和点对点方式不同，发布到topic的消息会被所有订阅者消费。
基于发布/订阅模式的消费队列，topicA为kafka。
二 kafka安装（1）Producer ：消息生产者，就是向kafka broker发消息的客户端；
（2）Consumer ：消息消费者，向kafka broker取消息的客户端；
（3）Consumer Group （CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个消费者消费；不同消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者；
（4）Broker ：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic；
（5）Topic ：可以理解为一个队列，生产者和消费者面向的都是一个topic；
（6）Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列；组内消息的索引叫做offset；
（7）Replica：副本，为保证集群中的某个节点发生故障时，该节点上的partition数据不丢失，且kafka仍然能够继续工作，kafka提供了副本机制，一个topic的每个分区都有若干个副本，一个leader和若干个follower；
（8）leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是leader。每一个有1个及以上副本的partition都有leader和follower；
（9）follower：每个分区多个副本中的“从”，实时从leader中同步数据，保持和leader数据的同步。leader发生故障时，某个follower会成为新的leader。
#解压下载好的安装包 tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/ #重命名 mv kafka_2.11-2.4.1/ kafka #配置环境变量 sudo vim /etc/profile.d/my_env.sh #使环境变量生效 source /etc/profile #添加以下内容 #KAFKA_HOME export KAFKA_HOME=/opt/module/kafka export PATH=$PATH:$KAFKA_HOME/bin #进入config目录，配置一些内容 broker.id=101 delete.topic.enable=true log.dirs=/opt/module/kafka/logs zookeeper.connect=hadoop101:2181,hadoop102:2181,hadoop103:2181 #分发到其他服务器 xsync kafka sudo xsync /etc/profile.d/my_env.sh #修改其他服务器的id vim /opt/module/kafka/config/server.properties broker.id=102 broker.id=103 #在三台机器分别启动kafka kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties #jpsall查看是否全部启动成功 #或者netstat -nltp查看9092端口是否打开，监听 #或者zkCli.sh-->ls /brokers/ids 查看配置的三个节点是否在zookeeper注册成功1 kafka命令行操作（用的不多）
#查看当前服务器中的所有topic kafka-topic.sh --zookeeper --list hadoop101:2181 #创建topic kafka-topics.sh --zookeeper --create hadoop101:2181 --topic hello --partitions 2 --replication-factor 2
选项说明：
–topic 定义topic名
–replication-factor 定义副本数
–partitions 定义分区数
#查看hello的详细信息 kafka-topics.sh --zookeeper --describe hadoop101:2181 --topic hello #删除topic kafka-topics.sh --zookeeper --delete hadoop101:2181 --topic hello2
topic的元数据在zookeeper中存储
# 发送消息 kafka-console-producer.sh --broker-list hadoop101:9092 --topic hello >aaa >bbb >ccc
数据存储在/opt/module/kafka/logs/hello-1目录下的.log文件中，想要取得数据，需要再启动一个消费者
# 消费数据（从当前位置） kafka-console-consumer.sh --bootstrap-server hadoop101:9092 --topic hello # 消费数据（所有数据） kafka-console-consumer.sh --bootstrap-server hadoop101:9092 --topic hello --from-beginning
# 修改分区数 kafka-topics.sh --alter --zookeeper hadoop101:2181 --topic hello --partitions 3
