/export/server/zookeeper-3.4.9/bin/zkServer.sh start cd /export/server/kafka_2.12-2.4.1 bin/zookeeper-server-start.sh config/zookeeper.properties bin/kafka-server-start.sh config/server.properties cd /export/server/kafka_2.12-2.4.1 nohup bin/zookeeper-server-start.sh config/zookeeper.properties & nohup bin/kafka-server-start.sh config/server.properties &kafka-eale启动(登不上监控页面时，换到1.4.6版本，在百度云网盘里)
cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6/bin/ ./ke.sh start停
cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6/bin/ ./ke.sh stop测试
cd /export/server/kafka_2.12-2.4.1 bin/kafka-topics.sh --bootstrap-server node01:9092 --list停止
cd /export/server/kafka_2.12-2.4.1 nohup bin/kafka-server-stop.sh config/server.properties & nohup bin/zookeeper-server-stop.sh config/zookeeper.properties &
shutdown -h now脚本启动 启(slave里的node03后面换行，可解决node03无法一键启动)
cd /export/onekey ./start-kafka.sh停
cd /export/onekey ./stop-kafka.sh目录结构分析
| 目录名称 | 说明 |
|---|---|
| bin | Kafka的所有执行脚本都在这里。例如：启动Kafka服务器、创建Topic、生产者、消费者程序等等 |
| config | Kafka的所有配置文件 |
| libs | 运行Kafka所需要的所有JAR包 |
| logs | Kafka的所有日志文件，如果Kafka出现一些问题，需要到该目录中去查看异常信息 |
| site-docs | Kafka的网站帮助文件 |
分区适用于真分布式集群
副本越多越慢
架构 broker一个Kafka的集群通常由多个broker组成，这样才能实现负载均衡、以及容错
broker是**无状态（Sateless）**的，它们是通过ZooKeeper来维护集群状态
一个Kafka的broker每秒可以处理数十万次读写，每个broker都可以处理TB消息而不影响性能
producer（生产者）生产者负责将数据推送给broker的topic
consumer（消费者）消费者负责从broker的topic中拉取数据，并自己进行处理
consumer group（消费者组）l consumer group是kafka提供的可扩展且具有容错性的消费者机制
l 一个消费者组可以包含多个消费者
l 一个消费者组有一个唯一的ID（group Id）
l 组内的消费者一起消费主题的所有分区数据
分区（Partitions）在Kafka集群中，主题被分为多个分区
副本（Replicas）副本可以确保某个服务器出现故障时，确保数据依然可用
在Kafka中，一般都会设计副本的个数＞1
主题（Topic）l 主题是一个逻辑概念，用于生产者发布数据，消费者拉取数据
l Kafka中的主题必须要有标识符，而且是唯一的，Kafka中可以有任意数量的主题，没有数量上的限制
l 在主题中的消息是有结构的，一般一个主题包含某一类消息
l 一旦生产者发送消息到主题中，这些消息就不能被更新（更改）
偏移量（offset）l offset记录着下一条将要发送给Consumer的消息的序号
l 默认Kafka将offset存储在ZooKeeper中
l 在一个分区中，消息是有顺序的方式存储着，每个在分区的消费都是有一个递增的id。这个就是偏移量offset
l 偏移量在分区中才是有意义的。在分区之间，offset是没有任何意义的
消费者组Kafka支持有多个消费者同时消费一个主题中的数据。我们接下来，给大家演示，启动两个消费者共同来消费 test 主题的数据。
Kafka生产者幂等性与事务 幂等性拿http举例来说，一次或多次请求，得到地响应是一致的（网络超时等问题除外），换句话说，就是执行多次操作与执行一次操作的影响是一样的。
配置幂等性
props.put(“enable.idempotence”,true);
Kafka事务 分区和副本机制 生产者分区写入根据不同的策略，分区写入
轮询分配分区平均轮流
随机策略不用
按key根据哈希取余分配，可能会因为大量相同数据造成数据倾斜
乱序问题（面试热点）生产到全局分区是乱序的，局部分区内是有序的
要想解决，都分到一个分区，但是又失去了分布式的意义
也可以分区有序生产消息
自定义分区java api自定义策略
消费组rebalance机制–再均衡消费者组消费的分区发生变化，重新分配分区
触发机制消费者组新增或者宕机
主题个数变化
主题分区数变化
缺点再均衡时所有的消费者不工作，知道再均衡分区完成
消费者分区策略 range范围分配策略（公式）默认策略，均衡分配
n= 分区数 / 消费者数
m=分区数 % 消费者数
前m个消费n+1个
剩余消费n个
roundrobin轮询策略按字典和哈希值排序，逐个分配给消费者
leader和followerleader读写，follwer负责副本，类似zookeeper主从
