大 部 分 消 息 系 统 在broker端 的 维 护 消 息 被 消 费 的 记 录 : 一 个 消 息 被 分 发到consumer后broker就 马 上 进 行 标 记 或 者 等 待customer的 通 知 后 进 行 标 记 。 这样 也 可 以 在 消 息 在 消 费 后 立 马 就 删 除 以 减 少 空 间 占 用 。
但 是 这 样 会 不 会 有 什 么 问 题 呢 ? 如 果 一 条 消 息 发 送 出 去 之 后 就 立 即 被 标 记 为 消 费过 的 , 一 旦consumer处 理 消 息 时 失 败 了 ( 比 如 程 序 崩 溃 ) 消 息 就 丢 失 了 。
为 了解 决 这 个 问 题 , 很 多 消 息 系 统 提 供 了 另 外 一 个 个 功 能 : 当 消 息 被 发 送 出 去 之 后 仅仅 被 标 记 为 已 发 送 状 态 , 当 接 到consumer已 经 消 费 成 功 的 通 知 后 才 标 记 为 已 被消 费 的 状 态。
这 虽 然 解 决 了 消 息 丢 失 的 问 题,但 产 生 了 新 问 题,首 先 如 果consumer处 理 消 息 成 功 了 但 是 向broker发 送 响 应 时 失 败 了,这 条 消 息 将 被 消 费 两 次。第 二个 问 题 时 ,broker必 须 维 护 每 条 消 息 的 状 态 , 并 且 每 次 都 要 先 锁 住 消 息 然 后 更 改状 态 然 后 释 放 锁 。
这 样 麻 烦 又 来 了 , 且 不 说 要 维 护 大 量 的 状 态 数 据 , 比 如 如 果 消息 发 送 出 去 但 没 有 收 到 消 费 成 功 的 通 知 , 这 条 消 息 将 一 直 处 于 被 锁 定 的 状 态 ,Kafka采 用 了 不 同 的 策 略。
Topic被 分 成 了 若 干 分 区,每 个 分 区 在 同 一 时 间 只 被 一个consumer消 费 。 这 意 味 着 每 个 分 区 被 消 费 的 消 息 在 日 志 中 的 位 置 仅 仅 是 一 个简 单 的 整 数:offset。这 样 就 很 容 易 标 记 每 个 分 区 消 费 状 态 就 很 容 易 了,仅 仅 需 要一 个 整 数 而 已 。 这 样 消 费 状 态 的 跟 踪 就 很 简 单 了 。
这 带 来 了 另 外 一 个 好 处 :consumer可 以 把offset调 成 一 个 较 老 的 值 , 去 重 新 消费 老 的 消 息 。 这 对 传 统 的 消 息 系 统 来 说 看 起 来 有 些 不 可 思 议 , 但 确 实 是 非 常 有 用的 , 谁 规 定 了 一 条 消 息 只 能 被 消 费 一 次 呢 ?
Zookeeper对于Kafka的作用是什么?
Zookeeper是 一 个 开 放 源 码 的、高 性 能 的 协 调 服 务,它 用 于Kafka的 分 布 式 应 用。
Zookeeper主 要 用 于 在 集 群 中 不 同 节 点 之 间 进 行 通 信
在Kafka中 , 它 被 用 于 提 交 偏 移 量 , 因 此 如 果 节 点 在 任 何 情 况 下 都 失 败 了 , 它 都可 以 从 之 前 提 交 的 偏 移 量 中 获 取除 此 之 外,它 还 执 行 其 他 活 动,如:leader检 测、分 布 式 同 步、配 置 管 理、识 别 新节 点 何 时 离 开 或 连 接 、 集 群 、 节 点 实 时 状 态 等 等 。
Kafka判断一个节点是否还活着有那两个条件?
(1)节 点 必 须 可 以 维 护 和ZooKeeper的 连 接,Zookeeper通 过 心 跳 机 制 检 查 每个 节 点 的 连 接
(2)如 果 节 点 是 个follower,他 必 须 能 及 时 的 同 步leader的 写 操 作,延 时 不 能 太久
Kafka与传统MQ消息系统之间有三个关键区别
(1).Kafka持 久 化 日 志 , 这 些 日 志 可 以 被 重 复 读 取 和 无 限 期 保 留
(2).Kafka是 一 个 分 布 式 系 统:它 以 集 群 的 方 式 运 行,可 以 灵 活 伸 缩,在 内 部 通 过复 制 数 据 提 升 容 错 能 力 和 高 可 用 性
(3).Kafka支 持 实 时 的 流 式 处 理
讲一讲kafka的ack的三种机制
request.required.acks有 三 个 值01-1(all)
0:生 产 者 不 会 等 待broker的ack,这 个 延 迟 最 低 但 是 存 储 的 保 证 最 弱 当server挂掉 的 时 候 就 会 丢 数 据 。
1:服 务 端 会 等 待ack值leader副 本 确 认 接 收 到 消 息 后 发 送ack但 是 如 果leader挂 掉 后 他 不 确 保 是 否 复 制 完 成 新leader也 会 导 致 数 据 丢 失 。
-1(all): 服 务 端 会 等 所 有 的follower的 副 本 受 到 数 据 后 才 会 受 到leader发 出的ack, 这 样 数 据 不 会 丢 失
消 费 者 如 何 不 自 动 提 交 偏 移 量 , 由 应 用 提 交 ?
将auto.commit.offset设 为false, 然 后 在 处 理 一 批 消 息 后commitSync()或 者
异 步 提 交commitAsync()
即 :
ConsumerRecords<>records=consumer.poll();
for(ConsumerRecord<>record:records){
。。。
tyr{
consumer.commitSync()
}
。。。
}
kafka分布式(不是单机)的情况下,如何保证消息的顺序消费?
Kafka分 布 式 的 单 位是partition,同 一个partition用 一个writeaheadlog组 织,所 以 可 以 保 证FIFO的 顺 序 。 不 同partition之 间 不 能 保 证 顺 序 。但 是 绝 大 多 数 用户 都 可 以 通 过messagekey来 定 义 , 因 为 同 一 个key的message可 以 保 证 只 发送 到 同 一 个partition。
Kafka中 发 送1条 消 息 的 时 候 , 可 以 指 定(topic,partition,key)3个 参 数 。partiton和key是 可 选 的。如 果 你 指 定 了partition,那 就 是 所 有 消 息 发 往 同1个partition,就 是 有 序 的。并 且 在 消 费 端,Kafka保 证,1个partition只 能被1个consumer消 费。或 者 你 指 定key(比 如orderid),具 有 同1个key的所 有 消 息 , 会 发 往 同1个partition。
kafka的高可用机制是什么?
这 个 问 题 比 较 系 统,回 答 出kafka的 系 统 特 点,leader和follower的 关 系,消 息读 写 的 顺 序 即 可 。
kafka如何不消费重复数据?比如扣款,我们不能重复的扣。
其 实 还 是 得 结 合 业 务 来 思 考 ,我 这 里 给 几 个 思 路 :
比 如 你 拿 个 数 据 要 写 库 , 你 先 根 据 主 键 查 一 下 , 如 果 这 数 据 都 有 了 , 你 就 别 插 入了 ,update一 下 好 吧 。
比 如 你 是 写Redis, 那 没 问 题 了 , 反 正 每 次 都 是set, 天 然 幂 等 性 。
比 如 你 不 是 上 面 两 个 场 景 , 那 做 的 稍 微 复 杂 一 点 , 你 需 要 让 生 产 者 发 送 每 条 数 据的 时 候,里 面 加 一 个 全 局 唯 一 的id,类 似 订 单id之 类 的 东 西,然 后 你 这 里 消 费到 了 之 后,先 根 据 这 个id去 比 如Redis里 查 一 下,之 前 消 费 过 吗 ? 如 果 没 有 消费 过 , 你 就 处 理 , 然 后 这 个id写Redis。如 果 消 费 过 了 , 那 你 就 别 处 理 了 , 保证 别 重 复 处 理 相 同 的 消 息 即 可 。
比 如 基 于 数 据 库 的 唯 一 键 来 保 证 重 复 数 据 不 会 重 复 插 入 多 条 。
因 为 有 唯 一 键 约 束了 , 重 复 数 据 插 入 只 会 报 错 , 不 会 导 致 数 据 库 中 出 现 脏 数 据 。
生产者和消费者的命令行是什么?
生 产 者 在 主 题 上 发 布 消 息 :
bin/kafka-console-producer.sh--broker-list192.168.43.49:9092--topic
Hello-Kafka
注 意 这 里 的IP是server.properties中 的listeners的 配 置。接 下 来 每 个 新 行 就 是输 入 一 条 新 消 息 。
消 费 者 接 受 消 息 :
bin/kafka-console-consumer.sh--zookeeperlocalhost:2181--topic
Hello-Kafka--from-beginning
consumer是推还是拉?
Kafka最 初 考 虑 的 问 题 是 ,customer应 该 从brokes拉 取 消 息 还 是brokers将 消息 推 送 到consumer,也 就 是pull还push。在 这 方 面,Kafka遵 循 了 一 种 大 部 分消 息 系 统 共 同 的 传 统 的 设 计 :producer将 消 息 推 送 到broker,consumer从broker拉 取 消 息 。
一 些 消 息 系 统 比 如Scribe和ApacheFlume采 用 了push模 式 , 将 消 息 推 送 到 下游 的consumer。这 样 做 有 好 处 也 有 坏 处:由broker决 定 消 息 推 送 的 速 率,对 于不 同 消 费 速 率 的consumer就 不 太 好 处 理 了 。 消 息 系 统 都 致 力 于 让consumer以最 大 的 速 率 最 快 速 的 消 费 消 息 , 但 不 幸 的 是 ,push模 式 下 , 当broker推 送 的 速率 远 大 于consumer消 费 的 速 率 时 ,consumer恐 怕 就 要 崩 溃 了 。最 终Kafka还是 选 取 了 传 统 的pull模 式 。
Pull模 式 的 另 外 一 个 好 处是consumer可 以 自 主 决 定 是 否 批 量 的从broker拉 取 数据。Push模 式 必 须 在 不 知 道 下 游consumer消 费 能 力 和 消 费 策 略 的 情 况 下 决 定 是立 即 推 送 每 条 消 息 还 是 缓 存 之 后 批 量 推 送 。 如 果 为 了 避 免consumer崩 溃 而 采 用较 低 的 推 送 速 率 , 将 可 能 导 致 一 次 只 推 送 较 少 的 消 息 而 造 成 浪 费 。Pull模 式 下 ,consumer就 可 以 根 据 自 己 的 消 费 能 力 去 决 定 这 些 策 略 。
Pull有 个 缺 点 是,如 果broker没 有 可 供 消 费 的 消 息,将 导 致consumer不 断 在 循环 中 轮 询,直 到 新 消 息 到t达。为 了 避 免 这 点,Kafka有 个 参 数 可 以 让consumer阻 塞 知 道 新 消 息 到 达(当 然 也 可 以 阻 塞 知 道 消 息 的 数 量 达 到 某 个 特 定 的 量 这 样 就 可以 批 量 发 送)。
如果本文对你有帮助,别忘记给我个3连 ,点赞,转发,评论,
咱们下期见。学习更多JAVA知识与技巧,点击博主主页查看!



