RocketMQ工作原理

目录

• 一、消息的生产：
• • 1.消息的生产过程：
  • 2.Queue选择算法：
• 二、消息的存储：
• • 1.commitlog文件：
  • 2.consumequeue:
  • 3.对文件的读写：
  • 4.与kafka的对比：
• 三、indexFile:
• • 1.索引条目结构：
  • 2.文件名的作用：
  • 3.查询流程：
• 四、消息的消费：
• • 1.推拉消费类型：
  • 2.消费模式：
  • 3.Rebalance机制：
  • 4.Queue分配算法：
  • 5.至少一次性原则：
• 五、订阅关系的一致性：
• 六、offset管理：
• 七、消息幂等：
• 八、消息堆积与消费延迟：
• 九、消息的清理：

一、消息的生产： 1.消息的生产过程：

2.Queue选择算法：

二、消息的存储：

1.commitlog文件：

文件与目录：

消息单元：

2.consumequeue:

索引条目：

3.对文件的读写：

消息写入：

消息拉取：

性能提升：

4.与kafka的对比：

三、indexFile:

1.索引条目结构：

2.文件名的作用：

3.查询流程：

四、消息的消费：

1.推拉消费类型：

2.消费模式：

广播消费：

集群消费：

消息进度条保存：

3.Rebalance机制：

.Rebalance机制讨论的前提是：集群消费。

4.Queue分配算法：

该hash算法存在的问题：分配不均

5.至少一次性原则：

五、订阅关系的一致性：

六、offset管理：

4.重试队列：

七、消息幂等：

在编程中一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。幂等函数，或幂等方法，是指可以使用相同参数重复执行，并能获得相同结果的函数。这些函数不会影响系统状态，也不用担心重复执行会对系统造成改变。例如，“setTrue()”函数就是一个幂等函数,无论多次执行，其结果都是一样的.更复杂的操作幂等保证是利用唯一交易号(流水号)实现。

八、消息堆积与消费延迟：

TPS 即Transactions Per Second的缩写，每秒处理的事务数目.也可以认为是系统的吞吐量

QPS 即Queries Per Second的缩写，每秒能处理查询数目(完整处理，即客户端发起请求到得到响应)。是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。

RT：响应时间，处理一次请求所需要的平均处理时间。

九、消息的清理：