InfoQ 中文T2·68 分
Kafka 会话级有序处理架构:一致性哈希与水位提交实践
原标题:处理了 4000 万条消息后,我们总结了 Kafka 有序处理的几个关键设计
- 仅靠 Kafka 分区内顺序不足以保障多会话间的时序一致性,需引入应用层会话亲和机制。
- 采用“一致性哈希 + 每会话 Goroutine”结构,确保同一会话消息串行处理,不同会话并行。
- 失败消息在原处理链路内进行带退避的重试,避免乱序并简化状态机管理。
- 偏移量仅提交至最高连续完成位置(水位线),防止崩溃后跳过未完成的前置消息。