术语slug: late-arriving-data

迟到数据

Late-Arriving Data

事件时间早于处理时间、在窗口关闭后才到达的流式数据

收录情报动态

共 1 篇 · 第 1/1 页
Hacker News AIT2·开发与工程
72 分
聚合是函数而非求和 重构 ClickHouse 实时报表

文章复盘了基于 Kafka 与 ClickHouse 构建销售小票实时报表的四次迭代,指出至少一次投递导致的重复写入和离线补传造成的迟到数据,会让“插入即累加”的求和式聚合持续出错。作者主张把聚合重新定义为对文档集合的函数,使重复与迟到文档无需人工修正即可重算单元格。