Google 发布 TimesFM-3:支持多变量零样本预测
Google 推出最新时间序列基础模型 TimesFM-3,首次实现单次前向传播下的多变量零样本预测。该模型突破了此前版本仅支持单变量预测的限制,在主要基准测试中显著优于其他预测模型,并可通过 BigQuery 的 AI.FORECAST 命令直接调用。
报道正文
本文目录8 个章节
我们推出 TimesFM-3,这是一款最先进的时序基础模型,能够在单次前向传播中实现高精度的多变量时间序列预测,在主要基准测试中显著优于其他预测模型。
自 2024 年 TimesFM 首次亮相以来,我们见证了时序基础模型在零售、金融、可观测性、制造、医疗和自然科学等多个领域的真实世界时间序列预测任务中的广泛应用(参见 ICML 结构化基础模型研讨会)。
直到 TimesFM-2.5(于 2025 年 9 月发布),我们的模型仍严格局限于单变量预测:即仅利用单一时间序列的历史数据进行预测。然而,大多数现实世界的预测问题本质上是多变量的:多个时间序列以及辅助外部特征共同影响某一时间序列的未来预测。以预测连锁零售店的冰淇淋销量为例,仅凭过去的销售数据往往难以全面反映情况。一个优秀的预测还应结合相关产品的销售数据(如蛋筒、糖浆)、历史客流量,以及已知的未来事件(如天气预报、促销活动和节假日)。
今天,我们正式推出 TimesFM-3,这是下一代原生针对多变量预测进行预训练的时序基础模型。TimesFM-3 拥有 3.3 亿参数,并在包含超过 1 万亿个时间点的大规模真实与合成时间语料库上进行预训练。在继承前代模型高效性与零样本泛化能力的基础上,TimesFM-3 以零样本方式增加了对复杂多变量场景的稳健支持。它能够联合预测多个协同演化的时间序列,捕捉有助于提升整体准确率的依赖关系,且无需针对特定任务进行微调。该模型原生支持:
- 多目标预测: 同时预测多个相关的时间序列(例如,联合预测不同品牌的冰淇淋销量)。模型支持对所有目标进行点预测和分位数预测。
- 过去协变量: 整合仅已知历史数据的特征(例如,过去的客流量)。
- 过去-未来(动态)协变量: 利用已知的未来事件来指导预测(例如,计划中的促销活动或天气预报)。
底层原理:架构与推理
TimesFM-3 基于其前代模型经过验证的仅解码器(decoder-only)Transformer 架构构建。与前几代版本类似,我们通过将连续的数据点分组为包含 32 个时间步长的补丁(patch),来高效处理时间序列数据。随后,我们针对每个时间序列应用归一化处理,这与 TimesFM-2.5 的做法相似,旨在应对尺度差异巨大的时间序列。
多变量 Token 构造
对于目标序列和过去协变量序列,Token 直接由单个补丁构造而成。然而,对于“过去-未来”协变量,TimesFM-3 采用了一种巧妙的“前瞻”(lookahead)策略:每个 Token 将当前补丁与未来的补丁拼接在一起,使模型能够窥探即将到来的已知信号。
交替注意力架构
一旦补丁被转换为 Token,它们会经过一个输入残差块,然后进入主 Transformer 堆栈,该堆栈以二维网格的形式运行:
- 因果时序注意力(Causal temporal attention): Token 在时间维度上水平进行注意力计算。为了防止数据泄露,这种注意力是严格因果的——Token 只能查看其 自身 特定时间序列中的过去 Token。
- 全变量注意力(Full variate attention): Token 在序列维度上垂直进行注意力计算。在任何给定的时间步长,Token 可以查看数据集中的所有其他时间序列,从而使模型能够学习复杂的跨序列相关性(例如,某个序列中的促销活动如何影响另一个序列的销售量)。
这两种注意力机制在多层中交替进行,无缝融合了时序模式与跨序列关系。
非自回归解码:单次通过完成预测
早期版本的 TimesFM 每次仅生成一个 patch(数据块)的预测,这引入了延迟、误差累积以及计算成本。TimesFM-3 采用 Contiguous Patch Masking(连续 patch 掩码)策略,在单次前向传播中生成整个预测时间范围。该模型将针对未来时间范围的掩码占位符 token 附加到观测上下文旁边。目标序列和过去协变量序列在预测范围内被掩码(因为其未来值未知),而“过去–未来”协变量保持可见,从而为模型提供已知的未来信号,如节假日或计划事件。通过交替注意力层,模型同时填充所有被掩码的预测范围 patch,无需迭代循环。对于每个目标时间序列在每个预测步长,模型预测 9 个分位数(从第 10 百分位到第 90 百分位),提供了对预测不确定性的完整概率视图。
多变量预测示例
让我们回顾一下冰淇淋销售的例子。假设你正在制定下个月的促销计划,并希望预测销售额以进行预期管理。标准的单变量模型(下图中的红线)查看历史销售数据并向前投射每周模式——但它完全不知道特定日期的计划促销活动。TimesFM-3 的多变量模式(下图中的蓝线)采用了不同的方法:通过将计划促销时间表作为“过去–未来”协变量输入,模型从历史上下文中学习促销与销售提升之间的关系,然后将这一知识应用于有计划的促销日期。结果是预测出每个促销日约 20% 的销售增长。在下图中,促销协变量中的琥珀色区块突出了哪些日子有促销活动——蓝色预测明显对每一次促销做出响应,而红色预测则没有。在整个月份中,这使得预计收入的预测更加准确。
评估与基准测试
我们在三个全面的公开预测基准上评估了 TimesFM-3:Gift-Eval、FEV-Bench 和 Time。在这三个基准测试中,TimesFM-3 在所有预训练基础模型中,无论是点预测还是概率预测指标,均排名第一。下图展示了这三个基准在任务层面的平均排名,涵盖点预测准确率和概率预测质量(数值越低越好)。我们将 TimesFM-3 与近期的基础模型进行了对比,包括支持多变量处理的模型(如 Chronos-2 和 Toto 2.0 系列),以及我们之前的模型 TimesFM-2.5。
每张图中都包含两个 TimesFM-3 的数据点。“单变量模式”展示的是模型在不使用任何协变量或跨序列信息的情况下进行评估时的表现,即像传统单变量模型那样独立处理每个目标序列。即使在这种单变量模式下,TimesFM-3 的表现也已经匹敌甚至超越了其他竞争模型。当我们切换到完整的多变量模式时,TimesFM-3 实现了进一步的飞跃,在点预测和概率预测方面均取得了最佳平均排名。
结论
我们推出了 TimesFM-3,这是我们的 TimesFM 零样本时间序列基础模型系列的最新一代,它在多个公开基准上实现了最先进的多变量和单变量预测性能。TimesFM-3 现已在 GitHub 和 Hugging Face 上线,其 BigQuery 集成将在未来几周内推出。在此期间,您可以立即在您的单变量任务上试用 TimesFM-2.5,以熟悉 BigQuery 中的 AI.FORECAST 命令——无需机器学习专业知识。
致谢
该项目是与 Yichen Zhou、Petros Mol、Abhimanyu Das 和 Samet Oymak 共同完成的。