NVIDIA 发布 Kumo Relational 预训练关系基础模型Hugging Face BlogT1基座大模型

Hugging Face Blog · 2026/10/22 02:26:30

NVIDIA 发布 Kumo Relational 预训练关系基础模型

原标题：NVIDIA Kumo Relational Outperforms Supervised Machine Learning on Relational Data, No Training Required

78AI 研判分

核心综述

NVIDIA 推出 Kumo Relational，这是一款无需训练的预训练关系基础模型。该模型可直接在企业数据库上执行预测查询，在关系型数据任务中性能超越传统监督机器学习方法。

报道全文原始报道全文

本文目录10 个章节

返回文章列表

NVIDIA Kumo Relational 在关系型数据上超越监督机器学习，无需训练

企业 + 文章发布于 2026 年 10 月 21 日点赞 2

Joshua Przybylko jprzybylko nvidia Jure Leskovec profjure nvidia Matthias Fey rusty1s nvidia Federico Lopez flopeznv nvidia Valter Hudovernik valterh-nv nvidia Akihiro Nitta akihironitta-nv nvidia Ramona Bendias RBendiasN nvidia

TL;DR（摘要）

NVIDIA Kumo Relational 是一个预训练的关系型基础模型，可直接在企业数据库上进行预测。给定一个预测查询，它会收集多达 10,000 个历史示例作为上下文，并在单次前向传播中预测客户流失、需求或欺诈等结果。它不需要特定任务的训练、特征工程或表结构扁平化处理。Kumo Relational 是首个在常见关系型基准测试中超越监督机器学习的少样本（few-shot）基础模型。在涵盖 15 个数据库的 41 项任务中，它击败了监督式关系深度学习模型和专家精心设计的梯度提升树流水线；在 SAP SALT 企业基准测试中，其平均倒数排名（MRR）比 AutoGluon 集成模型高出 8%。该模型可扩展至拥有 5000 亿+ 行的数据库，并通过 NVIDIA 开源的 GPU 原生结构化数据模型库或以 NVIDIA NIM 形式提供服务，同时适用于人类用户和智能体。

论文： https://arxiv.org/abs/2604.12596
文档： https://docs.nvidia.com/sdgm/rfm/overview

向结构化数据基础模型的转变

基础模型已经改写了语言和视觉领域的游戏规则。不久前，生产环境中的 NLP 意味着每个任务都需要一个专用模型，并配备各自独立的分词、词形还原和 n-gram 处理流水线。LLM 使这套技术栈在很大程度上变得过时，原因有三：它们的准确率高于最佳的任务专用模型，部署到生产环境要简单得多，并且足够灵活，从而开启了智能体应用的新纪元。

同样的变革正在结构化数据领域发生。关系型数据库支撑着全球最关键的业务决策，但针对这些数据的预测建模仍然需要数周的特征工程、任务专用训练以及调优后的流水线。结构化数据基础模型基于同样的三个理由改变了这一现状：

当今更高的准确率： 作为即插即用的替代方案，这些模型已经超越了许多现有的生产流水线，尤其是 XGBoost。在 RelBench V1 分类任务中，Kumo Relational 在专家设计的特征上比梯度提升树平均高出近 4 个 AUROC 点。在 SAP SALT 数据集上，它开箱即用便比使用工程特征的 XGBoost 高出 7 个 MRR 点，经过微调后更是高出 13 个 MRR 点。这些结果有力地证明了用 Kumo Relational 替换生产环境中的 XGBoost 流水线的合理性。

简洁性与敏捷性： 一个预训练模型取代了针对各个任务的独立流水线。新的预测变成了一个查询而非一个项目，因此机器学习团队终于可以承接那些在传统机器学习模式下因工作量过大而难以在各层级组织中构建的用例。

具备预测能力的智能体： LLM 让智能体能够阅读、书写和推理。结构化数据基础模型则让它们能够预判接下来会发生什么（例如哪位客户将流失），并据此采取行动。Kumo Relational 在设计之初就考虑了供智能体调用，其预测查询语言 (PQL) 为智能体提供了一个简单的接口，用于提出预测性问题。

今天，我们正式推出 Kumo Relational (论文, 文档)，这是一个预训练的基础模型，将这种范式引入关系型数据领域。只需连接数据库，描述需要预测的内容，即可在一次前向传播中获得预测结果。无需训练。

Kumo Relational 的工作原理

大多数面向结构化数据的基础模型仅作用于单张扁平表。然而，现实世界中的数据通常存在于关系型数据库中：用户关联订单，订单关联产品，且所有数据都随时间演变。通过手动聚合（例如，“过去 30 天的平均订单价值”）将这些关系压平为单行数据，不仅会丢失细粒度的结构信号，还需要耗费大量人力。

Kumo Relational 是一个关系型基础模型（Relational Foundation Model），它直接在数据库上运行，尊重其表结构、外键和时间戳。该模型在反映真实世界数据集的合成关系数据上进行一次性预训练，并通过上下文学习（in-context learning）适应每个新任务，在推理时读取多达 10,000 个上下文示例。每个示例将某个时间点实体周围的局部子图与其真实目标值配对（例如，“此用户已流失”或“此商品售出 142 件”）。

![NVIDIA Kumo Relational 系统概览：(a) 数据库集成，(b) 将自然语言转化为预测查询的提示接口，以及 (c) 自动生成的上下文输入 NVIDIA Kumo Relational 模型，该模型可跨租户水平扩展。]

图 1. Kumo Relational 系统概览。连接数据库，指定预测查询，Kumo Relational 即可处理其余工作，从上下文生成到模型推理。

为了进行预测，Kumo Relational 必须完成三项任务：(1) 理解每张表中的数值，(2) 建立跨表记录之间的关联，以及 (3) 将已知目标的上下文示例与待预测实体进行关联。其工作原理如下：

![Kumo Relational 架构：(a) 包含任务、用户、订单和商品表的上下文输入；(b) 表内带有注入上下文目标的列注意力和行注意力；(c) 跨表的图注意力和跨样本注意力。]

图 2. Kumo Relational 架构：(a) 上下文输入，(b) 表内推理，(c) 跨表推理。

自动上下文生成： 任务使用预测查询语言 (PQL) 编写，这是一种声明式接口，用户只需说明要预测什么，而无需指定如何预测。对于时序任务，Kumo Relational 会重放历史数据库状态：它采样以实体为中心、截至锚点时间戳的子图，并根据该时间戳之后的事件计算每个目标值，同时仅向模型提供该时间戳之前的数据。这防止了数据泄露。

表内推理： 一个轻量级网络独立处理每张表，交替进行列注意力（关联列内的值）和行注意力（关联行内的特征）。模型学习哪些列和行对当前预测至关重要，并在噪声传播之前将其过滤掉。

跨表推理： 一个更大的网络通过基于主键/外键关系的图注意力，将行嵌入分布到关系结构中，并与跨样本注意力（针对上下文示例）交错进行。关系推理在此阶段发生，例如将用户资料与其交易历史记录关联起来。由于此阶段作用于行嵌入而非每张表的每个单元格，该设计避免了二次方成本，并能扩展到大型上下文和更深的子图。

Kumo Relational 的构建方式

Kumo Relational 完全在模拟真实世界关系数据库的合成关系数据上进行预训练，这些数据包含多样化的预测查询。预训练分阶段进行，从单表逐步过渡到日益复杂的关系结构。

预训练所需的多样化关系数据库很少公开可用，因此合成数据填补了这一空白。Kumo Relational 的数据生成器基于 PluRel (Kothapalli 等人, ICML 2026) 的方法，该方法将单表数据生成器扩展至完整的关系数据库。Kumo 团队成员参与开发了 PluRel 并共同撰写了原始论文。PluRel 分三个阶段生成每个数据库：模式（schema）、行间的外键链接（这些链接像真实数据一样聚类），以及来自具有时间趋势和跨表依赖关系的结构因果模型（Structural Causal Models）的列值。生成过程轻量高效，因此预训练数据实际上是无限的；PluRel 论文表明，随着合成数据库数量的增加，预训练损失遵循幂律下降，且这种增益可迁移至真实数据库。

通过这一预训练过程，模型学会了跨表过滤、关联和聚合信息，而不再依赖固定的聚合操作。当对精度要求极高时，Kumo Relational 还可以针对特定数据集和任务进行微调。

性能

在本文中，我们在来自 RelBench V1 和 V2、SAP SALT 以及 4DBInfer 的 15 个关系型数据库上的 41 个基准测试中评估了 Kumo Relational，这些测试涵盖了电商、医疗、企业、社交和学术领域。所有这些数据集均未出现在预训练阶段。在分类和回归任务中，Kumo Relational 的表现均优于最强的监督模型，包括关系深度学习模型和专家设计的表格集成模型。在 RelArena-α 排行榜上（该排行榜在 RelBench V1 上比较各种关系型模型和系统），它在开箱即用的情况下也位于准确率-效率帕累托前沿：

![Scatter plot of the RelArena-α leaderboard: relative accuracy as Elo across tasks (y-axis) versus median inference time per 1,000 samples (x-axis, log scale). Kumo Relational sits on the Pareto front at about 17 seconds and Elo 1,842. The highest-scoring entry, rt-plurel, reaches Elo 1,878 at about 7,300 seconds, roughly 430 times slower. Every other foundation model, feature-engineering system, and supervised model scores lower and runs slower than Kumo Relational.]

图 3. RelArena-α 排行榜：各任务的 Elo 分数与每 1,000 个样本的中位推理时间（对数刻度）对比。在相似准确率下，Kumo Relational 比得分最高的条目快约 430 倍。

论文还报告称，在 SAP SALT 企业级基准测试中，Kumo Relational 在平均倒数排名（MRR）方面比大型 AutoGluon 集成模型高出 8%，比近期的表格基础模型高出约 25%；经过微调后，其相对于 AutoGluon 的优势进一步扩大至 16%。此外，它在严苛条件下依然表现稳健：仅需 0.2% 的训练数据作为上下文即可良好运行；即使移除高达 75% 的外键链接也能保持稳定；而在添加大量噪声列时，性能几乎不会下降。

局限性

Kumo Relational 在具有显著关联关系和时序动态的数据（例如随时间变化的用户行为）上表现最佳。对于训练集规模极大的任务，特定任务的监督模型可能仍会略优于上下文内预测（在我们的基准测试中，后者最多使用了 10,000 个上下文示例）。基础模型的微调正是为应对这种情况而设计的。此外，预测信号必须在有限的跳数（hops）范围内可达，因此建议从针对少数相关表的聚焦查询开始，并根据需要逐步扩展图结构。

演示

Kumo Relational 原生支持在数据库上进行上下文学习：可在内存中运行，通过数据库和数据仓库连接器运行，或通过自定义图引擎运行——该引擎利用内存映射 I/O 处理超过 5000 亿行数据，吞吐量高达 5 GB/s。它已集成到 NVIDIA 最新发布的 GPU 原生结构化数据模型库中，该开源库同样支撑着我们的姊妹模型 Kumo Tabular。首次使用时，该库会从 Hugging Face Hub 下载权重，因此你可以在配备 GPU 的笔记本环境中加载模型并直接进行预测。以下代码将上下文示例、预测实体及其相关表传递给模型：

PYTHON


import sdm

model = sdm.models.KumoRelational(device="cuda")
pred = model(

x_context=...,
    y_context=...,

x_query=...,

related_context_tables=...,
    related_query_tables=...,
)

有关完整的 RelBench 和 SAP SALT 流程（包括如何采样每个实体的相关表），请参阅该库的 relational examples。

若要将模型作为独立服务运行，可将其部署为 NVIDIA NIM，并在你的笔记本环境中使用开源的 structured-data-models-client 指向该服务。你只需以 PQL 编写预测语句，客户端便会收集上下文示例和相关表，然后发送请求：

PYTHON


import sdm_client

client = sdm_client.SDMClient(url="http://localhost:8001")  
query = sdm_client.PredictiveQuery(

"PREDICT COUNT(orders.*, 0, 30, days) FOR EACH users.user_id",

{"users": ..., "orders": ...},
)
pred = client.predict(

query.materialize(indices=[1, 2, 3]),
    model=sdm_client.KumoRelational(),
)

有关针对本地 NIM 和在 Databricks 上的端到端运行示例，请参阅客户端的 example notebooks。

开始使用 NVIDIA Kumo Relational 构建

NVIDIA Kumo Relational 现已发布。请阅读研究论文，探索快速入门笔记本，或开始在您自己的数据上进行预测。代码采用 Apache 2.0 许可证发布，模型权重采用 OpenMDW 许可证协议（版本 1.1）发布。NVIDIA 认为可信 AI 是共同的责任，我们已制定相关政策与实践，以支持广泛 AI 应用的开发。在按照我们的服务条款下载或使用本模型时，开发者应与其支持的模型团队协作，确保该模型满足相关行业和使用场景的要求，并防范不可预见的产品滥用风险。如有模型质量、风险、安全漏洞或对 NVIDIA AI 的关切，请在此报告。

论文： https://arxiv.org/abs/2604.12596
文档： https://docs.nvidia.com/sdgm/rfm/overview
代码： https://github.com/NVIDIA/structured-data-models
PyPI： https://pypi.org/project/structured-data-models/
客户端代码： https://github.com/NVIDIA/structured-data-models-client
客户端 PyPI： https://pypi.org/project/structured-data-models-client/
权重： https://huggingface.co/nvidia/Kumo-Relational
快速入门笔记本： https://github.com/NVIDIA/structured-data-models-client/blob/main/examples/local/relational.ipynb
相关研究： Predictive Query Language (PQL)、PluRel、Kumo Tabular

致谢

感谢 Kumo 团队全体成员的宝贵支持。特别感谢 Josh Przybylko、Adi Wadaskar、Hema Raghavan、Manush Murali、Raja Rao DV、Keti Jovanovska、Zack Drach、Vanja Josifovski、Myungwhan Kim、Blaž Stojanovič、Siyang Xie、Alan Krumholz、Effy Fang、Abdullah Al-chihabi、Disha Dubey、Devan Johnson、Joseph Oliveira、Angela Liu、Miha Pelko、Vedaant Jain、Sally Liu、Aleksandar S. Sokolovski、Alex Porter 和 Ramona Bendias。