Nvidia 提出基座模型代理能力新评估法：仅测首个通过测试的编辑步骤，Spearman 相关系数达 0.964

Rohan Paul (@rohanpaul_ai) · 2026-10-12 15

Nvidia 最新论文表明，在 Agent 运行的每一步对基础模型进行评分，效果不如仅在首次使测试通过的编辑步骤上进行评分。

后训练（Post-training）成本高昂，因此选择合适的基础模型至关重要。然而，现有的 Agent 基准测试中基础模型的得分几乎为零，且简单的编码测试也难以预测后续的 Agent 技能表现。

他们复现了一个强大 Agent 的成功运行轨迹，并在每次编辑后重新运行测试，以找出首个使测试通过的编辑。在这个决定性步骤上，他们测试基础模型是否倾向于该编辑、能否从失败的编辑中选出它，以及能否自行写出一个能通过测试的编辑。

根据各基础模型写出该特定编辑的可能性进行排名，所得结果与这些模型经过后训练后的 SWE-bench Verified 分数高度一致，相关性系数达到 0.964。

在为 Agent 任务选择用于后训练的基础模型时，请先执行此项检查。该方法仅需基准测试中的成功 Agent 运行轨迹及其对应的测试用例。