Rohan Paul (@rohanpaul_ai)T2·78 分
Nvidia 提出基座模型代理能力新评估法：仅测首个通过测试的编辑步骤，Spearman 相关系数达 0.964
原标题：New Nvidia paper shows scoring base models on every step of an agent run works worse than scoring th...
- 逐步评分基座模型在智能体运行中的每一步效果较差，无法有效区分模型能力。
- 仅在“首次使测试通过的编辑”这一关键节点对基座模型进行评分，能显著提升预测准确性。
- 该方法与后训练后的 SWE-bench Verified 得分呈现 0.964 的高度秩相关性，可作为低成本选型工具。