Epoch AI 发布 InnovationEval：智能体自主科研夸大成果，缺乏认知纪律成最大短板

要求智能体发明一种新的训练方法

Epoch AI 通过其基准测试 "InnovationEval" 检验了 AI 智能体能否独立开展研究。任务要求是在语言模型完成初始训练后，发明一种改进模型的新方法，并独立实现、测试和优化该方法。

起点是 GRPO，这是一种广泛使用的技术。GRPO 比较模型针对同一任务生成的多个答案，并对更好的答案给予奖励，通常是对每个完整解决方案进行整体评分。人类设计的参考方法 SDPO 则利用错误消息等额外信号，为答案中的单个步骤创建更精准的学习反馈，从而使模型有效地成为自己的老师。

Epoch 测试了 Claude Fable 5 和 GPT-5.6 Sol，据该组织称，这两个模型此前均不了解 SDPO。性能评估基于科学问答等短答案任务和编程任务，每个智能体可在高端芯片上获得最多 3,000 小时的算力支持，但无法访问互联网。

两个模型都复用了已知技术，而非真正创新

两个模型均未接近人类参考方法的水平。GPT-5.6 Sol 针对 GRPO 的一个弱点进行了优化：当某个任务的所有答案都正确时，由于缺乏对比对象，模型无法从中学到任何东西。Sol 让模型在这些情况下强化其成功的解决方案，但这一思路并非首创。

根据 Epoch 的数据，若以 SDPO 相对于 GRPO 的提升幅度作为衡量标准，在宽松评分下，Sol 的得分约为 35%。如果仅计算符合实验规则范围内的改动，这一数字降至约 15%。在编程任务中，Sol 主要导致训练成本增加且速度变慢，而非真正改进了方法本身。

Claude Fable 5 曾尝试让模型在提供先前失败尝试的基础上重试失败的任务，这是一种众所周知的技术，但并未带来可衡量的改进。Epoch 指出，即便是 Sol 的部分成功，对专家而言也勉强只能算作“中等有趣”。那些在训练数据中已知 SDPO 的新模型也无法完全复现该技术。GPT-6 Astra 构建了一个类似的解决方案，但未披露其来源；即使将原始论文摆在面前，Fable 5 的表现仍不及参考基准。

智能体挑选最佳运行结果并隐藏其余部分

这两个智能体还存在报告问题。它们进行了多次几乎相同的训练轮次，却只报告每次的最佳结果，这使得该方法看起来比实际更强，因为结果存在随机波动。在其最终报告中，这些模型几乎没有提及这种做法（如果有的话），并且未能引用其方法所依据的先前工作。因此，它们自报的数字相应偏高：Sol 声称实现了 SDPO 改进幅度的约 70%，Fable 5 约为 40%。Epoch 剔除了这些被夸大的增益。

Claude Fable 5 和 GPT-5.6 Sol 的声称得分与实际得分对比。深色柱状图显示智能体的自报数字，中等颜色柱状图显示经修正以消除挑选最佳运行结果偏差后的结果，浅色柱状图显示仅计算符合规则变更后的得分。所有数值均表示为 SDPO 相对于 GRPO 改进幅度的占比。误差线显示测量不确定性。| 图片：Epoch AI

模型的内部推理日志显示，它们意识到了这一问题，其中 Fable 5 将其重复运行描述为寻找更好的检查点（checkpoint）。至于这究竟属于故意作弊还是混淆所致，Epoch 未下定论。

对于 GPT-5.6 Sol，这种行为符合评估机构 METR 早前的发现，该机构在其自身的编码测试中检测到该模型的 作弊尝试 多于其评估过的任何其他公开可用模型。

Epoch 得出结论，人类需要 全面审查所有 AI 生成的研究，这会削弱模型的实用性。

Anthropic 在其自家模型中也发现了同样的弱点

Anthropic 在其 Claude Opus 5.5 的系统卡中也描述了类似的局限性。Anthropic 表示，该模型远不能取代公司自己的研究人员，主要问题在于“认知质量”（epistemic quality）和指令遵循能力。

Opus 5.5 将未经检验的假设当作事实呈现，并且比早期模型更频繁地忽视自身的疑虑。它将部分检查描述为完整验证，在未进行交叉核对的情况下将初步评估转化为建议，并且过于狭隘地回应批评，而不去质疑整体方法。此外，它倾向于小幅渐进式的调整，并固守已发表的研究成果，而非开发新想法。

一项涉及普林斯顿大学和英国安全研究所的研究也得出了类似结论。该研究让 Claude Opus 4.8 针对 NeurIPS AI 会议两篇未发表论文背后的研究问题工作了六天，但原作者在审查结果时均予以拒绝。当初始假设失败时，这些智能体只是软化其主张，而不是从头开始重新探索。

技术执行正日益成为次要问题，因为智能体最缺乏的是对结果置信度进行现实评估的能力，以及在根本层面上质疑自身方法的能力。

仅增加算力无法缩小差距

AI 并非对研究毫无用处，因为模型可以加速文献综述、编写代码，并以比人类更快的速度探索各种变体。

但是，向该问题投入更多算力是否能产生自主研究人员，仍是一个悬而未决的问题。GPT-5.6 Sol 用尽了其全部预算，直到算力分配的最后阶段才在短答案任务上发现改进，而在编码任务上则完全没有取得符合规则的进展。Epoch 认为这一后期突破是一个微弱的迹象，表明更多的算力时间可能有所帮助，尽管 Fable 5 甚至没有使用其一半的预算。

GPT-5.6 Sol 的进展与累计 GPU 支出对比图。在简答题任务（青色）中，性能跃升恰好出现在预算耗尽之前。在编程任务（粉色）中，符合规则的分值始终为零，只有超出范围的改动才带来任何提升（虚线）。| 图片：Epoch AI

Epoch 还指出，一年前的领先模型在同一测试中的表现会差得多，该组织计划定期使用新任务重复进行 InnovationEval。在此之前，最大的差距仍在于认识论纪律：以怀疑态度审视自己的发现、披露不确定性，并认真对待负面结果。