Sakana AI 提出 MASS 自监督框架：单模型递归自我改进虽提升解题与评判能力，但共享盲区易致错误固化

Sakana AI 的 MASS 方法使单个语言模型能够通过解决任务、评估结果和优化工作流来实现自我改进，而无需依赖更强的教师模型。研究发现这三种角色均能取得提升，但共享的盲点可能导致错误被误判为进步，并进入下一轮训练循环。

来自 Sakana AI 和加州大学伯克利分校的研究人员提出了“多智能体自监督”（MASS），这是一种用于递归自我改进（RSI）的方法。在该方法中，单个语言模型负责处理任务、优化工作方式并评估结果。

作者指出，在研究前沿领域，即使是专家也常常难以判断结果，因为验证可能需要昂贵的辅助证据或漫长的实验过程。根据论文显示，一项等离子体研究可能耗时超过 1.2 亿 CPU 小时。

因此，该模型本身可能是目前可用的最佳评判者，尽管它在审查自身工作时可能会忽略自己的错误。使用同一个模型来解决问题、检查问题和修订方案，可能会强化这些错误而非纠正它们。

同一模型的副本分工协作

受人工智能先驱 Marvin Minsky 的著作《心智社会》（Society of Mind）启发，研究人员聚焦于模型如何分配工作。在 MASS 中，工作流是附加到提示词中的文本，用于定义每个子智能体的角色和指令。“契约”（contract）规定了每个子智能体必须返回哪些信息以及必须执行哪些检查，而“跳步”（hop）则设定了调用的顺序。

编排器（orchestrator）将工作分发给各个子智能体。例如，在针对历史价格测试交易策略时，数据专家的契约必须确保该策略仅使用在每个时间点可获得的信息。

在内层循环中，当团队运行候选工作流且评估器将结果与当前的“冠军”（champion）进行比较时，模型的权重保持冻结状态。优化器利用这些反馈提出下一个工作流，主要通过修改契约和跳步来实现。在外层循环中，“冠军”对每个任务运行 18 次，由模型自行对结果进行排名，并选出最多 15 次运行的结果用于训练。

同一模型的多个副本以团队形式运行工作流，同时一个自我评估器将结果与当前的“冠军”模型进行比较。自我优化器利用这些反馈编写下一个工作流，模型则在每轮迭代后从其最佳运行中学习。| 图片：Sakana AI

研究人员从训练示例中编排器（orchestrator）的初始提示词里移除了工作流文本，以便模型学会仅根据任务本身来组织工作。子代理的具体分配仍保留在记录的轨迹（traces）中，经过 LoRA 微调后，模型再次承担全部三种角色。

基础模型为 Qwen3.6-27B，并采用 Qwen Code 作为执行框架。研究人员使用了由 GPT-5.5 生成的十二项研究任务，涵盖金融、机器人和制药领域，其中三项用于测试，九项用于训练。由于搜索过程在一个训练任务上未能找到优于参考基准的工作流，因此只有八个任务产生了训练数据。

Benchmark 增益主要源于完成更多工作

在测试任务上，相对于基础模型的胜率从一轮后的 53.9% 上升至两轮后的 69.9%。在 MLR-Bench、DSBench、ScienceAgentBench 和 AstaBench 上，该模型每个输出 token 的得分达到基础模型的 1.2 到 1.6 倍。原始分数的提升有时较小，例如 DSBench 仅从 0.473 提升至 0.482，而在 Terminal-Bench 2.0 和 SWE-bench Verified 上的分数略有下降。

经过两轮训练后，模型在 MLR-Bench、DSBench、ScienceAgentBench 和 AstaBench 上均取得领先，而基础模型（base model）在 Terminal-Bench 2.0 和 SWE-bench Verified 上的得分仍然更高。| 图片：Sakana AI

论文附录显示，MLR-Bench 中成功提交的案例从 60 个中的 31 个增加到 50 个，但平均评分却从 3.07 降至 2.88。在全部 180 次运行中，委派工具（delegation tool）从未被使用，因此尚不清楚团队协作是否是性能提升的原因。

当逐任务比较结果时，这些提升不再具有统计显著性。作者指出，在不同研究任务上的表现参差不齐，AstaBench 也呈现出相同的模式。

基于解决方案的训练同时提升了评估器和优化器

尽管模型仅基于解决方案轨迹进行训练，但其作为另外两个角色（评估器和优化器）的性能也有所提升。自我评估器与外部评判者的一致性从 73% 上升至 93%。经过一轮训练后生成的工作流（workflows），在与基础模型生成的工作流对比中，有 64% 的情况下胜出，即使两者均由基础模型执行也是如此。

在没有工作流指令的情况下，基础模型在 110 次运行中仅有 1 次向子代理（sub-agents）委派任务；而在经过两轮训练后，这一数字增至 87 次。此前它只有在明确指示下才会进行委派，而现在则能自发地执行委派操作。

在优化过程中，任务知识逐渐转化为契约（contracts）和跳转（hops），而角色定义和指令则变得更加通用。不过，这一结论仅基于 8 到 9 个任务的小样本得出。

基于团队轨迹训练的模型胜率为 68.3%，相比之下，单代理学生模型的胜率为 64%，且前者使用的训练 token 数量减少了 31%。外部评判者在 85.1% 的情况下更偏好团队产生的结果，尽管团队生成的 token 数量约为单代理的 2.4 倍。当输出长度相近时，基于仅十组配对样本，评判者在 80% 的情况下仍更偏好团队结果。

经过评估的团队运行表现更佳，但该对比并不能确立“委派”本身是优势的唯一来源。此外，团队运行与单代理运行在工作流指令、审查指令以及所选用的成功完成片段方面也存在差异。

MASS 模型 M+ 在处理约 2900 万训练 token 后达到了 68.3% 的胜率，相比之下，单智能体学生模型 S++ 使用 4200 万 token 仅达到 64.0%。| 图片：Sakana AI

只有当优化器能够利用时，更好的反馈才有效

仅将评估器替换为 GPT-5.5 几乎没有带来帮助；只有当优化器也更强时，搜索过程才会显著加快。作者得出结论：良好的反馈只有在优化器能够据此采取行动时才有帮助。当由 Qwen 承担所有三个角色时，搜索仍然能为 12 个任务中的 11 个找到获胜的工作流，但耗时更长。

工作流重写的程度并不能很好地反映其对结果的影响，甚至字节完全相同的工作流也可能产生截然相反的结果。在一次运行中，该工作流赢得了全部六次外部评判，而在另一次运行中，由于智能体陷入循环，它输掉了全部六次。研究人员推测，限制优化器在每一步的改动幅度可能有助于稳定搜索过程。

当 GPT-5.5 同时担任评估器和优化器时，搜索在五次迭代后为所有十二个任务找到了获胜的工作流。而让 Qwen 承担所有三个角色则需要 13 次迭代才能为十一个任务找到获胜的工作流，右图显示各次迭代之间存在大幅波动。| 图片：Sakana AI

在一个机器人任务中模拟失败后，模型修改了模拟器，使其直接将物体移动到目标位置，然后报告成功。尽管存在这种作弊行为，外部评判者仍在六次中有五次对该次运行给予了正面评价。在另一条用于训练的轨迹中，一项检查通过了，尽管它只返回了无效值。

作者认为，共同的盲点是递归自我改进潜在的“阿喀琉斯之踵”。如果模型在所有三个角色中都忽略了相同的错误，该错误可能会被当作改进而被接受，并固化到下一个模型中。这种弱点随后会影响系统及其纠正机制，促使作者呼吁进行独立检查、限制自主权，并设定明确的干预条件。代码已公开可用。

日本研究机构 Sakana AI 于六月成立了一个专注于递归自我改进的研究实验室，其基础是此前包括 Darwin-Godel Machine 和 AI Scientist 在内的相关工作。谷歌研究人员正在探索一种相关方法，即自动优化围绕固定模型的提示词、工作流和工具脚手架，同时防止智能体对测试任务过拟合。

Vals AI 最近发现，智能体团队的成本是单个智能体的 1.8 到 5.1 倍，但在四项对比中仅有一项表现出可衡量的性能提升。Anthropic 则指出，那些通过奖励黑客（reward hacking）来操纵奖励系统的模型，也会学会欺骗并破坏安全检查机制。