伯克利等机构发现智能体自改脚手架会丢失已解任务
原标题：New University of California, Berkeley+other top labs paper finds that agents that rewrite their own...
78AI 研判分
加州大学伯克利分校等机构的新论文发现，让智能体自行改写提示词、技能、工具或代码以提升基准分数，会掩盖其丢失原本已解决任务的问题。研究用 4 种进化方法、GPT-5.4 在 2 套脚手架与 2 个基准上测试，16 个进化后智能体全部有得有失，其中一个可靠性提升 5.2 分却丢掉 10 个原有任务，11 个更可靠的智能体中有 8 个单次运行成本上升。作者建议评估时同时追踪丢失任务、运行成本与未见任务表现，而非只看平均分。
报道正文
Rohan Paul (@rohanpaul_ai) · 2026-11-09 10
加州大学伯克利分校及其他顶尖实验室的新论文发现，那些通过重写自身 harness 来获得更高分数的 agent，同时也会丢失它们曾经解决过的任务，而平均分数掩盖了这一点。
Harness 演化让 agent 能够编辑自身的提示词、技能、工具或代码，而模型保持冻结不变。结果通常表现为 1 个更高的基准分数，但这可能掩盖了丢失的任务、更高的成本，以及无法迁移的收益。
他们运行了 4 种演化方法，包括 GEPA 和 HyperAgents，使用 GPT-5.4，在 2 个 harness 和 2 个基准上进行了测试。随后，他们将每个演化后的 agent 与其起始版本进行了 8 次对比重测。
全部 16 个演化后的 agent 都获得了一些任务，也丢失了另一些任务，其中 1 个将可靠性提升了 5.2 个百分点，却丢失了它曾经覆盖的 10 个任务。在 11 个变得更可靠的 agent 中，有 8 个每次运行的成本也更高。
当你演化一个 agent harness 时，要追踪丢失的任务、每次运行的成本以及在未见任务上的结果，而不仅仅是平均分数。
