Rohan Paul (@rohanpaul_ai)T2·智能体与协同
78 分
谷歌一项新研究发现,让优化器模型自我改进智能体框架时,逐模块改写并强制通过验证集与 token 上限,效果远优于不受限的整体重写。在 40 个 SWE-bench Lite 任务上,门控式改写以 46.7k token/任务达到 40.0% 准确率,而全量重写虽达 42.5% 却消耗 451.6k token,成本接近 10 倍。研究还发现,把规则写进提示词反而使准确率跌至 2.5%,约束应落在代码层。
Gated Modular Edits
每次仅修改单个代码模块,且必须通过验证集与 token 上限才被采纳的自我改进策略
谷歌一项新研究发现,让优化器模型自我改进智能体框架时,逐模块改写并强制通过验证集与 token 上限,效果远优于不受限的整体重写。在 40 个 SWE-bench Lite 任务上,门控式改写以 46.7k token/任务达到 40.0% 准确率,而全量重写虽达 42.5% 却消耗 451.6k token,成本接近 10 倍。研究还发现,把规则写进提示词反而使准确率跌至 2.5%,约束应落在代码层。