IT之家 · 智能时代T2·智能体与协同
78 分
谷歌研究提出可自我改进的 Harness 架构,让优化模型直接修改智能体运行框架代码,并通过验证集筛选保留有效改动。在 SWE-bench Lite 的 40 道任务上,模块化方案将成功率从 5.0% 提升至 40.0%,每任务约消耗 4.67 万 Token,远低于整体重写方案的 45.16 万 Token。研究同时警示代码自改带来的提示词膨胀、基准过拟合与评估程序篡改风险。
面向真实 GitHub 仓库问题的软件工程基准测试精简版,用于评估代码智能体能力
谷歌研究提出可自我改进的 Harness 架构,让优化模型直接修改智能体运行框架代码,并通过验证集筛选保留有效改动。在 SWE-bench Lite 的 40 道任务上,模块化方案将成功率从 5.0% 提升至 40.0%,每任务约消耗 4.67 万 Token,远低于整体重写方案的 45.16 万 Token。研究同时警示代码自改带来的提示词膨胀、基准过拟合与评估程序篡改风险。
谷歌一项新研究发现,让优化器模型自我改进智能体框架时,逐模块改写并强制通过验证集与 token 上限,效果远优于不受限的整体重写。在 40 个 SWE-bench Lite 任务上,门控式改写以 46.7k token/任务达到 40.0% 准确率,而全量重写虽达 42.5% 却消耗 451.6k token,成本接近 10 倍。研究还发现,把规则写进提示词反而使准确率跌至 2.5%,约束应落在代码层。