Rohan Paul (@rohanpaul_ai) · 2026/10/11 04:40:32

斯坦福提出智能体故障二分法:循环停滞靠改 Harness,劣质规划需微调权重

出处作者 / 发布主体:Rohan Paul (@rohanpaul_ai)原标题:New Stanford paper finds that harness changes fix agents that loop or stall, while agents that deliv...
78AI 研判分
核心综述

斯坦福最新研究将智能体失败归因为“过程故障”(如死循环、步数耗尽)与“内容故障”(如规划质量差),并证实前者可通过优化提示词和工具链(Harness)解决,后者则必须通过模型权重微调(如 LoRA)修复。实验显示,仅调整 Harness 可将 Qwen3.5-4B 在旅行规划基准上的最佳表现从 0.16 提升至 0.30,但无法消除劣质规划;而引入 LoRA 适配器后,Qwen3.5-9B 的劣质规划率从 28% 骤降至 5%。该结论为智能体调试提供了明确的“先诊断故障类型,再选择优化路径”的工程范式。

报道全文原始报道全文

Rohan Paul (@rohanpaul_ai) · 2026-10-10 20

斯坦福大学最新论文发现:修改 Harness(智能体框架)可修复陷入循环或停滞的 Agent,而交付劣质计划的 Agent 则需要通过权重训练来改进。

提升 Agent 性能有两种途径:一是编辑其 Harness,即优化围绕模型的 Prompt、工具和检查机制;二是微调模型权重。

研究者将失败的运行轨迹分为两类:过程失败(如陷入循环、步数预算耗尽)和内容失败(如输出了糟糕的计划)。在旅行规划基准测试中,他们首先通过重写 Harness 解决了由 LLM 驱动的循环问题,随后针对表现最佳的运行轨迹对模型进行了微调。

Harness 的演进使 Qwen3.5-4B 在保留测试集上的得分从 0.16 提升至 0.30,计划交付成功率也从 55% 升至 90%。然而,仅靠修改 Harness 无法减少“劣质计划”的比例;相比之下,使用 LoRA 适配器进行微调后,Qwen3.5-9B 在保留测试集中产生劣质计划的比例从 28% 降至 5%。

结论建议:在优化 Agent 之前,先标记其运行失败的原因——在 Harness 层面解决过程失败,在权重层面解决内容失败。

推文配图