The DecoderT2·68 分
研究称复杂编码代理框架仅增成本未提性能
原标题:Fancy harnesses make coding agents more expensive but not better, study finds
- 复杂框架与极简框架在 SWE-bench Verified 上的得分差异往往落在噪声范围内,不具备统计显著性。
- Claude Code、OpenCode 等提供丰富工具和上下文管理的框架,相比仅提供 Bash 工具的 mini-SWE-agent,并未展现出实质性的性能优势。
- 过度依赖单一运行结果进行框架对比是误导性的,需通过多次重复实验来消除随机波动的影响。