Hacker News AIT2·78 分
2.7 万次编码智能体测试揭示 64% 推理成本浪费
原标题:In 27,280 coding agent runs, 64% of inference spend went to runs that failed
- 切换模型时应重新评估框架,各模型的最优性价比框架并不相同
- 按单任务成本排名,框架中位移动 11 位,Codex CLI 从第 1 名跌至第 16 名
- 64% 的推理支出消耗在失败运行上,步数而非工具数或缓存命中率决定单次通过成本
AI 聚合热点事件 · 2026/11/17
Runta 与 Baseten 联合发布 FrontierHarness v1.1 榜单,覆盖 22 个智能体框架、5 款模型、62 项任务共 27,280 次运行,消耗 830 亿 token。核心结论是切换模型时应同步更换框架:每个模型的最优性价比框架各不相同,按单任务成本排名,框架中位移动达 11 位,Codex CLI 从搭配 GLM-5.3 时的第 1 名跌至搭配 Kimi-K3 时的第 16 名。此外 64% 的推理支出消耗在失败运行上,且工具数量与缓存命中率均无法预测单次通过成本,只有步数可以。
曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。
原标题:In 27,280 coding agent runs, 64% of inference spend went to runs that failed