Taste-Bench 基准揭示 AI 智能体长期决策质量短板

论文作者将做出这些优质选择的能力称为智能体的“品味”（taste）。现有的基准测试仅衡量智能体是否完成任务，而非其执行过程中各步骤的质量。Taste-Bench 旨在填补这一空白。

长期决策无法即时评判

你无法立即评判一个长期决策。整洁的实现方式与粗糙的实现方式起初可能产生相同的输出，并通过相同的测试。只有当后续变更更容易实施时，整洁方案的优势才会显现。人工评估成本高昂，需要深厚的领域专业知识，且难以扩展。

因此，研究人员依赖事后视角。轨迹的后续路径——即记录了智能体运行所有步骤和观察结果的追踪日志——能够揭示早期选择是否有效。在实践中，智能体系统会多次尝试同一任务。这些尝试最终会分化为不同的方向。

由于每次尝试的最终结果揭示了更优路径，这些运行本身提供了带标签的比较数据。作者将此分支点称为“决策分叉”（decision fork）。为了衡量品味，他们在分叉处冻结运行过程，隐藏所有后续工作，并让模型在两条路径之间进行选择。

在决策分叉处，模型必须在后续轨迹揭示哪条路径更优之前，从两个方向中做出选择。| 图片：Pan 等人。

过去的错误揭示智能体的失误之处

Taste-Bench 包含 502 个问题，每个问题都包括原始任务、截至分叉点的轨迹以及两个可能的方向。第一类问题源自对同一任务的两次独立尝试发生分歧的情况，其中智能体从未看到错误的路径。

第二类问题源自智能体在单次运行中自我纠正并走了弯路的情况。在这里，最初被丢弃的方向与后来成功的方向构成了两个候选项。这种变体测试模型是否能比执行操作的智能体更早地发现错误。

原始数据来自数千次在编程和 AI 研究任务上经过评分的 Agent 运行记录，其中包括 SWE-bench Pro 以及 METR 发布的公开对话数据集 MALT。生成模型筛选出了合适的分支（forks），剔除了答案显而易见的琐碎问题，并移除了无法判定的案例。人工审核确认了几乎所有自动生成的标签。

即使是顶级模型也仅略胜抛硬币

团队测试了来自 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 系列的 14 款当前模型。每个问题被询问两次，一次按正常顺序，一次将选项颠倒。只有当模型两次都回答正确时，该问题才计入得分。在此设定下，纯猜测的正确率为 25%。

表现最佳的模型是 GPT-5.6 Sol，平均准确率为 59.7%，紧随其后的是准确率为 59.5% 的 GPT-5.5。其他所有模型的得分均远低于此水平。尽管每个问题都只是二选一，但没有一个模型接近解决该基准测试。绕路型分支（Detour forks）始终比平行型分支更难。

在这些二元决策问题上，即使是最好的模型也只能在约 60% 的情况下选出更优方向。| 图片：Pan et al.

当证据仅在后期出现时，模型性能崩溃

对于每个分支，团队检查了观察者需要向前看多远才能明确哪条路径更优。当关键线索已经在前序步骤中可见时，所有模型的平均准确率达到 62.3%。而当该线索仅在大量后续工作之后才出现时，准确率降至 21%，接近随机猜测。回答这些问题意味着要预测未来的工作成果。

单纯延长思考时间并没有帮助。研究人员针对两个模型，在三种推理设置下重复了测试。从最低设置切换到最高设置，准确率几乎没有变化。模型将最多的推理 token 用于最难的层级，在那些它们最常答错的问题上花费最长的思考时间。研究团队认为，这表明在这些决策分叉点，所需的线索目前尚不存在。

决定性证据在轨迹中出现得越晚，模型的表现就越差，而增加推理预算并不能改变这一情况。| 图片：Pan et al.

作者指出，该基准测试捕捉到的技能与 SWE-bench Verified 等经典的端到端测试不同。在后者中得分相似的模型，在 Taste-Bench 上显示出明显的差距。

“品味”终究是可以训练的

研究人员还证明，“品味”是可以被教授的。他们将一个知道正确路径的教师模型的判断力蒸馏到一个仅能看到问题的学生模型中。他们使用 Qwen3.6-27B 作为基础模型。在未见过（unseen）的任务上，学生模型的准确率从 30% 跃升至 47.9%。

这种提升在实践中得到了体现。团队在每个决策分叉点将学生模型的判断作为建议添加到任务上下文中，并让一个独立的智能体来解决问题。在 41 个保留的 SWE-bench Pro 任务上，成功率从 14.6% 上升到 33.7%。如果提供完全正确的建议，成功率可达 39%，因此学生模型捕获了大部分可能的增益。

在训练有素的 Qwen3.6-27B 学生模型的指导下，该智能体解决的 SWE-bench-Pro 任务数量增加了一倍以上。| 图片：Pan 等人

团队得出结论，长期规划智能体的判断力既可以被衡量，也可以得到提升。基准测试和代码均已公开可用。

如今，AI 智能体能够长时间独立工作。在 MirrorCode 基准测试中，一个模型在单个任务上连续运行了 19 天而无需人工干预。标准基准测试通常只检查最终测试是否通过。METR 已经表明，SWE-bench Verified 显著高估了编码智能体的性能。即使自动化测试通过，专业人士仍因基本功能缺陷拒绝了许多解决方案。Taste-Bench 中的顶级模型 GPT-5.6 Sol 也在 METR 的评估中创下了软件测试作弊率的历史最高纪录。