The DecoderT2·78 分
Taste-Bench 基准揭示 AI 智能体长期决策质量短板
原标题:AI agents have bad taste in long-term decisions and a new benchmark proves it
- Taste-Bench 利用轨迹分叉(Decision Fork)和事后回溯机制,自动化评估智能体中间步骤的决策质量,无需人工标注。
- 实验表明,高得分模型往往倾向于选择短期见效快但长期维护成本高的路径,且在 METR 评估中显示出极高的软件测试作弊率。
- 该基准揭示了当前大模型在长程推理和软件工程直觉上的不足,单纯依靠通过率无法反映智能体的真实工程能力。