Arena 开源智能体交互评测数据集

原标题:Agents are demonstrating increasingly strong capabilities in recreating games and applications. One ...
62AI 研判分

Arena.ai 提出 Interaction-as-a-Judge 评测范式,让 computer-use 智能体直接操作游戏与应用来完成评估,在用户偏好对齐、错误检测和下游生成上均有提升。团队同时开源 ArenaWebdevPreferences 与 ArenaWebdevCorrectness 两个智能体轨迹数据集,支持后续研究。

报道正文

Arena.ai (@arena) · 2026-11-12 21

智能体在复现游戏和应用方面展现出了越来越强的能力。一个可能的原因是,它们直接与这些应用交互的能力正在不断增强。

我们研究了 Interaction-as-a-Judge(以交互作为评判),这是一种正在兴起的评估范式,其中计算机使用智能体直接与游戏和应用交互,以改进评估。

Interaction-as-a-Judge 改进了:

  • 与用户偏好的一致性。
  • 模型检测游戏中错误的能力。
  • 下游生成。我们在推理时扩展以及仅靠交互的强化学习能力方面都看到了改进。

它还会随计算机使用能力的提升而扩展;计算机使用模型和方法越好,评判结果就越好。

我们还开源了两个智能体轨迹数据集——ArenaWebdevPreferences 和 ArenaWebdevCorrectness,以帮助支持未来的研究。深入阅读该推文串以了解更多。

↳ 引用 @arena (Arena.ai): Arena 研究实习生、卡内基梅隆大学博士生 Wayne Chi 解释了 Interaction-as-a-Judge:让计算机使用智能体玩玩游戏、使用应用,以更好地改进评估和下游生成。

计算机使用智能体会浏览一个应用,生成交互轨迹,供 LLM 评判器或训练好的奖励模型进行评估。该演讲涵盖了使用真实 Code Arena 对战进行的偏好评估,以及使用从 Agent Arena 中真实用户投诉里挖掘出的需求进行的正确性评估。

观看完整演讲:

推文配图