Arena.ai (@arena)T1·智能体与协同
62 分
Arena.ai 提出 Interaction-as-a-Judge 评测范式,让 computer-use 智能体直接操作游戏与应用来完成评估,在用户偏好对齐、错误检测和下游生成上均有提升。团队同时开源 ArenaWebdevPreferences 与 ArenaWebdevCorrectness 两个智能体轨迹数据集,支持后续研究。
Interaction-as-a-Judge
以智能体在真实应用中的交互轨迹作为评估对象,由 LLM 评判器或奖励模型打分的评测范式
Arena.ai 提出 Interaction-as-a-Judge 评测范式,让 computer-use 智能体直接操作游戏与应用来完成评估,在用户偏好对齐、错误检测和下游生成上均有提升。团队同时开源 ArenaWebdevPreferences 与 ArenaWebdevCorrectness 两个智能体轨迹数据集,支持后续研究。
Arena.ai 研究实习生、卡内基梅隆大学博士生 Wayne Chi 提出“交互即评判”(Interaction-as-a-Judge)方法,让计算机使用智能体在真实应用与游戏中操作,生成交互轨迹供 LLM 评判器或训练好的奖励模型评估。该框架覆盖两类评估:基于 Code Arena 真实对战的偏好评估,以及基于 Agent Arena 用户投诉挖掘需求的正确性评估。