术语slug: interaction-as-a-judge

交互即评判

Interaction-as-a-Judge

以智能体在真实应用中的交互轨迹作为评估对象,由 LLM 评判器或奖励模型打分的评测范式

收录情报动态

共 2 篇 · 第 1/1 页
Arena.ai (@arena)T1·智能体与协同
62 分
Arena 开源智能体交互评测数据集

Arena.ai 提出 Interaction-as-a-Judge 评测范式,让 computer-use 智能体直接操作游戏与应用来完成评估,在用户偏好对齐、错误检测和下游生成上均有提升。团队同时开源 ArenaWebdevPreferences 与 ArenaWebdevCorrectness 两个智能体轨迹数据集,支持后续研究。

Arena.ai (@arena)T1·智能体与协同
58 分
Arena 提出以交互作为评判新范式

Arena.ai 研究实习生、卡内基梅隆大学博士生 Wayne Chi 提出“交互即评判”(Interaction-as-a-Judge)方法,让计算机使用智能体在真实应用与游戏中操作,生成交互轨迹供 LLM 评判器或训练好的奖励模型评估。该框架覆盖两类评估:基于 Code Arena 真实对战的偏好评估,以及基于 Agent Arena 用户投诉挖掘需求的正确性评估。