ServiceNow 与麦吉尔大学发布 AgentHorizon：LLM 裁判在长程计算机任务中漏检细微错误，工具辅助反而降低准确率

1 篇报道存证1 家独立信源交叉印证持续跟踪至 2026/10/14 17:52:33

全景综述与最新动态

1 家信源交叉印证

ServiceNow 与麦吉尔大学联合推出 AgentHorizon 基准测试，包含 1373 个基于人类屏幕录制的评判任务，专门用于检测 AI 代理在长程操作中的“近似失败”（如画错形状或发错频道）。研究发现，即便是表现最佳的 GPT-5.5 在困难子集上的平衡准确率也仅为 80.9%，且为 Qwen 3.6 等模型提供工具辅助反而使其从直接读取的 77.6% 降至 70.4%，表明当前 LLM 作为自动评估器在处理复杂、多步计算机使用场景时仍存在显著盲区。

最新动向/ServiceNow 与麦吉尔大学联合推出 AgentHorizon 基准测试，包含 1373 个基于人类屏幕录制的评判任务，专门用于检测 AI 代理在长程操作中的“近似失败”（如画错形状或发错频道）。研究发现，即便是表现最佳的 GPT-5.5 在困难子集上的平衡准确率也仅为 80.9%，且为 Qwen 3.6 等模型提供工具辅助反而使其从直接读取的 77.6% 降至 70.4%，表明当前 LLM 作为自动评估器在处理复杂、多步计算机使用场景时仍存在显著盲区。

热度曲线逐小时热度走势

3 个完整观测小时

当前

17.1

峰值

18.119:00

近 24h 变化

–

曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。

TIMELINE报道时间线

共 1 篇 · 最新优先

Rohan Paul (@rohanpaul_ai)T2·10月14日 17:5268 分
ServiceNow 与麦吉尔大学发布 AgentHorizon：LLM 裁判在长程计算机任务中漏检细微错误，工具辅助反而降低准确率
原标题：New ServiceNow and McGill paper finds that AI judges still miss subtle mistakes in long computer-use...
- AgentHorizon 基准通过互换指令生成“近似失败”样本，专门测试裁判模型区分正确执行与细微错误的能力。
- GPT-5.5 在困难任务上的平衡准确率为 80.9%，远高于随机猜测的 50%，但仍有近两成的漏检率。
- 反直觉发现：赋予裁判模型工具访问权限（如代码解释器或浏览器）并未提升其判断力，反而导致 Qwen 3.6 等模型性能下降。
查看存证研判原始网页