Ai2 发布 XYBench 评测模型识别用户真实意图能力
Ai2 发布 XYBench,一个包含 8K+ 问题的评测基准,专门测试 AI 助手面对基于错误前提的提问时,能否识别用户真正想解决的问题(XY 问题)并给出有效帮助,而非机械回答表面问题。该基准同时开源数据集与代码,目前以英文和程序性问题为主。
报道正文
本文目录5 个章节
XYBench:帮助解决“问题背后的问题”
企业文章 发布于 2026 年 11 月 13 日 点赞 1
[Kyle Wiggers Ai2Comms 关注](https://huggingface.co/Ai2Comms) [allenai](https://huggingface.co/allenai) 真正有用的 AI 助手需要能够帮助那些提出错误问题的用户——而不仅仅是那些问题正确、细节充分的用户。我们发布了 XYBench,这是一个包含 8K+ 问题的基准测试,用于评估 AI 助手如何回应基于错误认知的请求,例如询问如何让总是从纸杯蛋糕上滑落的糖霜变稠,而真正的问题是纸杯蛋糕本身还太热、无法裱花。XYBench 在 EMNLP 2026 上荣获最佳资源论文奖。
用户所询问的方法与其想要达成的目标之间的不匹配被称为 XY 问题:一个人想要完成 X,假设某种方法 Y 会奏效,于是寻求关于 Y 的帮助。在纸杯蛋糕的例子中,这个人过于执着于让糖霜粘住,以至于没有考虑到纸杯蛋糕的温度才是真正需要解决的问题。
XYBench 与卡内基梅隆大学、NVIDIA 和约翰斯·霍普金斯大学的研究人员共同开发,揭示了 LLM 在问题排查能力上的一个关键缺口:识别用户的请求何时基于隐含的错误认知,并适当地引导他们转向能够解决其实际目标的方案。基于涵盖编程以及烹饪、家居维修等日常活动的 8,115 个真实问题,我们推出了一个基准测试,用于衡量模型是否能识别这些错误认知,并能在回答中优先给出有效的解决方案。
我们在 XYBench 上评估的模型——Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro——常常会针对用户的问题提出一个解决方案,但回答仍聚焦于原本错误的思路。与人类参考答案不同,这五个模型都更不倾向于引导用户摆脱该思路,转而采用适合其目标的解决方案。
人们使用 AI 系统时知识水平各不相同,未必总能知道解决问题的最佳方式。我们希望 XYBench 能帮助研究者衡量模型改进是否让助手更善于识别错误假设、解释所提议的方法为何可能行不通,并建议更有效的替代方案——即使用户并不知道该问什么问题。
构建 XYBench
我们用四个来源构建了 XYBench:来自 Stack Overflow 的 1,557 个问题、来自 Stack Exchange 的 184 个问题、102 个手动整理的示例,以及由 WikiHow 指南生成的 6,272 个问题。对于每个问题,我们识别出明确请求(Y),即用户明确要求的内容,以及意图请求(X)——即可以从上下文推断出的潜在目标。
对于公共论坛问题,我们使用得分最高的三个人类回答以及可用的已采纳回答,来确定意图请求和可能的解决方案。我们过滤掉了那些回答明确请求即被视为足够的情况。对于 WikiHow,我们使用 Sonnet 4.5 围绕程序性指南中可能存在的误解生成问题,然后对其进行改进,使其包含足够的上下文,让专家能够在不被直接说明的情况下推断出潜在目标。我们删除了那些回答字面请求就能基本解决问题的示例。
评估回答的帮助程度
模型可能会花好几段推荐一款更强劲的吸尘器,然后简短建议检查软管是否堵塞。如果吸力弱是由堵塞造成的,清理堵塞就能解决问题。
更有帮助的回答会认识到用户想要恢复吸力,并专注于诊断原因。这涉及语用学,即语言学中研究语境和交际意图如何塑造意义的分支。为了测试模型是否在回答中运用了这种理解,XYBench 衡量每个回答的三个
- 务实解决方案——记录模型的回答是否包含针对明确请求(Y)和真实意图(X)的解决方案,并分别检查两者。
- 务实侧重——衡量模型的回答是侧重于明确请求(Y)、侧重于真实意图(X),还是在两者之间取得平衡。
- 误解识别——衡量模型的回答是否引导用户走向 underlying goal(X),同时劝阻或避免错误做法(Y)。
在 XYBench 中,Claude Sonnet 4.5 担任自动评判员。它对每个模型回答中的单条建议进行分类,并评估答案的务实侧重。
为验证 Sonnet 4.5 的评判,两名人工评审独立评估了 500 条模型对 XYBench 问题的回答。评审与评判员的一致率(取两名评审的平均值)在是否出现解决方案方面为 97.5–100%,在误解识别方面为 84.6–93.3%,在务实侧重方面为 74.2–79.8%。
实验结果表明了什么
我们在单轮设置下用 XYBench 评估了 Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro,每个问题生成一条回答。我们使用相同的指标单独评估了人类参考答案。
在全部四个来源中,每个模型包含明确请求(Y)解决方案的可能性都高于包含 underlying goal(X)解决方案的可能性。在 Stack Overflow 上,明确请求的解决方案出现在 75–86% 的回答中,而 underlying goal 的解决方案为 59–71%。
仅仅顺带提及某个解决方案,并不代表它就是回答的重点。在吸尘器示例中,模型可能简要建议疏通软管,但把大部分回答集中在购买更强劲的吸尘器上。我们会将这样的回答计为包含 underlying goal 的解决方案,即便模型侧重的是明确请求。我们单独衡量了整体侧重:在 Stack Overflow 上,模型仅在 35–41% 的回答中主要侧重于 underlying goal,在 47–57% 的回答中主要侧重于明确请求。在其余回答中,模型对明确请求和 underlying goal 给予了相似的侧重。
我们还测试了明确表达用户目标是否会有所帮助。在一项 oracle 实验中,我们为每个问题同时提供了表面请求(Y)和真实意图(X)。在 Stack Overflow 上,Sonnet 4.6 包含底层目标解决方案的比例从 59% 上升到 67%,但其识别误解的比例从 47% 下降到 34%。在拥有人类参考答案的来源中,本次实验中的每个模型在识别误解方面仍然落后于人类。提供意图有所帮助,但并未 consistently 缩小与人类回答之间的差距。这表明,检测意图只是挑战的一部分:当意图与表面请求不一致时,模型还需要据此采取行动。
另一项独立实验测试了模型在评判回答而非撰写回答时,能否识别出有用的建议。我们向同样的五个模型以及 GPT-4.1 提供了每个问题及其两个可能的回答:一个聚焦于字面请求,另一个解释误解并解决底层目标。在 Stack Overflow 上,所有六个模型在 71–84% 的情况下选择了聚焦目标的回答。相比之下,在我们主要评估中,这五个模型撰写的回答中只有 35–41% 主要聚焦于底层目标。这些结果揭示了识别有用建议与产出有用建议之间的差距,而仅靠多项选择题测试是无法发现这一差距的。
这对评估意味着什么
研究人员可以使用 XYBench 来测试提示词或训练方式的改动是否有助于模型识别误解、为用户潜在的问题提供解决方案,并让这些解决方案成为回答的重点。对每种行为分别进行测量,可以让研究人员看出某一方面的进展是否也能改善其他方面。
未来的工作可以测试哪些训练方法有助于模型依据推断出的意图行事——也就是用户真正需要什么,而不只是他们字面上提出的要求。XYBench 目前涵盖英语查询,且主要针对程序性问题;将其扩展到其他语言、文化和对话场景仍是一个有待探索的方向。
我们希望 XYBench 能让研究人员构建出这样的模型:即使用户的第一个问题建立在错误假设之上,模型也能提供有用的建议。


