Hugging Face BlogT1·基座大模型
62 分
Ai2 发布 XYBench,一个包含 8K+ 问题的评测基准,专门测试 AI 助手面对基于错误前提的提问时,能否识别用户真正想解决的问题(XY 问题)并给出有效帮助,而非机械回答表面问题。该基准同时开源数据集与代码,目前以英文和程序性问题为主。
含 8K+ 问题的评测基准,测试模型能否识别错误前提提问背后的真实目标
Ai2 发布 XYBench,一个包含 8K+ 问题的评测基准,专门测试 AI 助手面对基于错误前提的提问时,能否识别用户真正想解决的问题(XY 问题)并给出有效帮助,而非机械回答表面问题。该基准同时开源数据集与代码,目前以英文和程序性问题为主。