工具slug: xybench

XYBench

含 8K+ 问题的评测基准,测试模型能否识别错误前提提问背后的真实目标

收录情报动态

共 1 篇 · 第 1/1 页
Hugging Face BlogT1·基座大模型
62 分
Ai2 发布 XYBench 评测模型识别用户真实意图能力

Ai2 发布 XYBench,一个包含 8K+ 问题的评测基准,专门测试 AI 助手面对基于错误前提的提问时,能否识别用户真正想解决的问题(XY 问题)并给出有效帮助,而非机械回答表面问题。该基准同时开源数据集与代码,目前以英文和程序性问题为主。