Hugging Face BlogT1·基座大模型
62 分
Ai2 发布 XYBench,一个包含 8K+ 问题的评测基准,专门测试 AI 助手面对基于错误前提的提问时,能否识别用户真正想解决的问题(XY 问题)并给出有效帮助,而非机械回答表面问题。该基准同时开源数据集与代码,目前以英文和程序性问题为主。
艾伦人工智能研究所,非营利 AI 研究机构,研发 OLMo 等开源模型与评测基准
Ai2 发布 XYBench,一个包含 8K+ 问题的评测基准,专门测试 AI 助手面对基于错误前提的提问时,能否识别用户真正想解决的问题(XY 问题)并给出有效帮助,而非机械回答表面问题。该基准同时开源数据集与代码,目前以英文和程序性问题为主。