公司slug: ai2访问官方网站

Ai2

艾伦人工智能研究所,非营利 AI 研究机构,研发 OLMo 等开源模型与评测基准

收录情报动态

共 1 篇 · 第 1/1 页
Hugging Face BlogT1·基座大模型
62 分
Ai2 发布 XYBench 评测模型识别用户真实意图能力

Ai2 发布 XYBench,一个包含 8K+ 问题的评测基准,专门测试 AI 助手面对基于错误前提的提问时,能否识别用户真正想解决的问题(XY 问题)并给出有效帮助,而非机械回答表面问题。该基准同时开源数据集与代码,目前以英文和程序性问题为主。