术语slug: open-ended-evaluation

开放式任务评估

Open-Ended Evaluation

缺乏固定答案、需判断力的任务评测方式,用于补充结构化基准

收录情报动态

共 1 篇 · 第 1/1 页
MIT Technology ReviewT2·基座大模型
72 分
METR 更新 AI 任务时长图 新增开放式任务评估

AI 评估非营利机构 METR 更新其广受关注的“任务时长”曲线,新增耗时更长与更开放式的任务,结果显示前沿模型可完成任务的时长仍约每四个月翻倍,但在需要判断力的任务上表现弱于编程。报告同时强调,开放式任务评估尚不足以回答自动化 AI 研发是否会到来、以及有多快到来。