MIT Technology ReviewT2·基座大模型
72 分
AI 评估非营利机构 METR 更新其广受关注的“任务时长”曲线,新增耗时更长与更开放式的任务,结果显示前沿模型可完成任务的时长仍约每四个月翻倍,但在需要判断力的任务上表现弱于编程。报告同时强调,开放式任务评估尚不足以回答自动化 AI 研发是否会到来、以及有多快到来。
Open-Ended Evaluation
缺乏固定答案、需判断力的任务评测方式,用于补充结构化基准
AI 评估非营利机构 METR 更新其广受关注的“任务时长”曲线,新增耗时更长与更开放式的任务,结果显示前沿模型可完成任务的时长仍约每四个月翻倍,但在需要判断力的任务上表现弱于编程。报告同时强调,开放式任务评估尚不足以回答自动化 AI 研发是否会到来、以及有多快到来。