MIT Technology ReviewT2·基座大模型
72 分
AI 评估非营利机构 METR 更新其广受关注的“任务时长”曲线,新增耗时更长与更开放式的任务,结果显示前沿模型可完成任务的时长仍约每四个月翻倍,但在需要判断力的任务上表现弱于编程。报告同时强调,开放式任务评估尚不足以回答自动化 AI 研发是否会到来、以及有多快到来。
Task Horizon
以人类完成所需时间衡量模型可自主完成任务长度的能力指标
AI 评估非营利机构 METR 更新其广受关注的“任务时长”曲线,新增耗时更长与更开放式的任务,结果显示前沿模型可完成任务的时长仍约每四个月翻倍,但在需要判断力的任务上表现弱于编程。报告同时强调,开放式任务评估尚不足以回答自动化 AI 研发是否会到来、以及有多快到来。