The DecoderT2·基座大模型
78 分
斯坦福大学研究发现,大语言模型(LLM)的快速迭代导致大量早期研究结论迅速过时。在测试的50项广泛引用的LLM特性中,44%已被证实“过期”,平均寿命仅15.7个月。其中关于模型“无法做到”某事的负面论断失效最快,凸显了当前AI发展速度远超解释性研究的滞后性。
Benchmark Saturation
现有测试集无法有效区分顶级模型性能差异的现象
斯坦福大学研究发现,大语言模型(LLM)的快速迭代导致大量早期研究结论迅速过时。在测试的50项广泛引用的LLM特性中,44%已被证实“过期”,平均寿命仅15.7个月。其中关于模型“无法做到”某事的负面论断失效最快,凸显了当前AI发展速度远超解释性研究的滞后性。
Artificial Analysis 推出其智能指数的重大升级版本 v5,首次将 60% 的评估权重基于私有测试集或保留答案,以应对公开基准饱和问题。新版本引入了 Cognition 的 FrontierCode 2.0 和 Terminal-Bench-Science 两个新基准,并同步发布了用于长期追踪模型能力演进的 Progress Index v1。
Mistral AI 正式推出旗舰模型 Mistral Large 4。开发者 Simon Willison 通过“火星穿渔网袜的犰狳”这一高难度创意 Prompt,横向对比了包括 Claude Opus 5.5、GPT-6.1 在内的多款前沿模型的 SVG 代码生成效果。该测试旨在直观展示新模型在复杂指令遵循与多模态代码输出上的实际表现。