斯坦福研究：LLM 能力迭代过快 44% 学术结论已失效

研究发现：LLM 的快速开发正超越旨在解释它的研究

  [Matthias Bastian](https://the-decoder.com/author/matthias-bastian/) [查看 Matthias Bastian 的 LinkedIn 个人资料](https://www.linkedin.com/in/matthias-bastian-128b71b1/)   2026年11月3日      

GPT-Image-2.5 由 THE DECODER 提示生成

斯坦福大学研究人员 Owen Queen 和 James Zou 针对 20 个模型测试了 50 项关于大语言模型（LLM）的广泛引用结论，发现其中 44% 已经“过期”。在 22 项有预估过期时间的发现中，平均寿命仅为 15.7 个月。

这两人使用八家不同开发商于 2024 年 7 月至 2026 年 9 月期间发布的模型对这些结论进行了检验。已过期发现背后的原始效应大多已消失，另有 34% 显著减弱。只有 16% 仍然成立，6% 实际上变得更强。一年后，16% 的结论已过期；两年后，这一比例攀升至 39%。

关于模型“做不到”什么的结论过期最快

根据该研究，关于模型无法完成某事的结论过期速度最快。九项与推理相关的发现中有五项被视为已过期，且没有一项保持有效或变得更强。这些包括众所周知的弱点，例如统计单词 "strawberry" 中的字母数量、在不熟悉的数字系统中进行算术运算、在长上下文中间丢失信息，以及当用户反驳时放弃正确答案。研究人员推测，这类错误存在一个“正确”的结果，从而为开发者提供了明确的训练目标。

斯坦福大学的研究发现，44% 的被审查 LLM 结论已过期，另有 34% 减弱。所有九项推理相关发现均已消退，而谄媚性（sycophancy）、欺骗性和策略性行为则拥有最多持续存在或得到强化的发现。 | 图片：Queen 和 Zou

关于偏好和倾向的论断往往更具持久性。在 11 项持续存在或愈发显著的发现中，有三项涉及 LLM 作为评估者的行为：它们更偏爱自己的答案、对录用与拒稿论文给出相似的评分，以及容易受医学摘要中语言修饰的影响。另外三项则涉及对用户阿谀奉承及盲目附和。此外，还存在左倾的政治偏见、对开放式问题给出几乎相同的答案，以及在生成随机数时分布不均匀的现象。

幻觉引用率从 55% 降至零，但并非在所有模型中都如此

作为案例研究，Queen 和 Zou 考察了科学引用的捏造问题。在 Walters 和 Wilder 进行的2023 年原始研究中，GPT-3.5 捏造了 55% 的参考文献。斯坦福大学的研究人员向当前模型发送了相同的提示词。GPT-6.1 Sol 的捏造率为 0%，Claude Sonnet 5.5 为 1%。然而，同为 2026 年模型的 Qwen3.7-Flash 在同一测试中仍捏造了 69% 的参考文献。

该研究警告称，不应将这些结果视为万事大吉。在所谓的“两跳”问题上（即模型需要结合两个已知事实），即使 Claude Sonnet 5.5 能正确回答这两个独立问题，它在约 10% 的情况下仍然会失败。原始论文报告 ChatGPT 在这一指标上的失败率为 43%。“反转诅咒”（Reversal Curse）以及对成对时间相关问题给出矛盾答案的现象虽已减弱，但仍可检测到。

研究人员指出，社会偏见情况喜忧参半。左倾政治偏见依然存在，而性别刻板印象和内隐联想偏见有所减弱。针对非裔美国人英语使用者的偏见在趋势数据中实际上发生了方向逆转。

即使在同代模型之间，模型间的差距依然巨大

不同模型之间的结果差异显著，即使是在同一发布窗口期内也是如此。在 2026 年 7 月至 9 月期间发布的模型中，已失效的发现数量从 DeepSeek V4 Pro 的 11 项到 GPT-6.1 Sol 的 30 项不等。发布日期、提供商或模型规模都无法可靠地预测这一模式。

Queen 和 Zou 得出了一个广泛的结论：关于 LLM 的实证发现应被表述为针对特定模型在特定时间点的观察结果，而非普遍真理。论文应记录模型名称、版本和日期，并公开提示词（prompts）和分析代码，以便在未来的模型上重新验证这些发现。

研究人员引用了 Andrej Karpathy 的一篇帖子，其中描述了人们对 LLM 实际行为的认知差距如何影响对 AI 的信任度以及人们使用 AI 的频率。Karpathy 是 OpenAI 的联合创始人，后来加入了 Anthropic，他最近还指出，目前可用的模型只是 未来能力的预览。