OpenAI 首席科学家提议以困惑度作为模型安全通用标尺
OpenAI 首席科学家 Jakub Pachocki 撰文提出,现代 AI 的进步本质上是训练更优压缩器(即预测器)的进步,主张将困惑度(交叉熵损失)确立为跨模型开发者可比的通用指标,并以此支撑共享安全标准。作为第一步,OpenAI 首次公开了自身预训练进展的更多透明度信息。文章还指出,近期模型的设计贡献已开始有实质部分来自 AI 自身。
报道正文
本文目录3 个章节
2026年11月22日
困惑度与智能
作者:Jakub Pachocki,OpenAI 首席科学家
分享
从远处看,现代 AI 的构建方式似乎与过去几十年软件的构建方式相似:使用多样化的技术来针对特定能力。确实存在多种方法,但它们并非从零开始设计,而主要是利用来自一个更简单、更难以解释的过程的智能:在非常大的数据语料库上训练一个压缩器(或者,等价地说(在新窗口中打开),预测器)。1
我相信,追踪训练更好压缩器的进展速度是理解 AI 进步轨迹的关键。在这篇文章中,我主张将困惑度(或者,等价地说,交叉熵损失)确立为一种指标,用于比较不同模型开发者,并为共享安全标准提供依据。作为第一步,我提供更多关于 OpenAI 预训练进展的透明度。公布我们内部的困惑度测量值需要一些考量;这会让竞争对手更清楚地了解我们所处的位置,但这种担忧被在整个行业建立共享(在新窗口中打开)安全措施的紧迫性所压倒。我们 OpenAI 希望这能成为朝着为未来的节奏控制努力建立共享科学基础迈出的一步。
对 AI 发展的一种简化但根本上具有启发性的看法是:首先,构建一台大型计算机,然后用它在大型非结构化数据集上预训练一个模型(压缩器),接着在不同情境中应用各种技术——如提示、微调或强化学习——来激发该模型的潜在能力。算法进步可能会模糊训练阶段之间的界限,但我们仍然可以区分具有难以预测的涌现能力的 AI 的创造(我此前称之为“异类心智”)以及随后的有针对性的激发。
多年来,我们衡量这一关键“智能基座”进展的主要方式始终保持着惊人的一致性——我们一直在追踪模型在留出数据集上的困惑度(perplexity)。2, 3 困惑度衡量的是模型平均而言预测下一个 token 的能力;困惑度越低,意味着预测越准确。本文开篇的图表展示了从 GPT‑3.5 开始,我们的模型在这一指标上的演变过程。
仅由这一个指标大致描述的模型能力范围令人惊叹。在较旧的数据集上创下新的困惑度最优水平4的 GPT‑2,可以说是第一个能够持续生成连贯段落的模型。下一个重大飞跃 GPT‑3 则具备了上下文学习能力,只需给出任务的几个示例即可。GPT‑3.5 在我们当前主要评估数据集上的对数困惑度约为 0.99,能够进行流畅对话,并构成了初代 ChatGPT 的基础。GPT‑4 的对数困惑度约为 0.91,擅长高效利用思维链推理,这促成了随后对这一能力的有针对性激发以及现代推理模型的诞生。如今,随着损失降至 0.8 以下,我们已在网络安全和数学等领域看到了变革性能力的涌现。我想再次强调,这些能力会在达到那些精确的困惑度阈值时出现,这一点事先完全无法确定——它们从根本上可以被视为在这一单一指标进展中涌现出的潜在能力。
随着 AI 飞速发展,我们衡量下游能力的范围与方式可能会迅速变化。用大多数现代基准来评估 GPT‑2 和 GPT‑3 几乎没有意义;而当时使用的基准在 GPT‑4 附近大多已趋于饱和。相比之下,我认为关注预训练方面的进展很可能仍将具有启发意义。
进展速度的一个特定变化,源于 AI 对自身发展的贡献日益增加。最常被讨论的指标,围绕 AI 在开发周期各阶段增强和替代人类研究者展开;最终拐点被视为“完全递归自我改进”,即整个过程完全自动化、无需人类监督。除了认为这种状态显然应当避免以维持人类控制之外,我认为这种总体框架遗漏了一个关键点。一个潜在的阶跃变化可能来自 AI 参与开发过程中的一个关键环节:预训练相关的算法研究。
我们最近在另一个领域目睹了前所未有的加速。一年多来,我们一直将数学中的开放问题交给模型,作为评估它们的方式之一。当我们升级到对数困惑度约为 0.76 的模型后,它开始产出突破性成果。对于我们中许多曾在数学及相关领域工作过的人来说,看到我们长期思考的问题的解答在一个 Slack 线程中接连从模型输出,感觉极其超现实。有过这样的经历,使我们能够进行外推——这种突然的转变在深度学习研究中也是可能的。尽管这一领域更依赖实验,但长期以来一直存在一些简单的洞见被忽视多年的情况;因此,最早在 2027 年,我们就有可能看到类似的基础预训练进展的大量涌现5。虽然我预计 AI 也会对对齐和监控方面的进展做出重大贡献,但我认为这种进展不太可能快到足以让预训练实现全部潜在加速。
鉴于新出现的惊人能力主要通过压缩方面的进展而涌现,而压缩是一种植根于困惑度的度量,因此困惑度可以为我们提供一个衡量通用智能的共享基准,无论开发过程的自动化程度如何。从近期的进展外推,随着我们进入约 0.68-0.7 的对数困惑度区间,我们应当预期会出现进一步的变革性能力。我不知道这些能力会是什么,而且我们今天可能并没有在针对它们进行测试。与此同时,我们也应当预期当前占主导地位的对齐审计形式会进一步退化(在新窗口中打开),以及评估与训练意识会进一步增强。我认为,前沿模型开发者应当共同努力,在模型首次投入使用之前,就如何评估此类模型以及为其安全案例进行红队测试建立共同规范,包括共同的透明度标准。我进一步提出共同限制,基于困惑度及其他度量,开发者承诺在我们理解和监控 AI 行为的能力达到某个具体里程碑(例如开发出 CoT 监控器的后继者)之前不越过这些限制。也就是说,我希望有一个行业标准,规定对开发的第一个限制(由我们可以在各实验室之间追踪的某个关键指标来衡量),以及我们在超越它之前具体需要实现什么。我希望这能为建立一个共同框架铺平道路,以设定 successive 限制并为后续开发定下节奏。
困惑度作为共享指标存在一些挑战:
- 跨实验室比较的困难。 不同的开发者使用不同的评估数据集,并在不同的数据混合上训练。在此,我们报告的是我们一直追踪的主要数据集上的数字;我相信,如果我们确立透明度的目标,我们就能找到可迁移的方法来比较不同基础模型的质量。
- 与可操作评估的脱节。 困惑度并不直接对应我们所关心的任务。关心它的原因在于,我们可以预期它上面的进步会带来全新能力的涌现。
- 未考虑预训练之外的进展。 最值得注意的是,思维链推理并不会降低模型所达到的困惑度,尽管它会带来能力的急剧提升。
- 未知的下限。 我们不认为有可能实现损失为 0,那将对应于能够完全确定性地预测数据集。但我们不知道数据的内在熵是多少。随着我们接近它,困惑度上的表面进展将会放缓,但困惑度上较小的增益将对应于模型智能上更大的飞跃。
与此同时,困惑度作为一种许多研究团队投入大量精力去优化的指标,已经经受住了时间的考验,并且它继续在通用智能上带来持续的增益。我相信它可以在标准化我们讨论 AI 进展的方式上发挥重要作用,并希望看到整个行业对此有更多的透明度。
作者
Jakub Pachocki
脚注
- 1
需要注意的是,此意义上的“压缩器”是指能够通过预测未见数据来执行压缩的东西,而不是像 GZIP 文件那样的压缩产物——也就是说,在给定语料库上训练出的最佳压缩器并不一定“记住”该语料库的内容。 2. 2
在实践中,我们通常追踪困惑度的对数,也称为交叉熵损失。 3. 3
自 GPT-3.5 以来我们一直使用的主要留出数据集来源于我们的内部代码库,这里报告的就是这些数字(针对固定快照)。 4. 4
考虑到 GPT‑2 和 GPT‑3 的训练数据构成,它们对代码的预测能力并不能很好地代表其通用能力。这揭示了在使用困惑度作为共享指标时,数据集选择所带来的潜在挑战;不过,将它们与现代模型一起在通用文本上进行评估仍然具有参考价值。我选择报告我们内部代码库上的困惑度,是因为我想分享我们今天最依赖的、用来衡量 OpenAI 预训练进展的那些数字。 5. 5
在 OpenAI 模型损失曲线上,你可以看到 2026 年出现了陡峭的加速。我们主要将其归因于长期研究和算力投入的成果,只有较小部分归因于自动化。然而,对于最近的模型,我们已经看到 AI 带来了有意义的设计贡献。