OpenAI 更新模型规范 确立五大核心价值导向

随着我们的模型变得更加智能，并在现实世界中采取更具影响力的行动，它们超越单纯解读具体指令的能力变得愈发重要。模型还需要理解人类的意图和价值观，以便在指令未明确涵盖的情境中做出良好判断，同时保持对人类意图和监督的忠实。

今天，我们更新了 Model Spec⁠(opens in a new window)，即我们对模型行为期望的公开描述。此次更新围绕五大核心价值观重组了指导原则：忠于人类意图、最小化伤害、诚实与透明、人类自主权以及关怀。这反映了我们在 价值对齐 方面的工作目标：让模型在陌生情境中理解并应用人类价值观，同时保持对人类意图的忠实。除了对现有原则进行更清晰的阐释外，本次修订还增加了关于上下文、监督和自主权的指导，调整了一些默认行为准则，并大幅精简了详细的风格指南。

围绕核心价值观组织规范

上述五种价值观阐述了 Model Spec 中已经体现的广泛承诺：服务于人类目的、保持真实、最小化伤害、尊重人们形成自己观点的自由，以及认真对待人们的处境。将这些承诺整合在一起，有助于解释为什么 Spec 要求模型以特定方式行事，并帮助我们在这些承诺表达不够充分的地方制定更清晰的指导方针。此次更新是我们通过研究、模型部署经验、公众反馈（关于 Spec 和模型行为）以及与用户和外部专家的讨论来 完善 Spec 工作的又一步骤。

我们希望 AI 能够惠及一个拥有不同需求、价值观和未来期望的人类世界。

忠于人类意图是这一方法的基础：理解并帮助人们追求对他们而言重要的事情。OpenAI 编写规范（Spec），设定边界，并训练模型以尊重这些边界；开发者在边界内指导应用程序；用户则在约束条件下引导模型的工作。我们的模型应当拓展人们塑造自身生活的能力，通过帮助他们理解世界、发现可能性并追求他们选择的目标，同时认真对待这种协助对他人的影响。忠于人类意图以及其余四项价值观构成了规范的框架，并指导我们的模型如何应对它们面临的一些最重要的权衡取舍。这些价值观并非旨在涵盖我们的模型应尊重并帮助人们追求的所有人类价值观。

忠于意味着不仅要字面地遵循指令，还要深入理解 OpenAI、开发者和用户的意图与价值观，并在理解不完整时明智行事。这也意味着认识到人们的信念和价值观可能会发生变化，并以他们认可的方式帮助他们反思和成长，而不是暗中引导或推翻他们的选择。例如，在帮助某人比较工作机会时，模型可能会参考他们之前分享过的优先事项——如可预测的工作时间——同时将这些假设显性化，以便轻松纠正。

我们的使命是确保通用人工智能造福全人类。这不仅需要考虑某人的即时意图，还需要考虑其长期利益以及对他人产生的影响。其余四项价值观使这些考量变得明确：

• 最小化伤害意味着尊重严格的安全边界，并考虑模型行为的可预见后果。

• 诚实与透明意味着如实说明模型知道什么、做什么以及不确定什么，以便人们能够理解和评估其推理与工作。

• 促进人类自主性意味着增强人们理解、选择和行动的能力。

• 关怀意味着关注受影响者的处境，遵循相关的社会和专业规范，并提供人们可以信赖的工作成果。

规范将这些价值观转化为实践指导，在必要时设定明确的边界以保护个人和社会，其余部分则主要采用用户和开发者可以覆盖的默认设置。

除了此次模型规范的更新外，我们一直在探索新的训练方法，以帮助我们的模型学习这些核心价值观，并更好地理解和遵循规范中具体的行为原则。我们的目标是建立一种理解：明白这些原则为何重要，以及如何在新的情境中应用它们——即出于正确的理由做正确的事。我们希望这种理解能够支持在重大决策中做出明智判断，并在日常决策中体现关怀，从而累积形成对个人和社会的持久益处（在新窗口中打开）。我们将在未来的更新中分享这项训练工作的成果和经验教训。

新增与退役章节

这次重组也帮助我们识别出需要额外指导的领域，制定新原则以应对这些问题，并根据需要修订或废止现有的指导内容。

关于“忠实于人类意图”的新章节基于这样一个理念：人们所珍视的价值是首要的，而指令通常是这些价值最清晰、最重要的信号。这种方法借鉴了用于对齐研究的“辅助博弈”框架（参见早期工作（在新窗口中打开）和后续综述（在新窗口中打开））。该章节包含一个更新后的指挥链（chain of command）（在新窗口中打开），解释了哪些指令适用以及如何解决冲突。一个新的小节仔细考虑上下文（consider context carefully）（在新窗口中打开）解释了对话、记忆和其他上下文证据应如何影响模型对人们意图和偏好的理解。

我们还针对支持人类自主权⁠(opens in a new window)和遵循相关社会规范⁠(opens in a new window)添加了默认准则，并扩展了关于控制和沟通副作用⁠(opens in a new window)的现有指导。这些原则捕捉了其余价值观在模型行为中体现的额外、往往微妙但重要的方式：考虑工作对他人的影响，增强用户的能力，以及产出人们可以信赖的工作成果，同时尊重用户的目标和指令。

与此同时，我们正在逐步淘汰 Spec 中大部分详细的风格指南。风格应当适应人们的偏好——从整体来看，在不同语言和文化背景下，以及针对每个人——通过用户反馈和上下文来提供关于这些偏好的证据。Spec 保留了更强的默认设置，例如客观地处理问题⁠(opens in a new window)。用户和开发者可以明确要求模型采取特定视角，但模型不应仅凭其认为用户想听的内容来推断这种偏好。

最后，鉴于我们的模型用例和部署场景日益广泛，我们在 Spec 中现在将模型称为“GPT”，而不是“助手”。

下一步计划

此次更新是随着模型能力增强，使 Spec 背后的价值观和推理更加明确的第一步。Model Spec 描述了我们正在努力实现的行为；目前的模型尚未完全体现这一点。我们将继续改进 Spec 和模型，并从研究、实际使用和反馈中学习。

我们希望了解您认为 Spec 中哪些部分具有说服力，您在哪些方面不同意它所达成的平衡，以及它忽略了什么或表述不清的地方。关于价值观、权衡取舍和具体措辞的反馈可以帮助我们改进它。我们邀请您阅读更新后的 Model Spec⁠(opens in a new window)并分享您的观点⁠(opens in a new window)。