返回全部资讯
OpenAI 官方博客T1·基座大模型

OpenAI 揭示奖励模型过优化缩放规律

原标题:Scaling laws for reward model overoptimization
78AI 研判分

OpenAI 研究团队发现,在 RLHF 训练中,随着策略优化程度加深,真实人类偏好与代理奖励模型评分之间会出现显著偏差。该研究量化了这种“过优化”现象的缩放规律,指出 KL 散度约束是缓解此问题的关键手段,为 AI 对齐中的奖励建模提供了重要理论依据。

报道正文

本文目录2 个章节

跳至主要内容

登录试用 ChatGPT(在新窗口中打开)

试用 ChatGPT(在新窗口中打开)登录

OpenAI

2022年10月19日

出版物

奖励模型过度优化的缩放定律

阅读论文(在新窗口中打开)

Image 1: Scaling Laws For Reward Model Overoptimization

加载中…

音频 2

分享

摘要

在基于人类反馈的强化学习中,通常针对一个旨在预测人类偏好的奖励模型进行优化。由于奖励模型是一个不完美的代理指标,根据古德哈特定律(Goodhart's law),对其数值进行过度优化可能会损害真实表现。这种现象已被频繁观察到,但由于收集人类偏好数据的成本高昂,此前并未得到仔细测量。在本研究中,我们采用了一个合成设置,其中固定的“黄金标准”奖励模型扮演人类的角色,提供用于训练代理奖励模型的标签。我们研究了当使用强化学习或 best-of-n 采样针对代理奖励模型进行优化时,黄金奖励模型得分的变化情况。我们发现,这种关系遵循不同的函数形式,具体取决于优化方法,并且在两种情况下,其系数都随着奖励模型参数数量的增加而平滑缩放。我们还研究了奖励模型数据集大小、奖励模型和策略参数数量以及强化学习设置中添加至奖励的 KL 惩罚系数对这一关系的影响。我们探讨了这些实证结果对 AI 对齐理论考量的启示。

作者

Leo Gao, John Schulman, Jacob Hilton