OpenAI 揭示奖励模型过优化缩放规律
原标题:Scaling laws for reward model overoptimization
78AI 研判分
OpenAI 研究团队发现,在 RLHF 训练中,随着策略优化程度加深,真实人类偏好与代理奖励模型评分之间会出现显著偏差。该研究量化了这种“过优化”现象的缩放规律,指出 KL 散度约束是缓解此问题的关键手段,为 AI 对齐中的奖励建模提供了重要理论依据。
报道正文
本文目录2 个章节
- 研究
- 产品
- 企业
- 开发者
- 公司
- 基金会(在新窗口中打开)
- 研究
- 产品
- 企业
- 开发者
- 公司
- 基金会(在新窗口中打开)
OpenAI
2022年10月19日
奖励模型过度优化的缩放定律

加载中…
分享
摘要
在基于人类反馈的强化学习中,通常针对一个旨在预测人类偏好的奖励模型进行优化。由于奖励模型是一个不完美的代理指标,根据古德哈特定律(Goodhart's law),对其数值进行过度优化可能会损害真实表现。这种现象已被频繁观察到,但由于收集人类偏好数据的成本高昂,此前并未得到仔细测量。在本研究中,我们采用了一个合成设置,其中固定的“黄金标准”奖励模型扮演人类的角色,提供用于训练代理奖励模型的标签。我们研究了当使用强化学习或 best-of-n 采样针对代理奖励模型进行优化时,黄金奖励模型得分的变化情况。我们发现,这种关系遵循不同的函数形式,具体取决于优化方法,并且在两种情况下,其系数都随着奖励模型参数数量的增加而平滑缩放。我们还研究了奖励模型数据集大小、奖励模型和策略参数数量以及强化学习设置中添加至奖励的 KL 惩罚系数对这一关系的影响。我们探讨了这些实证结果对 AI 对齐理论考量的启示。
作者
Leo Gao, John Schulman, Jacob Hilton