术语slug: overoptimization

过优化

Overoptimization

过度拟合代理目标导致真实性能下降的现象

收录情报动态

共 1 篇 · 第 1/1 页
OpenAI 官方博客T1·基座大模型
78 分
OpenAI 揭示奖励模型过优化缩放规律

OpenAI 研究团队发现,在 RLHF 训练中,随着策略优化程度加深,真实人类偏好与代理奖励模型评分之间会出现显著偏差。该研究量化了这种“过优化”现象的缩放规律,指出 KL 散度约束是缓解此问题的关键手段,为 AI 对齐中的奖励建模提供了重要理论依据。