研究给出 KL 约束下对齐收益的理论上限

语言模型（LM）对齐旨在改善模型输出，使其反映人类偏好，同时保留基座模型的能力。最常见的对齐方法是：(i) 强化学习，即在 KL 散度约束下最大化期望奖励；(ii) best-of-NNN 对齐，即从 NNN 个独立样本中选择奖励最高的输出。尽管这些方法被广泛使用，但在 KL 预算下奖励提升的基本极限仍鲜为人知。我们通过推导在固定 KL 散度预算下最大可实现的期望奖励增益，刻画了 KL 正则化对齐的信息论极限。我们的第一个结果给出了最优奖励提升的闭式表达式，该表达式由一个 Jeffreys 散度项决定，而非先前分析中使用的 √KL√KL√KL。我们进一步将该表达式重新表述为基座模型下的协方差，从而得到一个仅从基座模型样本即可预测可实现对对齐增益的实用估计器。我们将分析扩展到代理奖励设置，表明理想对齐与代理对齐之间的差距（奖励黑客）会随着奖励误差幅度的增大以及 KL 惩罚因子的减小而扩大。随后我们证明奖励集成能够缓解奖励黑客问题，为这一实践中使用的技术提供了理论依据。在实证方面，我们针对语言模型的两个任务——安全性和摘要——计算了 KL–奖励帕累托前沿，并表明 best-of-NNN 紧密逼近理论极限，而 PPO 和 GRPO 仍显著次优。我们的理论结果揭示了对齐文献中若干经实证观察到的现象，并表明需要算法改进才能在不产生高推理成本的情况下实现最优对齐。

• • 同等贡献

相关阅读与更新。

### SALSA：基于汤的对齐学习，用于 RLHF 中更强的适应

2024年12月5日研究领域 语音与自然语言处理NeurIPS 研讨会

本文已被 NeurIPS 2024 现代机器学习微调（FITML）研讨会接收。

在大型语言模型（LLM）的开发中，基于人类反馈的强化学习（RLHF）对于使模型与人类价值观和偏好保持一致至关重要。RLHF 传统上依赖于当前策略与冻结的初始策略之间的 Kullback-Leibler（KL）散度作为参考，并将其作为惩罚项添加到策略中……

阅读更多### 论直接偏好优化所诱导的隐式奖励模型的有限泛化能力

2024年10月9日研究领域 方法与算法，研究领域 语音与自然语言处理会议 EMNLP

基于人类反馈的强化学习（RLHF）是一种使语言模型与人类偏好保持一致的有效方法。RLHF 的核心是学习一个用于对人类偏好进行评分的奖励函数。学习奖励模型的两种主要方法是：1）如 RLHF 中那样训练一个显式奖励模型；2）使用通过直接偏好优化（DPO）等方法从偏好数据中学习到的隐式奖励。先前的工作已表明……