Best-of-N 对齐

该论文从信息论角度刻画了 KL 正则化对齐可达到的最大期望奖励增益，给出闭式表达，并指出其由 Jeffreys 散度而非此前分析所用的 √KL 项主导。作者进一步将该表达改写为基座模型下的协方差形式，得到仅凭基座模型采样即可预测对齐收益的实用估计器，并分析了代理奖励场景下奖励黑客随奖励误差增大的规律。