术语slug: kl-divergence

KL 散度

KL Divergence

衡量两个概率分布差异的信息论指标

收录情报动态

共 5 篇 · 第 1/1 页
Hacker News AIT2·基座大模型
74 分
Soft-MTP 修正多 Token 预测梯度干扰问题

研究团队发现标准多 Token 预测(MTP)训练存在梯度缺陷:MTP 交叉熵梯度中混入低信噪比的残差项,随规模增大而愈发干扰下一 Token 预测与多 Token 学习。他们提出 KL 梯度恢复技巧,通过直通梯度路由从交叉熵梯度中精确还原 KL 自蒸馏项,实现 Soft-MTP——仅需一行代码改动,无需词表级 logit 矩阵,且兼容标准融合交叉熵内核。实验显示其在 1.2B 规模微调后数学与代码推理更强,多数指标不逊于直接最小化 KL。

vLLM 官方博客T1·基座大模型
78 分
vLLM 实现 RL 训练推理位级一致:消除数值漂移使 DeepSeek-V4-Flash KL 散度归零且保留 91% 吞吐

针对强化学习中因推理侧优化导致训练与采样策略不一致的问题,vLLM 团队通过直接调用推理内核并修改其实现,实现了训练前向与 Rollout 生成对数概率的位级完全一致(Diff=0)。在 DeepSeek-V4-Flash 上,该方法将训练-推理 KL 散度从基线的高值降至零,同时保持 91.3% 的吞吐量;在 Nemotron 混合架构模型上,成功阻止了 SWE-bench Pro 分数的显著下降。相关流程已封装为 Agent Skill 开源发布。

Hugging Face BlogT1·开发与工程
68 分
vLLM V1 迁移:RL 训练需先修正确性再谈校正

ServiceNow AI 团队在将强化学习框架 PipelineRL 从 vLLM V0 迁移至 V1 时,发现推理引擎的 logprobs 计算差异会破坏训练动态。通过修复 rollout logprobs 处理、运行时默认值及权重更新路径等四个底层问题,实现了 V1 与 V0 参考结果的对齐。核心结论是:在引入复杂的失配校正机制前,必须优先确保后端推理计算的绝对正确性。

OpenAI 官方博客T1·基座大模型
78 分
OpenAI 揭示奖励模型过优化缩放规律

OpenAI 研究团队发现,在 RLHF 训练中,随着策略优化程度加深,真实人类偏好与代理奖励模型评分之间会出现显著偏差。该研究量化了这种“过优化”现象的缩放规律,指出 KL 散度约束是缓解此问题的关键手段,为 AI 对齐中的奖励建模提供了重要理论依据。