研究团队发现标准多 Token 预测(MTP)训练存在梯度缺陷:MTP 交叉熵梯度中混入低信噪比的残差项,随规模增大而愈发干扰下一 Token 预测与多 Token 学习。他们提出 KL 梯度恢复技巧,通过直通梯度路由从交叉熵梯度中精确还原 KL 自蒸馏项,实现 Soft-MTP——仅需一行代码改动,无需词表级 logit 矩阵,且兼容标准融合交叉熵内核。实验显示其在 1.2B 规模微调后数学与代码推理更强,多数指标不逊于直接最小化 KL。
术语slug: kl-divergence
KL 散度
KL Divergence
衡量两个概率分布差异的信息论指标
收录情报动态
Hacker News AIT2·基座大模型
74 分
vLLM 官方博客T1·基座大模型
78 分
针对强化学习中因推理侧优化导致训练与采样策略不一致的问题,vLLM 团队通过直接调用推理内核并修改其实现,实现了训练前向与 Rollout 生成对数概率的位级完全一致(Diff=0)。在 DeepSeek-V4-Flash 上,该方法将训练-推理 KL 散度从基线的高值降至零,同时保持 91.3% 的吞吐量;在 Nemotron 混合架构模型上,成功阻止了 SWE-bench Pro 分数的显著下降。相关流程已封装为 Agent Skill 开源发布。
Hugging Face BlogT1·基座大模型
68 分
Hugging Face 联合 Multiverse Computing 发布并开源了一种新的知识蒸馏损失函数实现(Chunked KL Loss)。该方法通过分块计算显著降低了训练过程中的峰值显存占用,使大规模模型蒸馏在普通硬件上更具可行性。相关论文已公开,代码已在 GitHub 上线。
Hugging Face BlogT1·开发与工程
68 分
ServiceNow AI 团队在将强化学习框架 PipelineRL 从 vLLM V0 迁移至 V1 时,发现推理引擎的 logprobs 计算差异会破坏训练动态。通过修复 rollout logprobs 处理、运行时默认值及权重更新路径等四个底层问题,实现了 V1 与 V0 参考结果的对齐。核心结论是:在引入复杂的失配校正机制前,必须优先确保后端推理计算的绝对正确性。
OpenAI 官方博客T1·基座大模型
78 分
OpenAI 研究团队发现,在 RLHF 训练中,随着策略优化程度加深,真实人类偏好与代理奖励模型评分之间会出现显著偏差。该研究量化了这种“过优化”现象的缩放规律,指出 KL 散度约束是缓解此问题的关键手段,为 AI 对齐中的奖励建模提供了重要理论依据。