Today for AI
返回热点榜
llm热度 8.3°

AI 聚合热点事件 · 2026/10/14

vLLM 实现 RL 训练推理位级一致：消除数值漂移使 DeepSeek-V4-Flash KL 散度归零且保留 91% 吞吐

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/10/14 08:00:00
全景综述与最新动态
1 家信源交叉印证

针对强化学习中因推理侧优化导致训练与采样策略不一致的问题，vLLM 团队通过直接调用推理内核并修改其实现，实现了训练前向与 Rollout 生成对数概率的位级完全一致（Diff=0）。在 DeepSeek-V4-Flash 上，该方法将训练-推理 KL 散度从基线的高值降至零，同时保持 91.3% 的吞吐量；在 Nemotron 混合架构模型上，成功阻止了 SWE-bench Pro 分数的显著下降。相关流程已封装为 Agent Skill 开源发布。

最新动向/针对强化学习中因推理侧优化导致训练与采样策略不一致的问题，vLLM 团队通过直接调用推理内核并修改其实现，实现了训练前向与 Rollout 生成对数概率的位级完全一致（Diff=0）。在 DeepSeek-V4-Flash 上，该方法将训练-推理 KL 散度从基线的高值降至零，同时保持 91.3% 的吞吐量；在 Nemotron 混合架构模型上，成功阻止了 SWE-bench Pro 分数的显著下降。相关流程已封装为 Agent Skill 开源发布。

热度曲线逐小时热度走势

3 个完整观测小时
当前
8.3
峰值
8.720:00
近 24h 变化
–

曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。

TIMELINE报道时间线

共 1 篇 · 最新优先
  1. vLLM 官方博客T1·78 分

    vLLM 实现 RL 训练推理位级一致：消除数值漂移使 DeepSeek-V4-Flash KL 散度归零且保留 91% 吞吐

    原标题：Finish RL Training Faster: Bitwise-Consistent, High-Performance, Agent-Driven

    • 传统高性能推理优化会导致训练时优化的策略与实际采样策略不一致，引发 KL 散度飙升和奖励下降。
    • 通过让训练前向直接复用修改后的 vLLM 推理内核，实现了所有采样 Token 的对数概率位级一致（Diff=0）。
    • 在 DeepSeek-V4-Flash 上以 91.3% 的吞吐量代价换取了绝对的数值一致性，并在 Nemotron 上验证了对下游任务性能的保护作用。
vLLM 实现 RL 训练推理位级一致：消除数值漂移使 DeepSeek-V4-Flash KL 散度归零且保留 91% 吞吐 | Today for AI