Today for AI
返回热点榜
llm热度 13.4°

AI 聚合热点事件 · 2026/11/6

REINFORCE Zero 实现零内核失配异步强化学习

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/6 08:00:00
全景综述与最新动态
1 家信源交叉印证

研究团队提出将异步强化学习的性能损失拆解为权重滞后与内核失配两部分，指出内核失配无法被重要性采样修正，必须对齐 rollout 与训练内核。对齐后，无裁剪重要性采样即可稳定训练 20000 步、支持策略滞后 64，训练吞吐达同步训练的 2.40 倍，并已覆盖 DeepSeek-V4.1-Flash、Kimi K3.1 及 AMD MI355X。

最新动向/研究团队提出将异步强化学习的性能损失拆解为权重滞后与内核失配两部分，指出内核失配无法被重要性采样修正，必须对齐 rollout 与训练内核。对齐后，无裁剪重要性采样即可稳定训练 20000 步、支持策略滞后 64，训练吞吐达同步训练的 2.40 倍，并已覆盖 DeepSeek-V4.1-Flash、Kimi K3.1 及 AMD MI355X。

逐小时热度走势

18 个完整观测小时
当前
13.4
峰值
20.008:00
近 24h 变化
-33%

曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。

报道时间线

共 1 篇 · 最新优先
  1. vLLM 官方博客T1·78 分

    REINFORCE Zero 实现零内核失配异步强化学习

    原标题：Zero Mismatch, Simple Async RL: REINFORCE Zero, DeepSeek-V4.1 and Kimi K3.1

    • 异步 RL 的误差分为平滑的权重滞后与波动的内核失配，后者无法被重要性采样消除
    • 对齐内核后，无裁剪重要性采样可稳定训练 20000 步并支持策略滞后 64
    • 训练吞吐达同步训练的 2.40 倍，已适配 DeepSeek-V4.1-Flash、Kimi K3.1 与 AMD MI355X