vLLM 官方博客T1·基座大模型
78 分
研究团队提出将异步强化学习的性能损失拆解为权重滞后与内核失配两部分,指出内核失配无法被重要性采样修正,必须对齐 rollout 与训练内核。对齐后,无裁剪重要性采样即可稳定训练 20000 步、支持策略滞后 64,训练吞吐达同步训练的 2.40 倍,并已覆盖 DeepSeek-V4.1-Flash、Kimi K3.1 及 AMD MI355X。
Asynchronous RL
训练器与推理引擎并行工作,无需严格同步等待的强化学习范式
研究团队提出将异步强化学习的性能损失拆解为权重滞后与内核失配两部分,指出内核失配无法被重要性采样修正,必须对齐 rollout 与训练内核。对齐后,无裁剪重要性采样即可稳定训练 20000 步、支持策略滞后 64,训练吞吐达同步训练的 2.40 倍,并已覆盖 DeepSeek-V4.1-Flash、Kimi K3.1 及 AMD MI355X。
Hugging Face TRL 库引入“Delta 权重同步”机制,通过仅传输模型更新部分而非完整权重,显著降低了异步强化学习(Async RL)中的带宽需求。该优化解决了大模型训练中每步需传输 TB 级数据的瓶颈,使万亿参数模型的 RL 微调在现有基础设施上更具可行性。
智谱 AI 正式推出下一代旗舰模型 GLM-5,旨在推动编程范式从“氛围编程”向“智能体工程”演进。该模型采用 DeepSeek 稀疏注意力(DSA)技术大幅降低推理成本,并构建新型异步强化学习基础设施以提升后训练效率。在真实世界软件工程任务中,GLM-5 展现出超越此前开源基线的端到端能力,综合性能比肩 Claude Opus 4.5 和 GPT-5.2。
智谱 AI 正式开源 GLM-5,参数规模从 355B 扩展至 744B(激活 40B),预训练数据增至 28.5T。该模型在 SWE-bench-Verified 等基准测试中取得开源 SOTA,编程与 Agent 能力显著增强,使用体感逼近 Claude Opus 4.5。GLM-5 引入异步强化学习框架“Slime”及 DeepSeek 稀疏注意力机制,旨在支持复杂系统工程与长程自主任务。