Hugging Face BlogT1·开发与工程
68 分
ServiceNow AI 团队在将强化学习框架 PipelineRL 从 vLLM V0 迁移至 V1 时,发现推理引擎的 logprobs 计算差异会破坏训练动态。通过修复 rollout logprobs 处理、运行时默认值及权重更新路径等四个底层问题,实现了 V1 与 V0 参考结果的对齐。核心结论是:在引入复杂的失配校正机制前,必须优先确保后端推理计算的绝对正确性。
Logprobs
模型输出每个 token 的自然对数概率,用于计算损失和策略梯度
ServiceNow AI 团队在将强化学习框架 PipelineRL 从 vLLM V0 迁移至 V1 时,发现推理引擎的 logprobs 计算差异会破坏训练动态。通过修复 rollout logprobs 处理、运行时默认值及权重更新路径等四个底层问题,实现了 V1 与 V0 参考结果的对齐。核心结论是:在引入复杂的失配校正机制前,必须优先确保后端推理计算的绝对正确性。