Hugging Face BlogT1·开发与工程
68 分
ServiceNow AI 团队在将强化学习框架 PipelineRL 从 vLLM V0 迁移至 V1 时,发现推理引擎的 logprobs 计算差异会破坏训练动态。通过修复 rollout logprobs 处理、运行时默认值及权重更新路径等四个底层问题,实现了 V1 与 V0 参考结果的对齐。核心结论是:在引入复杂的失配校正机制前,必须优先确保后端推理计算的绝对正确性。
Policy Ratio
新旧策略在同一动作上的概率比值,PPO 等算法的核心更新依据
ServiceNow AI 团队在将强化学习框架 PipelineRL 从 vLLM V0 迁移至 V1 时,发现推理引擎的 logprobs 计算差异会破坏训练动态。通过修复 rollout logprobs 处理、运行时默认值及权重更新路径等四个底层问题,实现了 V1 与 V0 参考结果的对齐。核心结论是:在引入复杂的失配校正机制前,必须优先确保后端推理计算的绝对正确性。