术语slug: logprobs

对数概率

Logprobs

模型输出每个 token 的自然对数概率,用于计算损失和策略梯度

收录情报动态

共 1 篇 · 第 1/1 页
Hugging Face BlogT1·开发与工程
68 分
vLLM V1 迁移:RL 训练需先修正确性再谈校正

ServiceNow AI 团队在将强化学习框架 PipelineRL 从 vLLM V0 迁移至 V1 时,发现推理引擎的 logprobs 计算差异会破坏训练动态。通过修复 rollout logprobs 处理、运行时默认值及权重更新路径等四个底层问题,实现了 V1 与 V0 参考结果的对齐。核心结论是:在引入复杂的失配校正机制前,必须优先确保后端推理计算的绝对正确性。