量子位 (微信公众号)T2·78 分
PSN-RLVR 提出参数扰动法 提升大模型推理探索多样性
原标题:后训练越多模型越“轴”?给参数加点扰动,探索能力回来了 | NeurIPS'26
- 指出强化学习虽提升单次准确率(Pass@1),但往往抑制解题路径的多样性,导致多次尝试成功率(Pass@256)下降。
- PSN-RLVR 通过在生成前引入并固定参数扰动,使模型在整段推理中保持不同的思考倾向,从而产生连贯的新解法。
- 该方法在 GRPO 算法上验证有效,不仅提高了多采样成功率,还在科学问答和编程任务中展现出更好的分布外泛化能力。