腾讯混元开源 GradLoc:定位 RLVR 梯度尖峰根源并引入分层裁剪稳定训练
作者:Guanhua Huang;Tingqiang Xu;Jinbo Wang原标题:Stabilizing RLVR via Token-level Gradient Diagnosis and Layerwise Clipping
78AI 研判分
针对大模型强化学习验证奖励(RLVR)训练中因梯度尖峰导致的频繁崩溃问题,腾讯混元团队提出从黑盒启发式转向白盒诊断的新范式。其核心贡献包括分布式二分搜索工具 GradLoc,能将梯度异常精确定位至单一“罪魁祸首”Token;以及基于局部层统计信息的 LayerClip 方法,避免全局裁剪对健康层的误伤,显著延长稳定训练周期。
关联知识实体
报道正文
GradLoc 代码仓库: Tencent-Hunyuan/GradLoc
!12 图 1:从黑盒启发式方法到白盒诊断,解决 RLVR 训练崩溃问题。 ! # 核心要点 🔥 核心要点
- 伴随梯度尖峰的 RLVR 训练崩溃:RLVR(基于可验证奖励的强化学习)在大语言模型中的可扩展性受到频繁训练崩溃及梯度尖峰问题的阻碍。现有的缓解方法大多属于黑盒启发式策略:虽然能减轻训练与推理之间的不匹配,但由于梯度尖峰成因多样,往往难以实现长周期的稳定性。
- 将梯度尖峰定位至单一“罪魁祸首”Token:从黑盒启发式转向白盒诊断,我们提出的分布式二分搜索 梯度异常定位器(GradLoc) 能够将梯度尖峰追溯至确切的 肇事 Token。该方法以 的时间复杂度实现了高成功率。(参见 §GradLoc)
- 新的崩溃模式:逐层梯度异质性:GradLoc 揭示出,异常并非源于“脏数据”,而是源自具有病态 数值属性(例如极端的导入采样 (IS) 比率)的 语义连贯 Token。除了已知的训练-推理不一致问题外,GradLoc 还识别出一类新的异常:某些 Token 保持安全的 IS 比率,但表现出严重的 逐层梯度异质性,即特定层的梯度爆炸而其他层保持稳定。(参见 §Type B (New): Layerwise Gradient Heterogeneity)
- 逐层梯度裁剪(LayerClip):为解决这种异质性,我们提出了 LayerClip,它基于局部层统计信息施加约束,从而避免在全局梯度裁剪中抑制健康的层。该方法显著延长了稳定训练的持续时间。(参见 §Addressing Type B: Layerwise Gradient Clipping)