RISED:用 Rubric 引导多环境智能体自蒸馏
新研究提出 RISED 框架,利用 LLM 生成的结构化评分标准(Rubrics)替代单一标量奖励,解决多环境强化学习中数据选择与组内对比缺失的问题。该方法通过文本反馈指导在线数据筛选与策略监督,在多个交互环境中实现了最高的平均通过率。
报道正文
在多样化的交互式环境中联合训练单个 LLM 智能体,作为通向通用智能体的路径,正受到越来越多的关注。现有的课程学习和数据选择策略通常在环境层面分配训练资源,或优先考虑基于局部奖励的信号,而未明确考虑跨环境当前 rollout 之间的关系以进行 prompt-group 的选择。与此同时,由于不同环境的学习速率各异,全失败和全成功的 rollout 组可能在同一个 batch 中共存,导致这些数据缺乏组内相对奖励信号。这两个挑战凸显了在多环境 RL 中仅依赖标量奖励的局限性:它们提供的关于跨环境关系的信息有限,且在奖励相同时无法提供组内奖励对比。这促使我们引入更丰富的文本反馈(例如描述 rollout 行为的 rubrics)来指导学习。除了将 rubrics 用作奖励外,我们还重新利用 rubrics 来指导在线数据选择和策略监督。LLM 评判器使用跨环境共享的预定义 rubric 词汇表对每个 rollout 进行标记。由此生成的画像用于指导数据选择,使其与混合环境 batch 的整体行为组成保持一致,同时限制与已选数据的重叠。可用的正向 rubrics(描述期望行为)为 on-policy 自蒸馏教师提供了特权上下文,从而提供额外的 token 级监督;而负向 rubrics(描述非期望行为)则引导后续的 rollout 生成,使其避开反复出现的失败模式。这些组件共同构成了 RISED。在不同的模型骨干网络上,RISED 在所有环境中均实现了最高的平均通过率,并在每个单独的环境中排名第一或第二。基于 rubric 的分析还可以进一步刻画伴随这些性能提升的行为变化。
- † 新加坡国立大学
- ** 工作完成于 Apple 期间