返回全部资讯
Apple Machine Learning ResearchT1·基座大模型

RLTL;DR:通过内化自我反馈突破零成功率难题

原标题:RLTL;DR: Self-Improvement by Internalizing Self-Generated Feedback
78AI 研判分

针对传统强化学习在极难任务中因无成功样本而无法优化的瓶颈,提出 RLTL;DR 框架。该方法让模型在失败后生成“TL;DR”式洞察并作为后续尝试的上下文,进而通过反向传播将这些外部反馈内化为直接映射。实验显示,该策略使 Qwen 3.5 9B 在 Pass@128=0 的高难数据集上从近乎 0% 提升至 12-13% 的独立通过率,且仅需少量数据即可复现性能。

报道正文

查看论文

基于可验证奖励的强化学习(RLVR)的常见范式是让智能体针对同一任务进行多次尝试,并朝着成功的尝试进行优化。然而,在自我改进领域,这种范式变得棘手:任务难度极高,导致智能体的成功率极低甚至为零,且缺乏可供蒸馏的教师模型或示例解决方案。在本文中,我们提出了 RLTL;DR。在每次失败的尝试后,我们将验证器输出的结果展示给策略模型,并让它以单条 TL;DR 洞察的形式生成自己的反馈。下一次 rollout 将基于所有先前的洞察进行条件生成,我们顺序采样 rollouts 直到找到解决方案。此外,我们允许对上下文中的洞察进行反向传播,从而内化一种直接的“任务 → 洞察”映射关系。在具有挑战性的工具调用和代码数据集上(筛选标准为 Pass@128 = 0),Qwen 3.5 9B Thinking 策略的标准 GRPO 训练停滞不前,Pass@1 仅为 0% 到 1%。RLTL;DR 突破了这一学习瓶颈,在训练期间利用上下文中的洞察实现了 14–31% 的 Pass@1;更重要的是,在评估时即使没有上下文洞察,也能达到 12–13% 的 Pass@1。我们发现关键在于“任务 → 洞察”的内化。为了进一步研究这一点,我们将该方法简化为 SFTL;DR,仅使用(任务,洞察)元组进行训练,而不展示或对任何 rollouts 进行反向传播。仅使用 4k 个此类元组进行训练,即可恢复 RLTL;DR 以及在全量 rollouts 上进行经典 SFT 训练的几乎全部性能。这展示了一种极具前景的紧凑训练范式,其形式为“对于这类任务,请记住这类要点”,我们希望以此启发未来的研究。