针对 Tool-Calling Agent 训练数据稀缺且合成任务 ground truth 不可靠的问题,该 NeurIPS 2026 工作提出反转生成顺序:先在真实 MCP Server 上探索并记录调用结果,再据此反向构造任务,从而保证答案可验证。作者构建了可离线复现的检索增强工具调用模拟器,产出覆盖 240 个 server、993 个工具的 5,144 个可验证任务。
可验证奖励强化学习
RLVR
利用规则或外部工具自动验证输出正确性以提供奖励信号的强化学习方法
收录情报动态
国防科大与清华团队提出 ICRPM,将近期“任务—风险”记录作为上下文,直接预测策略更新后的下一步风险,无需为风险预测额外生成 rollout 或增加环境交互。该方法在基本维持原有训练开销的前提下,改善了大模型 RLVR、Meta-RL 与鲁棒控制中的任务风险预测与采样选择,并给出与学习率相关的一阶滞后误差分析。
针对传统强化学习在极难任务中因无成功样本而无法优化的瓶颈,提出 RLTL;DR 框架。该方法让模型在失败后生成“TL;DR”式洞察并作为后续尝试的上下文,进而通过反向传播将这些外部反馈内化为直接映射。实验显示,该策略使 Qwen 3.5 9B 在 Pass@128=0 的高难数据集上从近乎 0% 提升至 12-13% 的独立通过率,且仅需少量数据即可复现性能。
Latent Space 播客邀请 Anthropic 前员工及行业专家 Ari Weinstein 等人,深入探讨并反驳了 Dwarkesh Patel 关于强化学习(RL)在计算机使用(Computer Use)领域应用的观点。节目同时披露了 OpenAI 如何在短短一周内快速开发并发布其针对 Jev 的竞争对手产品的内部细节,强调了从理论争议到工程落地的实际差距。
技术作者 Sebastian Raschka 发布深度分析,探讨如何控制大语言模型的推理努力程度。文章以 OpenAI GPT-5.6 的多档推理设置为例,结合 DeepSeek-R1 的 RLVR 训练方法,系统梳理了从 o1 到当前主流模型在推理资源分配上的演进逻辑与实现细节。
Andrej Karpathy 指出公众对 AI 能力的误解源于使用过时免费模型及非核心场景。他强调当前 SOTA 智能体在编码等可验证奖励领域呈现“峰值”能力,而通用咨询类任务进步相对平缓。这一观点揭示了强化学习机制如何导致不同垂直领域的性能分化。
针对大模型强化学习验证奖励(RLVR)训练中因梯度尖峰导致的频繁崩溃问题,腾讯混元团队提出从黑盒启发式转向白盒诊断的新范式。其核心贡献包括分布式二分搜索工具 GradLoc,能将梯度异常精确定位至单一“罪魁祸首”Token;以及基于局部层统计信息的 LayerClip 方法,避免全局裁剪对健康层的误伤,显著延长稳定训练周期。
本文回顾 2025 年大模型发展,指出强化学习验证奖励(RLVR)和 GRPO 算法成为推理能力提升的核心驱动力。尽管传统规模扩展效应减弱,但通过 DeepSeek R1 等案例证明,基于强化学习的推理行为能显著改善模型表现。文章同时探讨了当前遗留的开放性问题及未来预测。