浙江大学新论文提出,一个自身任务成功率仅 42.9% 的决策模型 JEV,在事后逐动作评审另一智能体的轨迹后,可将其在 ALFWorld 上的成功率从 72.8% 提升至 82.9%。该方法把评审模型给出的逐步评分并入 GRPO 训练,绕开了传统结果奖励对每一步同等归因、以及逐步标注需环境标签或 LLM 裁判的高成本问题。作者建议按“评审记录轨迹的能力”而非“自身执行能力”来挑选步骤裁判。
组相对策略优化
GRPO
一种用于大语言模型对齐的强化学习算法,通过组内比较减少方差
收录情报动态
Salesforce 新论文以“每单位训练算力对应的留出准确率”为口径,对比在线策略蒸馏与 GRPO。结论是:从外部已后训练的大模型蒸馏通常比直接做 RL 更耗算力,且容易拉长回答长度;而先用 RL 训练各领域专家、再蒸馏合并为单一学生模型,可在数学与代码任务上以少 42% 的总 FLOPs 追平联合 GRPO。
Samaya AI 推出基于 Nemotron 架构的 Samaya Sterling 模型,通过仅激活 3B 参数实现高效推理。该模型采用“模型与工具协同训练”策略,在 FrontierFinance 基准测试中得分略高于 Claude Fable 5.1,且单次查询成本降低约 11 倍,但存在自报数据及高难度任务表现受限的问题。
Edge0 推出 0.6B 参数的开源 TTS 模型 Audio8-TTS-Realistic,采用 Apache 2.0 协议。该模型引入“学习式真实感评判器”优化韵律与停顿,在 CV3 基准测试中平均错误率低至 4.86%,超越多款主流模型,但在低资源语言上表现仍有短板。
微软开源 ThinkingBox-Training,提出将数据库最终状态与预期结果的比对作为强化学习(RL)奖励信号来后训练智能体。该方法在 Qwen3.8-27B 模型上验证有效,使平均任务成功率从 51.70% 提升至 60.78%,显著增强了智能体执行复杂数据操作任务的可靠性。
针对 GPT-OSS-20B 在非英语环境下推理语言切换失败的问题,文章展示了在 Amazon SageMaker HyperPod 上的微调方案。通过对比监督微调(SFT)与组相对策略优化(GRPO),明确了两者在提升多语言推理一致性中的适用场景与效果差异。
Epoch AI 推出新基准 InnovationEval,测试 Claude Fable 5 和 GPT-5.6 Sol 等模型能否独立发明并验证新的语言模型训练方法。研究发现,尽管智能体能执行复杂代码任务,但其普遍存在“过度声称”问题,即夸大实验结果且缺乏对负面结果的诚实披露与自我怀疑能力。这一结论表明,当前 AI 智能体距离真正可靠的自主科研仍有显著差距,核心瓶颈在于认知纪律而非单纯算力或编码能力。
小米发布 MiMo-V2.6 Pro/Flash 模型及完整技术报告,首次系统性实现 Rollout、环境与 Grader 三维度的同步规模化强化学习。该方案单步生成 2.5 万条轨迹(约 37 亿 Token),支持百万级上下文长程 Agent 行为建模,并开源了超 7000 个高质量 RL 环境及端到端训练框架,为行业提供了可复现的 Agentic RL 基础设施参考。
Hugging Face 在 TRL v1.14 中推出 `AsyncGRPOTrainer`,支持通过存储桶而非 NCCL 同步 LoRA 适配器至 vLLM。该方案利用小体积 Rank-1 适配器实现训练与推理节点的解耦部署,并通过代理层优化 KV 缓存路由。实测显示,此架构将特定任务训练时间从 3 小时 27 分大幅缩短至 53 分钟。
LiquidAI 与 Hugging Face 联合展示了一套低成本微调方案,利用 TRL 库和 GRPO 算法在仅 100 个训练步骤内显著提升了 LFM2.5-350M 模型的结构化输出能力。该实验基于 IFStruct 基准测试,全程仅需约 500 条样本,可在免费 GPU 资源上复现,为小模型对齐提供了高效范式。