Today for AI
返回热点榜
llm热度 15.3°

AI 聚合热点事件 · 2026/11/8

Salesforce 研究：从外部大模型蒸馏不如强化学习划算

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/8 08:17:53
全景综述与最新动态
1 家信源交叉印证

Salesforce 新论文以“每单位训练算力对应的留出准确率”为口径，对比在线策略蒸馏与 GRPO。结论是：从外部已后训练的大模型蒸馏通常比直接做 RL 更耗算力，且容易拉长回答长度；而先用 RL 训练各领域专家、再蒸馏合并为单一学生模型，可在数学与代码任务上以少 42% 的总 FLOPs 追平联合 GRPO。

最新动向/Salesforce 新论文以“每单位训练算力对应的留出准确率”为口径，对比在线策略蒸馏与 GRPO。结论是：从外部已后训练的大模型蒸馏通常比直接做 RL 更耗算力，且容易拉长回答长度；而先用 RL 训练各领域专家、再蒸馏合并为单一学生模型，可在数学与代码任务上以少 42% 的总 FLOPs 追平联合 GRPO。

逐小时热度走势

3 个完整观测小时
当前
15.3
峰值
16.309:00
近 24h 变化
–

曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。

报道时间线

共 1 篇 · 最新优先
  1. Rohan Paul (@rohanpaul_ai)T2·74 分

    Salesforce 研究：从外部大模型蒸馏不如强化学习划算

    原标题：New Salesforce paper finds that distilling from a big external teacher usually costs more compute th...

    • 在线策略蒸馏的每个训练 token 都需一次教师前向，密集信号未必划算
    • 以每 FLOP 的留出准确率衡量，外部后训练教师蒸馏普遍不如 GRPO，且回答长度膨胀
    • 按领域分别用 RL 训练专家再蒸馏合并，可在数学+代码上以少 42% FLOPs 追平联合 GRPO