术语slug: teacher-model

教师模型

Teacher Model

蒸馏过程中提供监督信号(如逐 token 概率或反馈)的模型,通常规模更大或能力更强。

收录情报动态

共 2 篇 · 第 1/1 页
Marktechpost (@Marktechpost)T2·开源与评测
72 分
Nous Research 开源 Arete-27B 微调模型 去除中文官方叙事倾向

Nous Research 基于 Qwen3.8-27B 开源了 Arete-27B,仅用 5280 万 token 的监督微调(以 Inkling 为教师模型),未做强化学习或架构改动,即将其自建评测中的宣传式回答占比从 22% 降至 0.9%。代价是事实性均分仅从 2.32 升至 2.98(满分 5),仍落后于 Muse Glimmer 30B,且 803 条评测中仍有 216 条得分为 0;评测集与训练数据均为自建自评。

Rohan Paul (@rohanpaul_ai)T2·基座大模型
74 分
Salesforce 研究:从外部大模型蒸馏不如强化学习划算

Salesforce 新论文以“每单位训练算力对应的留出准确率”为口径,对比在线策略蒸馏与 GRPO。结论是:从外部已后训练的大模型蒸馏通常比直接做 RL 更耗算力,且容易拉长回答长度;而先用 RL 训练各领域专家、再蒸馏合并为单一学生模型,可在数学与代码任务上以少 42% 的总 FLOPs 追平联合 GRPO。