术语slug: multi-teacher-on-policy-distillation

多教师同策略蒸馏

Multi-Teacher On-Policy Distillation

将多个专精教师模型的能力在自身采样轨迹上蒸馏合并进单一学生模型的方法

收录情报动态

共 1 篇 · 第 1/1 页
Rohan Paul (@rohanpaul_ai)T2·基座大模型
88 分
蚂蚁发布 560B 医疗 MoE 模型 LingSante-3.1-flash 并开源

蚂蚁集团开源 LingSante-3.1-flash,总参数 560B、每 token 激活 25B 的医疗 MoE 模型,采用 MIT 许可在 Hugging Face 放出权重。该模型在 HealthBench Professional、HLE、BrowseComp 与 EHR-Complex 上超过 GPT-6 Astra、Claude Opus 5.5 和 Gemini 4 Argon。其方法是从预训练阶段即混合医疗与通用数据,将医疗推理、工具调用、检索与临床行为作为独立技能分别用 RL 奖励训练,再通过多教师同策略蒸馏合并为单一模型。