术语slug: self-distillation

自蒸馏

Self-Distillation

模型从自身或教师模型的中间表示中提取知识以优化自身的过程

收录情报动态

共 2 篇 · 第 1/1 页
Apple Machine Learning ResearchT1·基座大模型
78 分
宾大与 UIUC 提出 NTM:用归一化流实现四步精确似然图像生成

宾夕法尼亚大学与伊利诺伊大学厄巴纳-香槟分校联合推出 Normalizing Trajectory Models (NTM),通过引入条件归一化流解决扩散模型在少步采样中丢失精确似然的问题。该架构结合浅层可逆块与深层并行预测器,支持从零训练或从预训练流匹配模型初始化,并在文生图基准测试中以仅 4 步采样达到或超越强基线性能,同时保留轨迹的精确似然以支持自蒸馏。

Apple Machine Learning ResearchT1·基座大模型
68 分
RISED:用 Rubric 引导多环境智能体自蒸馏

新研究提出 RISED 框架,利用 LLM 生成的结构化评分标准(Rubrics)替代单一标量奖励,解决多环境强化学习中数据选择与组内对比缺失的问题。该方法通过文本反馈指导在线数据筛选与策略监督,在多个交互环境中实现了最高的平均通过率。