Apple Machine Learning ResearchT1·基座大模型
78 分
宾夕法尼亚大学与伊利诺伊大学厄巴纳-香槟分校联合推出 Normalizing Trajectory Models (NTM),通过引入条件归一化流解决扩散模型在少步采样中丢失精确似然的问题。该架构结合浅层可逆块与深层并行预测器,支持从零训练或从预训练流匹配模型初始化,并在文生图基准测试中以仅 4 步采样达到或超越强基线性能,同时保留轨迹的精确似然以支持自蒸馏。
Self-Distillation
模型从自身或教师模型的中间表示中提取知识以优化自身的过程
宾夕法尼亚大学与伊利诺伊大学厄巴纳-香槟分校联合推出 Normalizing Trajectory Models (NTM),通过引入条件归一化流解决扩散模型在少步采样中丢失精确似然的问题。该架构结合浅层可逆块与深层并行预测器,支持从零训练或从预训练流匹配模型初始化,并在文生图基准测试中以仅 4 步采样达到或超越强基线性能,同时保留轨迹的精确似然以支持自蒸馏。
新研究提出 RISED 框架,利用 LLM 生成的结构化评分标准(Rubrics)替代单一标量奖励,解决多环境强化学习中数据选择与组内对比缺失的问题。该方法通过文本反馈指导在线数据筛选与策略监督,在多个交互环境中实现了最高的平均通过率。