Apple Machine Learning Research · 2026/10/14 08:00:00
剑桥 MIT 联合研究三模态掩码扩散模型：提出 SDE 重参数化解耦批次大小，3B 规模实现文本图像音频统一生成
原标题：The Design Space of Tri-Modal Masked Diffusion Models
78AI 研判分
核心综述
研究人员首次从零开始预训练了支持文本、图文和音频的三模态掩码扩散模型（MDM），并在 3B 参数规模下实现了高质量的跨模态生成。该工作通过引入基于随机微分方程（SDE）的重参数化方法，成功将物理批次大小与逻辑梯度方差解耦，消除了传统训练中繁琐的批次调优需求。这是目前最大规模的开源多模态离散扩散模型系统性研究，为理解多模态缩放定律提供了关键基准。
报道全文原始报道全文
离散扩散模型已成为自回归语言模型的有力替代方案，近期研究通过初始化和微调基础单模态模型来实现双模态生成。与以往方法不同，我们提出了首个从零开始预训练的三模态掩码扩散模型（MDM），该模型在文本、图文对和音频-文本数据上进行训练。我们系统性地分析了多模态缩放定律、模态混合比例、噪声调度以及批量大小效应，并提供了优化的推理采样默认设置。我们的批量大小分析得出了一种基于随机微分方程（SDE）的新型重参数化方法，消除了近期工作中提到的需要调整最优批量大小的需求。这种重参数化将物理批量大小（通常根据计算资源选择，如 GPU 饱和度、FLOP 效率、墙钟时间）与逻辑批量大小（用于平衡随机优化过程中梯度方差）解耦。最后，我们预训练了一个初步模型，展示了统一设计的能力，在 3B 模型规模（6.4T tokens）下，于文本生成、文生图（T2I）任务和文生语音（T2S）任务中均取得了强劲结果。我们的工作代表了迄今为止针对多模态离散扩散模型进行的最大规模的系统性开放研究，为跨多种模态的缩放行为提供了宝贵见解。
- † 剑桥大学
- ‡ 麻省理工学院
- § Google DeepMind
- ** 工作完成于 Apple 期间