ICLR 2026 论文揭示扩散模型“创造力”源于分数平滑插值效应
ICLR 2026 接收论文指出,扩散模型的生成“创造力”并非随机现象,而是神经网络中“分数平滑”(Score Smoothing)导致的插值效应的数学必然结果。该研究通过理论推导解构了生成式 AI 的黑盒机制,为理解模型如何从噪声中构建复杂结构提供了新的解释框架。
报道正文
本文目录5 个章节
扩散模型目前已成为处理需要复杂局部结构的生成任务(如图像生成和分子发现)最强大的工具之一。它们展现出一种令人兴奋的能力,能够超越训练数据进行泛化,从某种意义上说,这体现了“创造力”。例如,在使用真实图像数据集进行训练后,它们能够将随机噪声样本转化为新颖的高质量图像。
虽然这种创造能力令人印象深刻,但它引出了一个引人入胜的问题:这种能力从何而来?理解这一问题的答案,是揭开基于扩散模型的生成式 AI 的“黑盒”本质的重要一步。
为此,我们在发表于 ICLR 2026 的论文 "On the Interpolation Effect of Score Smoothing in Diffusion Models处理的结果。
理解去噪过程
训练扩散模型始于获取一组真实的训练数据样本——例如猫的照片——并故意用噪声对其进行破坏,直到它们变得完全无法识别。随后,模型被训练以逐步逆转这种破坏过程,从而能够从纯噪声中重建出逼真的图像,这一过程被称为去噪。
如果模型仅基于其训练样本完美地学会了执行这一去噪过程,那么它在部署阶段也应生成这些样本的复制品(这种行为被称为记忆化)。在这种情况下,模型充当的是检索工具,而非能够生成新颖输出的创造性引擎。
然而在实践中,扩散模型通常不仅仅是记忆;它们能够泛化以生成新的数据样本。
要理解扩散模型究竟是如何对数据进行去噪的,不妨将随机噪声想象成散布在房间中的气体粒子云,其中存在一个“力场”,将每个粒子沿特定方向牵引,直到它们形成有意义的形状。在扩散模型中,这些移动的粒子就是正在经历去噪过程的各个数据点。这个“力场”即为得分函数(Score Function, SF),它是从训练数据中学习得到的,并决定了粒子在任何给定时刻应流向何处。
如果模型依赖于从训练数据中完美学习到的得分函数,那么这个力场将把粒子驱动到完全复制训练数据点的位置(即发生记忆化)。
扩散模型的创造力:一维示例
我们发现,扩散模型的创造力实际上源于神经网络通常的学习方式的近似性:由于正则化导致的非完美训练,自然会使学习到的得分函数在一个称为“得分平滑”(score smoothing)的过程中出现轻微模糊 (Scarvelis et al., TMLR 2025)。这反过来导致去噪过程生成插值于训练点之间(换句话说,落在训练点之间的空间内)的数据,从而创造出新颖且合理的数据样本。
想象一个只包含两个训练数据点 +1 和 -1 的一维世界。在去噪过程的后期阶段,“完美”的得分函数看起来像下图中的灰色曲线,它在两点中间位置有一个陡峭的符号变化,意味着在接近 0 处拉力方向迅速切换。换句话说,整个空间几乎被清晰地划分为两部分,左侧的粒子被拉向 -1,右侧的粒子被拉向 +1。最终,每个粒子都收敛到两个训练数据点之一,因此发生了记忆化。
然而在实际应用中,扩散模型无法获取“完美”的 score 函数,而是使用由神经网络学习到的近似版本。由于训练过程中 weight decay(权重衰减)带来的正则化效应,神经网络很难学习到具有这种陡峭断崖特征的函数。相反,它们倾向于学习“完美” score 函数的更平滑版本,将急剧下降转化为更缓和的斜率。为了说明这一点,我们设计了一个实验,在 1-D 示例中训练两层 ReLU 神经网络以拟合 score 函数,并使用流行的 AdamW 算法 在不同程度的 weight decay (WD) 下优化神经网络参数。
Weight decay 越强,中间区域学习到的 score 函数就越平滑,这意味着该区域内的粒子流动速度比之前更慢,并最终停留在两个训练数据点之间的“插值区”。
在论文中,我们通过结合神经网络正则化的函数空间理论 (Savarese et al., COLT 2019) 与去噪数学原理,量化了这种关联。此外,我们的 实验 还表明,即使没有显式的正则化策略(如 weight decay),score smoothing 也可能源于通过基于梯度的算法训练的神经网络中所发现的 implicit regularization(隐式正则化)效应。其他工作也利用不同的技术研究了这一现象,例如 Vastola (ICLR 2025)、Wang and Pehlevan (NeurIPS 2025) 以及 Bonnaire et al. (NeurIPS 2025)。
Score smoothing 有助于流形恢复
在现实世界中,高分辨率图像等复杂数据存在于高维像素空间中,而非简单的 1-D 世界。然而,该空间中的绝大部分区域只是对人眼毫无意义的随机噪声。只有极小一部分数据点对应于可识别的图像,它们位于所谓的 data manifold(流形)上(就像一张折叠在更大空间内的薄片)。模型事先并不知道 data manifold 的形状和位置。因此,图像生成可以被视为一项 manifold recovery(流形恢复)任务:模型需要根据从该流形中采样得到的有限训练数据,推断出隐藏 data manifold 的样子,然后在流形上生成新的点,这些新点将对应于新颖且有意义的图像。事实证明,score smoothing(分数平滑)对于 diffusion models(扩散模型)实现这一目标至关重要。
值得注意的是,在多维度设置下,score smoothing 的影响以依赖于方向的方式显现。沿着与隐藏 data manifold 平行(或“tangential”切向)的方向,它会产生与 1-D 场景中类似的减速效应。然而,沿着指向 manifold 的方向,“完美”的 score function(分数函数)本身已经相对平滑(事实上,如果 manifold 是平坦的,它只是一条直线),进一步的平滑处理并不会产生太大差异。
因此,score smoothing 并没有在所有方向上对粒子的流动施加制动(这会使它们在嘈杂的空旷空间中停滞,导致最终生成的图像模糊),而是没有减慢它们向 manifold 的 convergence(收敛),仅减少了它们沿切向方向坍缩到训练数据上的趋势。通过这种方式,模型在质量和新颖性之间取得了平衡:生成的图像既看起来逼真(因为它们成功到达了有意义的 data manifold),又是全新的(因为它们落在了原始训练数据点之间的空白区域)。
Conclusion
[注:本文篇幅超长,以上为核心前篇精译,后续内容保留原文呈现]
Our findings suggest that what we call the “creativity" of diffusion models might actually be a predictable mathematical result. Because neural networks are never "perfectly" sharp, they create bridges that interpolate between known data. In image generation or drug discovery, this could mean the diffusion model doesn't just remember two different cat images or drug molecules it was shown; it explores the space around them to suggest a third, brand-new image or molecular configuration that combines traces of both.
Our work only serves as an initial effort towards elucidating this mechanism, and other researchers have investigated what happens when the data distribution or the neural network architectures grow more complex and in conditional generation tasks. By showing that this behavior is fundamentally rooted in how neural networks learn, we can begin to intentionally build models that are better "interpolators" to ensure they remain creative engines while avoiding the pitfalls of blind memorization. We have also released the code for the numerical experiments used to generate the figures in our paper.
Acknowledgements
We thank Sreenivas Gollapudi and Ravi Kumar for supporting the project as well as Mark Simborg and Kimberly Schwede for helping to prepare this blogpost. We refer the readers to our paper for a discussion of the rich research literature on which our work is built.