谷歌提出 Diffusion Controller:统一简化 AI 图像生成控制
谷歌研究团队推出“Diffusion Controller”框架,旨在通过统一的控制器机制简化文本到图像模型的复杂控制流程。该方案利用转向阻尼网络(steering damper network)实现对生成过程的精确干预,不仅提升了可控性,还能有效缓解有害内容生成问题,并具备向下一代视频模型扩展的潜力。
报道正文
本文目录6 个章节
文本生成图像 AI 模型(如 Nano Banana、Stable Diffusion 和 Flux)的快速发展,从根本上改变了创意设计领域,使任何人都能根据文本描述合成照片级真实感的高保真图像。然而,引导这些庞大的模型以满足精确的用户意图、下游目标或严格的视觉约束,仍然是一项微妙且难以预测的平衡工作。例如,假设你向模型提示“一只戴着墨镜的蜥蜴”。模型可能会生成一只逼真的蜥蜴,但它并没有戴墨镜。或者,如果强制模型包含墨镜,可能会导致蜥蜴的面部变形,从而破坏图像质量。
现有的图像生成引导或微调方法彼此脱节。一方面,开发者使用推理时技术(例如 classifier-free diffusion guidance)来调整文本提示的影响,并在实时过程中引导图像生成。另一方面,他们依赖基于参数高效适配器(如 LoRA、reward-weighted regressions 或 policy gradients)的重度 fine-tuning 来改变模型的行为。
由于这些工具历来被视为独立且无关的解决方案,该领域一直缺乏一种统一的、有原则的数学语言,用于整合、分析和优化我们控制生成式模型的方式。这种碎片化的方法往往迫使工程师在平衡用户偏好对齐与图像质量时依赖猜测。
为了解决这一平衡难题,我们提出了 Diffusion Controller 框架。Diffusion Controller 不再将图像生成视为一系列僵化、孤立的步骤,而是将整个去噪过程重构为一个平滑、连续的控制问题。我们的结果表明,Diffusion Controller 的轻量级附加网络在匹配人类偏好方面超越了行业标准。此外,其完全解锁版本(即允许“白盒”访问或无限制修改内部模型权重的微调模型)相对于基线模型实现了 90% 的胜率。
Diffusion Controller 框架
Diffusion Controller 框架将图像生成过程(即 AI 模型从随机噪声开始,逐步将其细化为清晰图像的过程)视为一个受控的平滑旅程。想象一下,基础预训练模型就像一辆强大而庞大的摩托车;重建其核心引擎以改变驾驶方式既低效又充满风险。相反,Diffusion Controller 充当了一个附着在其上的轻量级转向阻尼器,而主模型(摩托车)则保持完全冻结且安全无损。
与其猜测如何在每一步引导生成过程,Diffusion Controller 的核心机制(转向阻尼器)会在图像创建过程中动态调整生成轨迹。它平滑地重新校准模型的标准默认行为,赋予那些能够最大化用户定义目标(如实现某种艺术风格或上下文对齐)的方向更高的权重。
通过利用反馈对生成轨迹中的这些偏移进行数学优化,Diffusion Controller 框架实现了平衡,成功地将模型的生成过程引导至新的用户偏好方向,同时完全保留了基础模型清晰的视觉图像质量和底层稳定性。回到上述蜥蜴的例子,这意味着转向阻尼器会引导模型确保包含太阳镜,但惩罚护栏机制会介入,防止系统为了达成这一目标而扭曲蜥蜴自然的鳞片和比例。
从理论到实践
为了将这一理论控制问题转化为实用工具,我们将抽象且可能难以处理的方程桥接为两种完全基于最终奖励分数的高效微调方法:
- 方法 1:策略梯度 和 PPO(稳定优化器):这种方法通过计算出的增量调整迭代地引导模型。它内置了一个“裁剪规则”,作用类似于速度限制器,防止系统对模型行为做出巨大且不稳定的改变,从而确保训练过程保持平稳和稳定。
- 方法 2: 奖励加权损失(捷径):这充当了一条直接优化路径。它对产生高质量结果的生成过程给予重奖,提供了数学保证,使模型能够可靠地学习生成用户意图的确切类型的图像。
“转向阻尼器”网络
Diffusion Controller 框架的运行方式类似于转向阻尼器,解决了大规模的实际业务问题。通常,要改变模型的行为,你需要“白盒”访问权限来深入其核心引擎并修改内部设置。然而,世界上最好的图像生成模型往往是企业机密(被称为黑盒或灰盒)。
转向阻尼器网络依赖于完美的图像引导指令,该指令由基础模型的知识加上一个微小的修正量组合而成。它在图像逐步消除噪声的过程中进行观察,并注入精确的微观引导修正。这使得工程师能够在完全不触碰底层代码的情况下,对即使是被严格锁定的闭源模型实现完美控制和定制。
实验与结果
我们使用 Stable Diffusion v1.4 作为骨干模型,在三种微调范式下评估了 Diffusion Controller 框架的能力:监督微调(SFT)、奖励加权损失(RWL)和 PPO。性能通过标准化的 Human Preference Score (HPS-v2) 进行衡量,以确定生成图像与用户提示及审美偏好的对齐程度。
我们在 Diffusion Controller 框架下实现了四种网络结构:
- Diffusion Controller: 我们的转向阻尼器网络,用于灰盒访问,以中间反向均值作为输入,并采用提出的侧适配器流。
- Diffusion Controller-Naive: 一种朴素的转向阻尼器网络设计,既不使用中间反向均值,也不使用侧适配器流。
- Diffusion Controller-J: 我们的白盒解决方案,通过联合训练转向阻尼器网络和基础模型实现。
- Diffusion Controller-S: 另一种白盒解决方案,通过分别训练转向阻尼器网络和基础模型实现。
结果表明,Diffusion Controller 在完全可访问的“白盒”环境和高度受限的“灰盒”环境中均表现出色,持续优于其对应的基线方法,并实现了更优的质量-效率权衡。
在 SFT 和 RWL 赛道中,灰盒模式的 Diffusion Controller 转向阻尼器网络在 HPPS-v2 胜率上超越了 LoRA——这一最先进的参数高效白盒方法。这是一个重要的里程碑,考虑到 Diffusion Controller 在操作显著更少的内部模型层数的情况下达成了这一成就。此外,在全面的人类评估小组中,Diffusion Controller 在复杂的多属性测试提示下,记录了最佳的主观质量和提示匹配结果。
[注:本文篇幅超长,以上为核心前篇精译,后续内容保留原文呈现]
A core feature of the framework is its flexibility at runtime. By adjusting a single inference-time guidance strength parameter, users can dynamically dial up or down the intensity of the control constraints. This allows for smooth, granular adjustment of prompt alignment on the fly without breaking baseline image stability or causing the visual distortions typical of older guidance methods.
Conclusion
By combining a mathematical control with an image generation model, Diffusion Controller bridges the gap between pure mathematics and modern creative tools. Instead of relying on a patchwork of guesswork and quick fixes to tune a model, it provides a single, mathematically sound system for steering image generation. Best of all, it offers a practical, lightweight "steering damper" blueprint that works perfectly even on access-restricted, closed-source models.
Looking ahead, this unified framework opens up exciting new paths for research. Because the control layer is completely separated from the model's core engine, future developers can use Diffusion Controller for much more than just matching text prompts. Immediate next steps include using the framework to build advanced personalization tools, developing robust safety mechanisms to help mitigate harmful content generation, and adapting the steering damper network to control complex, next-generation video models.
Acknowledgements
We would like to thank our co-authors and collaborators from Google Research, Google DeepMind, and academia for their contributions to this work.