Black Forest Labs 团队谈视觉智能与 FLUX 演进

作者:swyx .ai原标题:Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs
62AI 研判分

Latent Space 播客对话 Black Forest Labs 联合创始人 Andreas Blattmann 与 Dustin Podell,二人分别是潜在扩散模型(Latent Diffusion)的共同发明者与 Stable Diffusion 核心成员,在 Stability AI 解体后随核心团队分拆创立 BFL。节目围绕视觉生成模型的技术路线、FLUX 的用户构成与 2027 年机器人方向展开讨论。

报道正文

本文目录4 个章节

本期节目由 Deepgram 赞助。试试 Deepgram 的语音智能体,它能真正理解你的上下文!#contextiseverything

很少有人知道,Stable Diffusion 正是我全职投入 AI 的原因(我当时恰如其分地把文章命名为《多元宇宙,而非元宇宙》,以此点出扎克错误的投资方向)。事实证明,Dustin Podell 也有同样的顿悟时刻——模型一发布,他就辞掉了日常工作。但我们走上了截然不同的道路……我坚守自己在人类内容创作领域的所知,而 Dustin 则与 Andreas Blattmann(Latent Diffusion 的共同发明人)以及 Stability AI 其他世界级图像生成团队一起,深入钻研 AI 内容创作。Stability 分崩离析,但 Anj Midha 帮助核心团队分拆出去,成立了 BFL,后者随即在 Flux 系列中打造出一款惊艳的新图像生成模型。但为什么他们现在要进军视频和世界模型?

Andreas 举了一个你可以单手尝试的例子。如果有人朝你扔来一个球,你的手会在球到达之前就开始移动。你无需写下轨迹,就能做到这一点。当他谈到构建视觉智能时,指的就是这类知识。一张静态图片能告诉你球在哪里。一段视频则能展示它是如何到达那里的。撞击的声音能告诉你它何时撞到了某物,即使摄像机没有拍到接触瞬间。这就是 BFL 主张用三种信号联合训练 FLUX 3 的理由。BFL 的 FLUX 3 发布

《奔马》是我们在开场中展示的 FLUX 3 示例之一。音频示例值得开声音播放。 FLUX 3 视频

移动的镜头能教会你什么

假设摄像机从一个人面前开始,围绕他平移。在某个时刻,模型需要给出这个人后脑勺的样子。Andreas 认为,普通二维视频中包含了大量关于物体从其他角度看起来是什么样的证据。这并不能解决模型是否“理解物理”的问题——这一点我们来回讨论过。但它确实提供了一个比“某一帧看起来是否逼真”好得多的测试。

本期节目后段有一个很好的工程示例。独立地对一段视频的每一帧进行锐化,每一帧可能看起来都很棒。但按下播放键,额外的细节可能会闪烁,因为放大器每次做出的决定略有不同。BFL 的视频放大器源自同一个 FLUX 3 主干网络。即使用户只是想要一个更高分辨率的文件,时间一致性也很重要。

训练算力应该花在哪里?

我问他们的问题之一是,自回归是否正在接管图像生成。Andreas 为另一方给出了应有的辩护。自回归模型可以一次性从训练样本中的所有 token 中学习。在扩散方面,团队可以将漫长的采样过程蒸馏到几步之内。哪种优势更重要,取决于你是在为训练模型付费,还是在等待图像生成完成。

Dustin 早期的 Kontext 实验很好地说明了他们如何决定在哪里投入。他怀疑一个能够画出戴帽子的狗的图像模型,已经知道帽子应该戴在哪里。他和一位同事收集了一小批标注了关系的照片。几个小时的训练运行就让模型学会了把 logo 放到衬衫上。效果很粗糙,但足以拿到下一次 offsite 上讨论。随后团队在数据和模型上花了几个月时间。FLUX Kontext 示例

我最喜欢的用户故事出现在接近结尾处。人们把老旧、退化的家庭照片输入 FLUX,进行修复,然后把照片给家人看。Dustin 说他之前没有预料到这种用法。在讨论了跨编辑和跨帧保持某人身份之后,这是一个很好的例子,说明如果你做对了,真正会注意到的人是谁。

节目笔记

章节

0 主持人介绍 3 冷开场 4 黑森林的根源 9 Dustin 的历程 17 视觉智能 27 深入 SDXL 33 学习运动 39 流匹配 46 创立 BFL 50 Deepgram 赞助商广告 51 FLUX 的早期用例 54 使用 Kontext 进行编辑 1:03 训练数据 1:07 测试一次编辑 1:13 自回归 1:20 世界动作模型 1:30 2027 年的机器人技术

1:32 谁在使用 FLUX?