跳到正文
Latent Space· swyx .ai·· 1 天前AI 评分58

Black Forest Labs 谈视觉智能:FLUX 3 为何同时训练图像、视频与音频

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

AI 导读

Latent Space 播客邀请 Black Forest Labs 的 Andreas Blattmann 与 Dustin Podell 讨论视觉智能,Andreas 是 Stable Diffusion 的共同创作者与 latent diffusion 方法的共同发明者,Dustin 主导了 FLUX Kontext 并是 SDXL 的第一作者。

正文 · AI 翻译

本期节目由 Deepgram 赞助。试试 Deepgram 的语音智能体,它能真正理解你的上下文!#contextiseverything

很少有人知道,Stable Diffusion 正是我全职投入 AI 的原因(我恰如其分地把那期节目命名为Multiverse, not Metaverse,以点出扎克投错方向)。结果发现,Dustin Podell 也有同样的顿悟时刻——模型一发布他就辞掉了日常工作。但我们走了截然不同的路……我坚持做我所熟悉的人类内容创作,而 Dustin 则与 Andreas Blattmann——Latent Diffusion 的共同发明人——以及 Stability AI 其他世界级图像生成团队一起,深入 AI 内容创作。Stability 分崩离析,但 Anj Midha 帮助核心团队分拆出去成立了 BFL,后者随即在 Flux 系列中打造出一款惊艳的新图像生成模型。但为什么他们现在要进军视频和世界模型?

Andreas 举了一个你可以单手尝试的例子。如果有人朝你扔来一个球,你的手会在球到达之前就开始移动。你做不到这一点,却写不出球的轨迹。当他谈到构建视觉智能时,指的就是这类知识。一张静态图能告诉你球在哪里。一段视频能告诉你它是怎么到那里的。撞击的声音能告诉你它何时撞到了东西,即使摄像机没拍到接触瞬间。这就是 BFL 主张用三种信号联合训练 FLUX 3 的理由。BFL 的 FLUX 3 发布

《运动中的马》是我们在开场展示的 FLUX 3 示例之一。音频示例值得开声音试听。 FLUX 3 视频

移动的摄像机教会你什么

假设摄像机从一个人面前开始,绕着他平移。到某个时刻,模型就必须给出他后脑勺的样子。Andreas 认为,普通的二维视频包含了大量关于物体从其他角度看是什么样子的证据。这并不能解决模型是否“理解物理”的问题——这一点我们来回争论过。但它确实提供了一个比“某一帧看起来是否逼真”好得多的测试。

节目后段有一个很好的工程例子。把一段视频的每一帧独立锐化,每一帧可能看起来都很棒。按下播放键,额外的细节可能会闪烁,因为放大模型每次做出的决定略有不同。BFL 的视频放大模型源自同一个 FLUX 3 主干。即使用户只是想要一个更高分辨率的文件,时间一致性也很重要。

训练算力该花在哪里?

我问他们的问题之一是,自回归是否正在接管图像生成。Andreas 也给了另一方应有的肯定。自回归模型可以一次性从训练样本的所有 token 中学习。在扩散模型这边,团队可以把漫长的采样过程蒸馏到几步之内。哪种优势更重要,取决于你是在为训练模型付费,还是在等一张图生成完。

Dustin 早期的 Kontext 实验很好地说明了他们如何决定投资方向。他怀疑一个能够画出戴帽子的狗的图像模型,已经对帽子该戴在哪里有所了解。他和一位同事收集了一小组带有关系标注的照片。经过几个小时的训练,模型就能把 logo 放到衬衫上。效果虽然粗糙,但足以拿到下一次 offsite 上展示。随后团队在数据和模型上投入了数月时间。FLUX Kontext 示例

我最喜欢的用户故事出现在接近结尾处。人们把老旧、退化的家庭照片输入 FLUX,进行修复,然后把照片展示给家人。Dustin 说他此前没有预料到这种用法。在谈论了跨编辑、跨帧保持某人的身份之后,这是一个很好的例子,说明如果你做对了,真正会注意到的人是谁。

节目笔记

章节

0:00 主持人介绍
3:39 冷开场
4:23 黑森林根源
9:23 Dustin 的成长路径
17:04 视觉智能
27:38 深入 SDXL
33:59 学习运动
39:57 流匹配
46:57 创立 BFL
50:36 Deepgram 赞助商广告
51:43 FLUX 的早期用例
54:58 使用 Kontext 进行编辑
1:03:15 训练数据
1:07:32 测试一次编辑
1:13:12 自回归
1:20:50 世界动作模型
1:30:08 2027 年的机器人技术
1:32:16 谁在使用 FLUX?

来源:Latent Space · latent.space