Apple 首次从零预训练三模态掩码扩散模型，3B 规模验证统一设计
The Design Space of Tri-Modal Masked Diffusion Models
Apple 提出首个从零预训练的三模态掩码扩散模型（MDM），在文本、图文和音频-文本数据上联合训练，并系统分析了多模态缩放规律、模态混合比例、噪声调度与批大小影响。其基于 SDE 的重参数化将物理批大小与逻辑批大小解耦，免去最优批大小调参。初步模型在 3B 规模（6.4T tokens）下于文本生成、T2I 和 T2S 任务均取得强劲结果。
作者Louis Béthune, Victor Turrisi, Bruno Kacper Mlodozeniec†**, Pau Rodriguez Lopez, Lokesh Boominathan, Nikhil Bhendawade, Amitis Shidani, Joris Pelemans, Theo X. Olausson‡**, Devon Hjelm, Paul Dixon, João Monteiro, Pierre Ablin, Vishnu Banna, Arno Blaas, Nick Henderson, Kari Noriy, Dan Busbridge, Josh Susskind, Marco Cuturi, Irina Belousova, Luca Zappella, Russ Webb, Jason Ramapuram§**
离散扩散模型已成为自回归语言模型的有力替代方案，近期工作通过初始化并微调一个基础单模态模型来实现双模态生成。与以往方法不同，我们引入了首个从头开始在文本、图文和音频-文本数据上预训练的三模态掩码扩散模型（MDM）。我们系统分析了多模态缩放定律、模态混合比例、噪声调度、批量大小效应，并提供了优化的推理采样默认值。我们的批量大小分析产生了一种基于随机微分方程（SDE）的新颖重参数化方法，消除了近期工作中所报道的调优最优批量大小的需求。这种重参数化将物理批量大小（通常根据计算量选择，如 GPU 饱和度、FLOP 效率、墙钟时间）与逻辑批量大小（为平衡随机优化过程中梯度的方差而选择）解耦。最后，我们预训练了一个初步模型，展示了统一设计的能力，在 3B 模型规模（6.4T tokens）下，在文本生成、T2I 任务和 T2S 任务中均取得了强劲结果。我们的工作代表了迄今为止对多模态离散扩散模型进行的最大规模系统性开放研究，为跨多种模态的缩放行为提供了宝贵见解。
- † 剑桥大学
- ‡ 麻省理工学院
- § Google DeepMind
- ** 在 Apple 期间完成的工作
相关阅读和更新。
离散扩散是建模和生成离散数据的一个有前景的框架。在这项工作中，我们提出了目标具体分数匹配（TCSM），这是一种用于训练和微调离散扩散模型的新颖且通用的目标。TCSM 提供了一个具有广泛适用性的通用框架。它支持直接从数据样本预训练离散扩散模型，许多现有的离散扩散方法自然地表现为……
*同等贡献者
在批量大小之间保持训练动态是实用机器学习的重要工具，因为它能够实现批量大小与墙钟时间之间的权衡。这种权衡通常通过缩放规则实现；例如，在随机梯度下降中，学习率应随批量大小线性缩放。另一个重要的机器学习工具是模型 EMA，即目标模型的一个功能副本……
来源：Apple Machine Learning Research · machinelearning.apple.com