arXiv cs.AI· Shadab Ahamed, Eshed Gal, Md Shahriar Rahim Siddiqui, Simon Ghyselincks, Moshe Eliasof, Eldad Haber·· 12 小时前AI 评分31
预条件流匹配：改善流匹配训练中协方差病态的几何优化瓶颈
Preconditioned Flow Matching
AI 导读
研究者提出预条件流匹配（preconditioned flow matching），先将目标分布变换为更各向同性的表示、在变换空间训练主流量再逆变换回样本，以缓解流匹配回归中协方差 Σ_t 病态导致的低方差方向收敛缓慢问题。
正文 · AI 翻译
摘要：流匹配（FM）通过沿中间分布 $p_t$ 回归随机速度目标来学习向量场。我们发现了该回归问题中的一个几何优化瓶颈：当 $p_t$ 的协方差 $\Sigma_t$ 病态时，基于梯度的训练会迅速拟合高方差方向，而在低方差方向上进展缓慢。在可精确求解的高斯设定中，我们证明超额风险由 $\Sigma_t$ 加权，并且梯度下降和随机梯度下降都继承了依赖于条件数的收敛性。随后我们将分析扩展到高斯混合，表明多模态性并不会平均掉这一效应；相反，最慢且条件最差的成分可能主导优化。受此分析启发，我们提出 $\textit{预条件流匹配}$，一种先预条件再匹配的框架，它将目标分布变换为更各向同性的表示，在变换空间中训练主流，并通过逆变换将生成的样本映射回来。我们从理论上证明，预条件重塑了中间 FM 路径并改善了其条件数。在受控的高斯和高斯混合实验、潜在 MNIST 以及其他高达 $512{\times}512$ 分辨率的高分辨率图像数据集上，预条件改善了路径条件诊断、低特征值恢复、FID、MMD、精确率和召回率。计算量匹配的基线和预条件器质量消融进一步表明，这些增益不能仅由额外的预条件器参数解释，而是由下游流匹配问题几何的改善所致。GitHub：此 https URL。
| 评论： | 45 页，19 幅图，10 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2603.02337 [cs.LG] |
| （或 arXiv:2603.02337v3 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2603.02337 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Shadab Ahamed [查看电子邮件]
[v1]
2026 年 3 月 2 日星期一 19:09:15 UTC（15,033 KB）
[v2]
2026 年 5 月 13 日星期三 01:33:08 UTC（21,738 KB）
[v3]
2026 年 10 月 26 日星期一 22:22:06 UTC（24,062 KB）
来源：arXiv cs.AI · arxiv.org