arXiv cs.AI· Jesse Bettencourt, Xindi Wu, Matan Atzmon, James Lucas, Jonathan Lorraine·· 10 小时前AI 评分31
CARV：面向扩散模型教师梯度的方差缩减框架
Variance Reduction for Gradients from Diffusion Teachers
AI 导读
CARV 是一个计算感知的方差核算框架，将扩散教师梯度估计建模为带非对称层级成本的两阶段采样问题，通过分层蒙特卡洛估计复用昂贵上游计算，并结合时间步重要性采样与分层逆 CDF 采样降低方差。在 text-to-3D 与数据归因任务上，CARV 带来 2 至 3 倍有效计算加速且不改变优化目标；在单步蒸馏中梯度方差降低一个数量级，但下游 FID 未改善。
正文 · AI 翻译
摘要：预训练扩散模型可作为冻结教师，用于文本到 3D、单步蒸馏和数据归因等流程。这些流程所消耗的教师梯度是对噪声水平和高斯噪声的期望，由蒙特卡洛（MC）估计。每次 MC 抽样都需要昂贵的上游工作（渲染、模拟、编码），因此估计器方差主导了计算成本。我们提出 CARV，一个计算感知的方差核算框架，将这些梯度视为具有非对称逐层成本的经典两阶段采样问题。这启发了一种分层 MC 估计器，通过在每个廉价扩散抽样中复用每次昂贵的上游计算来摊销成本，并通过时间步重要性采样（IS）和分层逆 CDF 采样进一步降低单元内方差。CARV 在文本到 3D 和数据归因上实现了 2 到 3 倍的有效计算倍增，且不改变目标函数。在文本到 3D 中，复用提供了大部分增益，IS 与分层采样额外增加约 25%。在单步蒸馏中，相同技术将梯度方差降低一个数量级，但未改善下游 FID，标志着 MC 方差不再是瓶颈的情形。
| 评论： | NeurIPS 2026 相机就绪版。项目页面：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；计算（stat.CO）；机器学习（stat.ML） |
| MSC 分类： | 65C05 |
| ACM 分类： | I.2.6; G.3 |
| 引用为： | arXiv:2605.21489 [cs.LG] |
| （或 arXiv:2605.21489v3 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.21489 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Jonathan Lorraine [查看电子邮件]
[v1]
2026 年 5 月 20 日星期三 17:59:52 UTC（6,587 KB）
[v2]
2026 年 5 月 21 日星期四 21:50:17 UTC（6,531 KB）
[v3]
2026 年 11 月 9 日星期一 23:33:34 UTC（6,884 KB）
来源：arXiv cs.AI · arxiv.org