arXiv cs.AI· Andrei Jarca, Vlad Hondru, Florinel-Alin Croitoru, Radu Tudor Ionescu·· 2 天前AI 评分33
EigDiff：用特征样本扩散将训练数据集缩小最多 14 倍
EigDiff: Eigensample Diffusion - or how to significantly reduce training dataset size with marginal performance variation?
AI 导读
EigDiff 通过特征样本（eigensamples）在显著更小的数据集上训练扩散模型，训练数据最多减少 14 倍、子集选择加速最多 1607 倍，性能差异微小。该方法在预训练 CLIP 的潜空间中做 PCA 计算潜特征向量，并以特征向量为参考点挑选由 exemplars 与多样图像组成的代表性训练集。
正文 · AI 翻译
摘要：扩散模型的训练成本极高，需要大规模数据集来学习如何在多个小的去噪步骤中逐步逆转图像中的噪声。当前的方法侧重于蒸馏扩散步数，而忽略了训练数据中可能存在的冗余。在本文中，我们探索了利用特征样本在显著更小的数据集上训练扩散模型，同时保持模型性能的潜力。为了缓解对特征图像仿射变换的敏感性，我们利用预训练 CLIP 模型的潜在空间。接下来，我们通过在 CLIP 空间中执行主成分分析（PCA）来计算潜在特征向量。此外，我们采用特征向量作为参考点，来指导选择具有代表性的训练集，该训练集既包含范例（其嵌入最接近特征向量的图像），也包含多样化的图像。我们在多个数据集上应用不同扩散模型进行的全面实验表明，我们的方法（EigDiff）可以将训练数据减少多达 14 倍，并将子集选择加速多达 1607 倍，而性能差异微乎其微。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20999 [cs.CV] |
| （或 arXiv:2610.20999v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20999 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Radu Tudor Ionescu [查看电子邮件]
[v1]
2026年10月14日星期三 22:36:03 UTC（22,925 KB）
来源：arXiv cs.AI · arxiv.org