arXiv cs.AI· George Cazenavette, Angelina Quan, Giannis Daras, Antonio Torralba, Vincent Sitzmann·· 1 天前AI 评分24
数据集蒸馏新方法 Drifting：无需分类目标即可逼近真实数据分布
Dataset Distillation via Drifting
AI 导读
研究者提出数据集蒸馏新方法 Drifting，在特征提取器的隐空间中让合成样本同时向真实数据靠拢并彼此远离，全程不使用分类目标。该方法生成的蒸馏数据对真实分布的覆盖显著优于现有方法，同时仍是有效的分类训练样本，并可作为模型可视化工具、扩展至图像之外的模态。该工作已被 NeurIPS 2026 接收，并提出基于分布的指标作为补充评估。
正文 · AI 翻译
摘要：数据集蒸馏任务关注的是学习一小组合成样本，这些样本在下游任务中可作为大型真实数据集的有效替代。尽管自该问题提出以来已有很多解决方案，但其中大多数主要致力于针对分类器优化蒸馏数据。在本工作中，我们提出了一种新的蒸馏方法，它学习一组样本，使其直接逼近各类别的数据分布。具体而言，我们在特征提取器的潜在空间中对蒸馏数据进行“漂移”，使其既向真实数据靠拢，又彼此远离，而不使用分类目标。我们发现，与现有方法相比，我们漂移后的数据能显著更好地覆盖真实分布，同时仍可作为强大的分类训练样本。此外，我们展示了该方法可作为可视化工具用于更好地解释模型，并将其从图像扩展到其他模态。我们的工作推进了数据集蒸馏的前沿，提出了一种新颖的合成方法，并提出基于分布的指标作为补充评估。更广泛地说，我们的发现通过揭示数据与模型如何交互的更多信息，有助于满足理解数据和模型这一日益增长的需求。
| 评论： | 已被 NeurIPS 2026 接收。项目主页：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2611.16642 [cs.LG] |
| （或 arXiv:2611.16642v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16642 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：George Cazenavette V [查看邮箱]
[v1]
2026年11月12日星期四 11:17:40 UTC（24,248 KB）
来源：arXiv cs.AI · arxiv.org