arXiv cs.AI· Wenjie Zheng, Haoji Hu, Jiali Lu, Xingze Zou, Jing Wang·· 10 天前AI 评分24
D3S2:面向语义分割的扩散引导数据集蒸馏框架
D3S2: Diffusion-Guided Dataset Distillation for Semantic Segmentation
AI 导读
D3S2 是一个扩散引导的语义分割数据集蒸馏框架,通过类平衡掩码选择与布局到图像扩散模型合成图像,并用分割一致性损失和类级特征匹配损失引导采样。在 1% 压缩率下,该方法在 ADE20K 和 COCO-Stuff 上以 Mask2Former(Swin-S)分别达到 24.99% 和 35.49% mIoU,较随机选择提升 9.34% 和 5.70%。代码已开源。
正文 · AI 翻译
摘要:数据集蒸馏(DD)旨在将大规模数据集压缩为紧凑的合成集,同时保持训练效果。然而,现有研究主要集中于图像分类,而语义分割等密集预测任务在很大程度上仍未被充分探索。在本工作中,我们识别出分割数据集蒸馏的三个关键挑战:(i)长尾类别不平衡,(ii)图像与密集标签之间严格像素级对齐的需求,以及(iii)使用复杂模型优化高分辨率数据的高计算成本。为应对这些挑战,我们提出 D3S2,一种用于语义分割的扩散引导数据集蒸馏框架。我们的方法采用两阶段设计。在类别平衡掩码选择中,我们通过优先考虑欠代表类别的贪心策略构建代表性掩码集。在扩散引导图像合成中,我们采用预训练的布局到图像扩散模型,以所选掩码为条件生成图像,自然地确保空间对齐。为进一步增强合成数据的训练效用,我们引入具有两个互补目标的引导扩散采样:用于像素级对齐的分割一致性损失,以及用于对齐跨层各类别特征统计的类别特征匹配损失。大量实验证明了 D3S2 的优越性。值得注意的是,在 1% 的极高压缩率下,我们的方法在 ADE20K 和 COCO-Stuff 上使用 Mask2Former(Swin-S)分别达到 24.99% 和 35.49% 的 mIoU,分别比随机选择高出 9.34% 和 5.70%。我们的代码可在 此 https URL 获取。
| 学科: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2605.25022 [cs.CV] |
| (或 arXiv:2605.25022v2 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2605.25022 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Wenjie Zheng [查看电子邮件]
[v1]
2026年5月24日星期日 12:01:38 UTC(21,256 KB)
[v2]
2026年10月6日星期二 09:48:58 UTC(22,633 KB)
来源:arXiv cs.AI · arxiv.org