arXiv cs.AI· Tian Lan, Yiming Zheng, Jianxin Yin·· 14 小时前AI 评分24
Diff-Feat：基于扩散模型的跨模态特征提取用于多标签分类
Diff-Feat: Diffusion-Based Cross-Modal Feature Extraction for Multi-Label Classification
AI 导读
Diff-Feat 从预训练扩散 Transformer 中提取图像与文本的中间特征并融合，用于多标签分类。图像任务的最优特征位于扩散中间步与 Transformer 中间层，文本任务则位于无噪声步与最深层；该方法在 Visual Genome 500 上达 46.1% mAP，在 Pix2Cap-COCO 上达 80.2% mAP，优于强基线。代码已开源。
正文 · AI 翻译
摘要：多标签分类具有广泛的应用，并依赖于能够捕获多种交互的强大表示。我们提出 Diff-Feat，一个简单而有效的框架，它从预训练的扩散 Transformer 模型中提取图像和文本的中间特征，并将它们融合用于下游任务。我们观察到最优特征选择中的不同模式：对于视觉任务，扩散过程中最具判别性的中间特征出现在中间步骤，并位于 Transformer 的中间块。相比之下，对于语言任务，最佳特征出现在无噪声步骤，并位于最深的块。值得注意的是，在不同数据集上存在一致的现象：固定的“中间层”在图像的各种下游分类任务上（在 DiT-XL/2-256$\times$256 和各种 U-ViT 架构下）取得最佳性能。我们进一步分析了其底层机制及其在不同模型规模下的缩放行为。为了高效地选择表示，我们设计了一种启发式局部搜索算法，在少量候选中定位局部最优的“图像-文本”$\times$“块-时间步”对，避免穷举网格搜索。简单的融合线性投影后加上所选表示的相加，在 Visual Genome 500（500 个类别）上达到 46.1% mAP，在 Pix2Cap-COCO（80 个类别）上达到 80.2% mAP，始终优于强基线方法。代码可在 此 https URL 获取。
| 学科： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI)；应用 (stat.AP) |
| 引用为： | arXiv:2509.15553 [cs.CV] |
| （或 arXiv:2509.15553v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2509.15553 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | 2026 国际神经网络联合会议 (IJCNN) |
| 相关 DOI： | https://doi.org/10.1109/IJCNN69854.2026.11728464
链接到相关资源的 DOI |
提交历史
来自：Tian Lan [查看电子邮件]
[v1]
2025 年 9 月 19 日星期五 03:13:58 UTC (3,521 KB)
[v2]
2026 年 10 月 24 日星期六 07:02:30 UTC (6,790 KB)
来源：arXiv cs.AI · arxiv.org