arXiv cs.AI· Harsha Patnala, Debopriyo Banerjee, Ayush Sunil Munot, Somak Aditya·· 6 天前AI 评分25
TDDN：面向拼图理解的对齐文本扩散 DINO 网络
TDDN: Text-aligned Diffused DINO Network for Puzzle Understanding
AI 导读
研究者提出 TDDN，将 DINOv3 与 CleanDIFT 表示融合为感知编码器 DiffusedDINO，并与 RoBERTa-L 对齐，在冻结骨干、仅约 590K 对齐样本下超越 CLIP ViT-L/14。
正文 · AI 翻译
摘要：结构化视觉推理（如图像谜题）要求细粒度的视觉感知，而当前视觉语言模型（VLM）往往缺乏这种能力。基于 CLIP 的 ViT 骨干构建的 VLM 倾向于用细粒度视觉细节换取高层语义。我们表明，这一缺陷会向下游传播，影响各种视觉和语言任务。为此，我们将 DINOv3 和 CleanDIFT 表示融合为一个感知编码器（DiffusedDINO），并将其与 RoBERTa-L 对齐，得到一个文本对齐模型（TDDN），该模型保留了这一感知优势：在冻结骨干网络且仅使用约 590K 对齐对的情况下，TDDN 在图像-文本检索任务上超越了 CLIP ViT-L/14：Flickr30K 上的文本到图像检索，以及 MS-COCO-2014 上的双向检索。尽管 CLIP 拥有庞大的训练语料，TDDN 的密集预测准确率仍达到 CLIP 的三倍以上（ADE20K 5.20 -> 18.11 mIoU，COCO-Stuff 7.35 -> 24.44）。在通用对比编码器（包括 SigLIP 2）中，TDDN 在分割基准上处于领先地位。我们进一步提出了 PuzzlePerception，这是一个用于探测细粒度空间理解的分割和视觉问答数据集，TDDN 在该数据集上将 CLIP 的分割准确率提高了一倍（11.04 -> 22.51 mIoU）。我们的代码和数据可在 此 https URL 获取。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.07937 [cs.CV] |
| （或 arXiv:2609.07937v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.07937 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Debopriyo Banerjee [查看电子邮件]
[v1]
2026年9月7日星期一 19:52:26 UTC（2,256 KB）
[v2]
2026年10月9日星期五 01:06:20 UTC（2,883 KB）
来源：arXiv cs.AI · arxiv.org