arXiv cs.AI· Mohammed Rahman Sherif Khan Mohammad, Ardhendu Behera, Sandip Pradhan, Swagat Kumar, Amr Ahmed·· 11 小时前AI 评分29
JPTA：面向视觉语言模型稳健直推式适配的批条件语义锚点
Batch-Conditioned Semantic Anchors for Robust Transductive Adaptation of Vision--Language Models
AI 导读
研究者提出 JPTA（Joint Prior and Transport Adaptation），将直推式视觉语言模型适配建模为批条件语义参考估计，让 CLIP 文本原型仅在经过校准的证据下向图像侧批结构偏移。
正文 · AI 翻译
摘要：转导式自适应通过在测试时对未标注批次进行预测优化来提升视觉语言模型，但现有方法面临一个关键权衡。激进的方法利用批次结构，但当批次稀疏、存在先验偏移或覆盖标签空间较少时可能发生漂移。保守的方法能更好地保留 CLIP 文本语义，但固定的语义参考即使在批次提供强纠正证据时也可能自适应不足。我们提出 JPTA（联合先验与传输自适应），这是一个先验感知框架，将转导式 VLM 自适应视为批次条件化的语义参考估计。JPTA 不将 CLIP 文本原型视为固定先验或可自由替换，而是将其视为语义参考，仅在经过校准的证据下才向图像侧批次结构偏移。它估计批次先验和软图像侧原型，以形成传输后的语义参考，其影响由批次可靠性缩放。在标准基准、低有效类别情形、全类别评估和在线流上，JPTA 始终优于 TransCLIP 和 StatA，在稀疏和先验偏移的批次上增益最大。锚点漂移、活跃支持和缺失类别质量诊断表明，JPTA 修复了有效类别不匹配问题，且没有无约束的转导漂移，这表明稳健的转导式 VLM 自适应应使用可靠的批次证据重新校准语义参考，而不是在无限制转导和固定原型之间做选择。代码可在 此 https URL 获取。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2611.06993 [cs.CV] |
| （或此版本的 arXiv:2611.06993v1 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2611.06993 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mohammed Rahman Sherif Khan Mohammad [查看电子邮件]
[v1]
2026年11月4日星期三 18:18:47 UTC (688 KB)
来源：arXiv cs.AI · arxiv.org