arXiv cs.AI· Shruthi Gowda, Nikita Jain, Elahe Arani, Bahram Zonooz·· 11 小时前AI 评分31
语言引导用于监督式视觉训练：泛化能力的实证研究
Language Guidance for Supervised Vision Training: An Empirical Study of Generalization
AI 导读
研究评估了预训练语言模型作为视觉训练轻量辅助监督的两种形式——显式语言引导（ExLG）与隐式语言引导（ImLG），无需配对图文数据、提示词工程或对比目标。在分布内、分布外泛化、捷径与虚假相关抵抗、纹理与形状偏置、对抗鲁棒性及持续学习六类泛化场景上的分析显示，两者优势互补：显式引导持续提升分布内、低数据性能与持续学习保持率，隐式引导在捷径敏感场景和更强对抗扰动下更有用。
正文 · AI 翻译
摘要：深度神经网络在视觉基准测试上取得了显著成功，但在许多泛化挑战上仍表现不佳。监督式视觉训练依赖 one-hot 标签，这类标签提供的关于语义结构以及类间共享属性的信息有限。这种有限的监督会使视觉表征容易受到分布偏移、虚假相关、纹理偏置、对抗扰动以及序列学习场景中遗忘的影响。我们研究预训练语言模型能否作为视觉训练的轻量级辅助监督，而无需配对的图文数据、提示工程或对比目标。具体而言，我们评估了两种语言引导形式：显式语言引导（ExLG）和隐式语言引导（ImLG）。我们在六种泛化情形下进行了全面评估，包括分布内、分布外泛化、对捷径和虚假相关的抵抗、纹理与形状偏置、对抗鲁棒性以及持续学习。我们的分析表明，这两种机制具有互补优势：显式引导始终有利于分布内性能、低数据性能和持续学习保持，而隐式引导在捷径敏感场景和更强对抗扰动下往往更有用。重要的是，两者都很轻量，仅增加极少的参数和训练开销。这些分析刻画了语言衍生结构何时有助于监督式视觉训练，并为使用来自另一模态的现成预训练模型作为辅助监督提供了实用路线图。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27208 [cs.CV] |
| （或本版本的 arXiv:2610.27208v1 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2610.27208 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | 发表于 Transactions on Machine Learning Research, 2026 |
提交历史
来自：Shruthi Gowda [查看电子邮件]
[v1]
2026年10月19日星期一 19:43:04 UTC（7,545 KB）
来源：arXiv cs.AI · arxiv.org