arXiv cs.AI· Jialiang Wang, Qing Ma, Xiong Zhou, Gangfeng Hu, Haoliang Li, Xianming Liu·· 11 小时前AI 评分26
对比学习中的内部差异：泛化界与下游行为
Internal Discrepancy for Contrastive Learning: Generalization Bounds and Downstream Behaviors
AI 导读
研究提出“内部差异”度量，量化正样本平均表征与潜在聚类中心之间的差异，并据此证明对比学习后下游监督任务的泛化界，无需额外假设。该界统一了多种既有假设，并启发用松弛 k-means 损失近似降低内部差异；研究还从对比学习引发的监督损失角度解释了类别不平衡下对比学习为何有助于不平衡学习。
正文 · AI 翻译
摘要：对比学习已成为训练表示模型的一种流行范式。尽管先前的研究追求更实用、限制更少的假设以加深对对比学习的理论理解，但它们本质上描述的是数据内部或由函数类诱导的表示之间的相互联系。为概括这些假设，我们提出了内部差异度量，用于量化正样本的平均表示与潜在聚类中心之间的差异。随后，我们证明了对比学习之后下游监督任务的一个内部差异感知泛化界，且无需额外假设。该泛化界不仅作为连接各种假设的统一框架，还促使我们进一步减小内部差异，从而引入松弛 k-means 损失作为近似。此外，我们从对比学习所诱导的监督损失角度研究对比学习的下游行为。在存在类别不平衡的情况下，我们阐明了对比学习为何能够促进不平衡学习。最后，我们研究了这些诱导监督损失的最优性，证明了若干有趣的性质。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.32729 [cs.LG] |
| （或 arXiv:2610.32729v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32729 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jialiang Wang [查看邮箱]
[v1]
2026年10月23日星期五 14:48:35 UTC（320 KB）
来源：arXiv cs.AI · arxiv.org