arXiv cs.AI· Joonhyeok Jeong, Jy-yong Sohn, Kibok Lee·· 11 小时前AI 评分20
重新审视长尾数据下监督对比学习的表征几何
Rethinking Representation Geometry in Supervised Contrastive Learning under Long-Tailed Data
AI 导读
研究提出理论框架，用于判断监督对比学习及其平衡变体在最优解处是否形成正单纯形几何，结果表明这些目标因依赖每类样本数而无法在最优处形成正单纯形。为此作者引入可施加于对比目标的结构平衡，并提出一种可证明在最优处形成正单纯形几何的完全平衡对比目标。理论与实验结果均显示，该方法得到更均衡的表征空间，并提升长尾识别与迁移学习任务的表现。
正文 · AI 翻译
摘要：监督对比学习及其平衡变体已被证明在长尾分布下的表示学习中有效。然而，尽管先前分析表明其最优表示可能呈现正单纯形几何结构，但这种几何结构是否确实出现仍缺乏充分理解。在本工作中，我们为这些目标提出了一个理论框架，用于刻画在最优解处是否形成正单纯形。通过将其应用于代表性目标，我们表明这些目标在最优解处无法形成正单纯形，因为它们仍然依赖于每类样本数。受此分析启发，我们引入了可应用于对比目标的结构平衡，并提出了一种完全平衡的对比目标，可证明在其最优解处形成正单纯形几何结构。理论和实证结果均表明，所提方法产生了更平衡的表示空间，并提升了长尾识别和迁移学习任务的性能。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.32039 [cs.LG] |
| （或 arXiv:2610.32039v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32039 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kibok Lee [查看邮箱]
[v1]
2026年10月23日星期五 01:30:14 UTC（692 KB）
来源：arXiv cs.AI · arxiv.org