arXiv cs.AI· Anissa Alloula, Charles Jones, Zuzanna Wakefield-Skorniewska, Francesco Quinzan, Bart{\l}omiej Papie\.z·· 11 小时前AI 评分29
子群平衡何时重要？用潜在可分性预测性能敏感性
When does Subgroup Balance Matter? Predicting Performance Sensitivity from Latent Separability
AI 导读
研究提出“潜在分离假说”：微调模型对子群数据比例的依赖程度，由预训练模型潜在空间中子群之间的分离程度决定。该假说经理论分析并在四个视觉与语言数据集上得到实证验证，正则化实验提供了其因果作用的初步证据。基于潜在子群分离度的定量分析可指导基础模型微调时的数据采集与平衡决策。
正文 · AI 翻译
摘要：训练数据中不同人口群体代表性不均衡，给模型在不同人群间的泛化带来挑战。通常的做法是假设平衡各子群体的代表性总能优化性能。然而，近期的实证结果与这一假设相矛盾：在某些情况下，不均衡的数据分布实际上改善了子群体性能；而在另一些情况下，训练时完全缺失某个子群体并未影响子群体性能。我们提出潜在分离假说，即微调模型对子群体代表性的依赖程度，由预训练模型潜在空间中子群体之间的分离程度决定。我们对这一假说进行了形式化，提供了理论分析，在四个视觉和语言数据集上进行了实证验证，并通过正则化实验给出了其因果作用的初步证据。最后，我们展示了在微调基础模型时，对潜在子群体分离的定量分析如何为实际的数据收集和平衡决策提供依据。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2512.09496 [cs.LG] |
| （或 arXiv:2512.09496v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2512.09496 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Anissa Alloula [查看邮箱]
[v1]
2025年12月10日 星期三 10:19:48 UTC（3,705 KB）
[v2]
2026年10月20日 星期二 15:31:37 UTC（13,902 KB）
来源：arXiv cs.AI · arxiv.org