arXiv cs.CL· Sara Rezaeimanesh, Chad Klochko, Kundan Thind, Mohammad Ghassemi·· 2 天前AI 评分27
INCONVENIENT：评估 LLM 从便利样本中泛化能力的基准
INCONVENIENT: A Benchmark to Assess LLM Generalization Capabilities from Convenience Samples
AI 导读
研究者提出 INCONVENIENT 基准，用于评估 LLM 对便利样本偏差的鲁棒性。该基准不依赖自然域划分，而是直接扰动训练分布中的特征—目标关系，同时保留原始总体分布作为部署环境，并显式控制关系偏移的方向与强度。基准包含 200 个表格分类与回归数据集，生成约 15,500 个偏移训练分布，导致下游性能显著下降。
正文 · AI 翻译
摘要：用于表格预测的机器学习模型通常假设训练数据能够代表其将要部署的目标人群。然而在实践中，数据往往基于便利性、可获得性或成本进行收集，从而产生系统性的采样偏差，可能扭曲特征与目标之间的关系，并削弱模型在真实世界中的泛化能力。现有的表格分布偏移基准主要通过按自然出现的领域划分观测数据来构建分布外（OOD）设置。虽然此类划分可能引起 P(Y | X) 的变化，但由此产生的偏移既未被显式控制，也未被隔离，而且评估分布本身往往也不能代表更广泛的目标人群。我们提出了 INCONVENIENT，一个旨在研究对便利样本偏差鲁棒性的基准。INCONVENIENT 不依赖自然出现的领域划分，而是直接扰动训练分布中的特征与目标关系，同时保留原始人群分布作为部署环境。这一设置更贴近真实场景，即模型从不具代表性的样本中开发，随后部署到更广泛的人群上。这一区别对于大语言模型（LLM）尤为重要，因为其预训练可能编码了超出有偏训练数据集中所观察到关系的群体层面知识。与现有的分布偏移基准不同，INCONVENIENT 对关系偏移的方向和严重程度均提供显式控制，从而能够系统性地评估对便利采样的鲁棒性。该基准包含 200 个表格分类和回归数据集，涵盖多种应用领域，并生成约 15,500 个偏移训练分布，这些分布会导致显著的下游性能下降。
| Subjects: | 机器学习（cs.LG）；计算与语言（cs.CL） |
| ACM classes: | I.2.7 |
| 引用为： | arXiv:2610.21038 [cs.LG] |
| （或 arXiv:2610.21038v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21038 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sara Rezaeimanesh [查看电子邮件]
[v1]
2026年10月15日星期四 00:15:12 UTC（2,255 KB）
来源：arXiv cs.CL · arxiv.org