arXiv cs.AI· Yangze Liu, Xiao-Long Yin, Zhongyi Han·· 6 天前AI 评分22
研究：训练样本的价值取决于学习器，ResNet-18 与 ViT 的易样本-覆盖样本边界不同
Useful to Whom? The Easy-versus-Coverage Boundary Moves with the Learner
AI 导读
一项选择实验发现，训练样本的价值并非样本固有属性，而是在与学习器的交互中产生。在低分辨率 ImageNet-100 上，ResNet-18 宽度翻倍使易样本与覆盖样本的交叉点从每类 57 个样本移至 85 个；输入从 32 像素增至 64 像素则使其从 85 回到 57，单次 stride 改动即可复现或消除该偏移。在 Vision Transformer 上，覆盖样本在所有测量预算下均占优。
正文 · AI 翻译
摘要：同样的数据对每个学习者都同样有用吗？问题在于训练样本的价值是属于样本本身，还是产生于它与学习者的交互之中。我们通过一个选择实验来检验这一点。在每类预算下，两类样本竞争这些名额：简单样本，即短时间训练就能首先学会的样本；以及覆盖样本，即在特征空间中散布于整个类别的样本。简单样本在小预算下胜出，覆盖样本在大预算下胜出，而胜者发生翻转的预算，即交叉点 m0，是可以测量的。我们追问 m0 是由数据决定还是由学习者决定。为了区分二者，我们固定所选子集，只改变在其上训练的学习者。在低分辨率 ImageNet-100 上，将 ResNet-18 的宽度加倍，会使相同子集上的交叉点从每类 57 个样本移动到 85 个样本。在图像信息固定的情况下将输入网格从 32 像素扩大到 64 像素，会使其从 85 移动到 57，而单次步幅改变就能重现或消除这一偏移。随着宽度增大，网格偏移会缩小。在原生 ImageNet-1k 协议下，4 倍的宽度范围使边界移动至多每类几个样本。在 Vision Transformer 上，覆盖样本在每个测量预算下都胜出，即使是在对卷积学习器有效的简单子集上也是如此。因此，一种样本不再更有用的那个预算属于学习者，而选择策略所偏好的机制必须对照将要使用该数据的学习者来解读。
| Comments: | 22 页，9 幅图 |
| Subjects: | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| Cite as: | arXiv:2610.00221 [cs.LG] |
| （或 arXiv:2610.00221v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.00221 由 DataCite 提供的 arXiv 颁发 DOI |
Submission history
来自：Yangze Liu [查看邮箱]
[v1]
2026年9月22日星期二 05:17:34 UTC（185 KB）
[v2]
2026年10月9日星期五 05:21:11 UTC（2,810 KB）
来源：arXiv cs.AI · arxiv.org