arXiv cs.AI· Zhongtian Sun, Fan Mo, Prayag Tiwari, Kelin Xia·· 11 小时前AI 评分22
噪声标签下学习的拓扑特征：用持续同调追踪神经网络表征的环路结构
A Topological Signature of Learning under Noisy Labels
AI 导读
研究用持续同调追踪神经网络激活在不同距离阈值下的环路结构，发现CIFAR-10/ResNet-18训练探针中，等量干净标签与损坏标签子集在第10个epoch无可检测的持续同调差异，而损坏标签子集在第50个epoch持续同调更高。
正文 · AI 翻译
摘要：噪声监督如何改变神经网络学习到的表征？训练准确率衡量的是与训练标签的一致程度，但几乎无法提供关于表征几何的信息。我们使用持续同调来追踪神经激活中跨距离阈值的环结构。实验涵盖图像分类、文本分类和模算术。在一个固定的 CIFAR-10/ResNet-18 训练探针上，等大小的干净标签子集和损坏标签子集在第 10 个 epoch 时未显示出可检测的持续性差异，而损坏标签子集在第 50 个 epoch 时具有更高的持续性。该对比在均匀尺度控制下依然成立，尽管在该检查点，损坏探针样本中只有 7-11% 的预测与所分配的噪声标签匹配。归一化在 CIFAR-10/ResNet-18 上保留了干净与噪声训练轨迹之间的交叉，而 CIFAR-100/ResNet-18 在五种评估构造中的任何一种下均未显示交叉。在跨五条流水线的单独噪声率校准比较中，平均激活范数在样本内 R2 上的均值高于原始持续性（0.936 对 0.908）。这些发现表明，即使与损坏标签的一致程度很低，噪声监督也会留下可测量的几何特征。将尺度控制下的持续性与标签拟合测量进行比较，提供了一种方法来研究表征如何响应标签损坏，其范围超出了训练准确率所揭示的内容。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.23491 [cs.LG] |
| （或 arXiv:2610.23491v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.23491 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhongtian Sun [查看电子邮件]
[v1]
2026年10月16日星期五 14:04:35 UTC（349 KB）
来源：arXiv cs.AI · arxiv.org