arXiv cs.AI· Patrick Krauss, Achim Schilling, Andreas Maier, Thomas Kinfe, Claus Metzner·· 10 小时前AI 评分31
神经网络权重空间与内部表征中留存可解码的学习轨迹痕迹
Learning Trajectories Leave Decodable Traces in Neural Network Weight Space and Internal Representations
AI 导读
训练后的神经网络权重保留了初始化、任务顺序与早期轨迹状态的选择性历史信息:30 个训练网络中全部正确匹配到各自初始权重,线性探针在 80 个留出网络上以 100% 准确率解码两个早期任务的顺序。初始权重本身无法被可靠重建,扰动网络恢复分类性能但不回到原训练路径;2,160 对对齐端点中有 2,157 对在采样插值点上无正损失障碍,表明不同解之间存在低损失连接。
正文 · AI 翻译
摘要:在同一任务上训练的神经网络会形成相关的权重空间结构,但学习后仍可区分。这些差异仅仅反映了不同的解决方案,还是保留了关于个体学习历史的信息?我们测试了最终权重是否揭示初始化、任务顺序以及早期轨迹状态。训练重组了整体:初始两两距离并不能一致地预测最终距离。然而,所有 30 个训练后的网络都能在每个数据集十个候选者中被正确匹配到其初始权重。共享同一初始化的网络在不同批次调度下也发展出可识别的最终隐藏表示,尽管与初始活动的直接比较未能恢复身份。学习顺序同样保持可读。在完成共同最终任务十个 epoch 后,一个线性探针在 80 个留出网络上以 100% 的准确率解码了两个早期任务的顺序。较早的中间权重状态部分可预测,但个体初始权重无法可靠重建。因此,最终权重保留的是选择性的历史信息,而非完整的轨迹记录。受扰动网络恢复了分类性能,却没有回到其未受扰动的训练路径。这种分离在不同数据集、干预时间和网络层中持续存在。此外,2,160 个对齐端点对中有 2,157 个在采样插值点上未显示正损失障碍,表明不同解决方案之间存在低损失连接,而非收敛到单一权重向量。总之,这些发现表明,共享任务将网络约束到相关的成功解决方案,却不抹去其个体历史。最终权重不仅反映网络学到了什么,也反映学习从何处开始以及如何展开。
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);神经元与认知(q-bio.NC) |
| 引用为: | arXiv:2611.24782 [cs.LG] |
| (或 arXiv:2611.24782v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24782 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Patrick Krauss [查看电子邮件]
[v1]
2026年11月18日星期三 17:27:55 UTC(5,221 KB)
来源:arXiv cs.AI · arxiv.org