arXiv cs.AI· Truong Xuan Khanh·· 10 小时前AI 评分26
研究:响应相关信息不足以判定神经网络训练状态等价
Response-Relevant Information Is Not Sufficient for Neural Training-State Equivalence
AI 导读
一项在单层 Transformer 学习模加法的实验提出,两个检查点只有在训练受扰动并继续后响应相似,才算相对于干预族和时域的训练状态等价;对权重衰减脉冲的响应高度可复现(500 步时 rho_state = 0.934)。15 种权重谱、表示几何与优化器几何描述符能预测留出响应偏差,但其在匹配检查点上 16.1% 的优势无法与保留各描述符对常规观测量拟合依赖的条件安慰剂区分开。
正文 · AI 翻译
摘要:与响应相关的信息不足以证明两个神经网络处于相同的训练状态。我们从操作层面定义训练状态等价性:相对于某个干预族和时域,如果两个检查点在训练受到扰动并继续时表现出相似的响应,则它们是等价的。在学习模加法的单层 transformer 的全新运行中,对权重衰减脉冲的响应相对于检查点之间的差异具有高度可重复性(500 步时 rho_state = 0.934),从而确立了该目标的可测量性。权重谱、表示几何和优化器几何的十五个描述符在开发数据集上携带了超出权重范数和损失的、与运行内响应相关的信息,能够预测跨种子块的留出响应偏差。但它们在按未来响应匹配检查点时表现出的 16.1% 优势,并不能与一个条件安慰剂区分开来,该安慰剂保留了每个描述符对传统可观测量的拟合依赖关系,而一个经过校准的阳性对照使简单的不敏感性成为不太可能的解释。解码器能够提取的信息,未必以相似性判断所需的成对几何方式组织。
| 评论: | 18 页,5 张图。代码和来源已验证的工件:此 https URL |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2611.23245 [cs.LG] |
| (或 arXiv:2611.23245v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23245 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Xuan Khanh Truong [查看电子邮件]
[v1]
2026 年 9 月 4 日星期五 05:49:16 UTC(111 KB)
来源:arXiv cs.AI · arxiv.org