arXiv cs.CL· Yuhe Hu·· 11 小时前AI 评分31
训练后 TTT 层中的误差修正机制分析
Error Correction in Trained TTT Layers
AI 导读
研究分析了已发布 TTT 实现中预测驱动更新的结构与作用，发现移除归一化预测贡献后，TTT-Linear-760M 和 1.3B 在《战争与和平》100,303 个 token 上困惑度仅上升 2.8-2.9%，而冻结全部 fast-weight 更新则使困惑度上升 4.2-4.5 倍。
正文 · AI 翻译
摘要：测试时训练（TTT）层在处理输入序列时更新快速权重记忆。然而，基于梯度的更新本身并不能确定记忆如何修正已有的关联。我们研究了已发布 TTT 实现中由预测导出的更新的结构与经验作用。对于点积目标，我们刻画了预测误差残差的缺失，并确立了在重参数化后内循环上升与下降等价的条件。对于 TTT-Linear 和 TTT-MLP 所使用的基于 LayerNorm 的平方误差目标，我们推导了内层梯度，并识别出一个由预测导出的分量，该分量在零 epsilon 极限下于发布时的初始化处相互抵消。随后，我们在三个已训练检查点上测量了完整归一化预测的贡献。在保留 LayerNorm 雅可比矩阵的同时移除该贡献，各模型的平均梯度范数比为 0.25 至 0.32。在来自《战争与和平》的 100,303 个 token 上，采用局部逐 token 范数匹配的相同干预使 TTT-Linear-760M 和 1.3B 的困惑度上升 2.8-2.9%，而冻结所有快速权重更新则使其上升 4.2-4.5 倍。单独的合成测试说明了普通 delta 规则覆写对步长的依赖性。这些结果区分了由预测导出的更新与其行为价值，并说明了为何评估测试时记忆既需要实现分析也需要实时干预。
| 评论： | 13 页，3 幅图。代码和保存的结果作为补充材料包含在内，并可在 此 https URL 获取 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.16268 [cs.LG] |
| （或 arXiv:2610.16268v2 [cs.LG] 获取此版本） | |
| https://doi.org/10.48550/arXiv.2610.16268 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuhe Hu [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 06:48:31 UTC（297 KB）
[v2]
2026 年 10 月 16 日星期五 04:46:07 UTC（298 KB）
来源：arXiv cs.CL · arxiv.org