arXiv cs.CL· Jiwan Chung, Heechan Choi, Seon Joo Kim·· 13 小时前AI 评分35
重新审视循环模型中的状态追踪：误差控制动力学视角
Rethinking State Tracking in Recurrent Models Through Error Control Dynamics
AI 导读
研究证明，仿射循环网络（涵盖 State-Space Models 与 Linear Attention）在保持状态表示后，无法沿状态区分子空间纠正误差，因此实际仿射追踪器学到的是受累积状态相关误差支配的有限时域解，而非鲁棒状态追踪。
正文 · AI 翻译
摘要：循环架构中的状态跟踪理论主要关注表达能力：一个固定架构能否在理论上实现一组符号转移规则。我们认为，同样重要的是误差控制，即沿区分符号状态的方向支配隐藏状态漂移的动态。我们证明，仿射循环网络（一类涵盖状态空间模型和线性注意力的模型）一旦保持状态表示，就无法沿状态分离子空间纠正误差。因此，实际的仿射跟踪器学到的并非鲁棒的状态跟踪；相反，它们学到的是由累积的状态相关误差支配的有限时域解。我们刻画了这种失效的机制，表明只有当累积的类内散布相对于类间分离保持较小时，跟踪才保持可读。我们在群状态跟踪任务上通过实验证明这种崩溃是可预测的：当可区分性比率越过可读性阈值时，跟踪就会崩溃。在训练过的模型中，这一越界点预测了下游准确率失效的时域。这些结果表明，鲁棒的状态跟踪不仅取决于架构的理论表达能力，还关键地取决于其误差控制。
| 评论： | NeurIPS 2026。项目页面：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.07755 [cs.LG] |
| （或 arXiv:2605.07755v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.07755 arXiv 颁发的 DOI 通过 DataCite |
|
| 期刊 参考： | NeurIPS 2026 |
提交历史
来自：Jiwan Chung [查看电子邮件]
[v1]
2026年5月8日星期五 13:59:15 UTC（1,403 KB）
[v2]
2026年10月27日星期二 04:03:20 UTC（1,418 KB）
来源：arXiv cs.CL · arxiv.org