arXiv cs.CL· Giovanni Monea, Nathan Godey, Kiant\'e Brantley, Yoav Artzi·· 11 小时前AI 评分38
状态-预测分离假设：Transformer 用独立计算流分离状态存储与下一 token 预测
The State-Prediction Separation Hypothesis
AI 导读
研究者提出“状态-预测分离假设”，认为将 Transformer 中“预测下一 token”与“为未来预测存储状态”两种角色解耦可提升语言建模性能。他们设计了一种使用独立计算流的 Transformer 变体，并在多种规模下开展预训练实验，结果显示该设计在数据与计算效率上持续更优，下游任务平均比标准 Transformer 高 2-3 个百分点。
正文 · AI 翻译
摘要：Transformer 使用同一个前向计算流来预测下一个 token，并为未来的 token 预测存储有用的状态。我们提出状态-预测分离假设：将这两种角色解耦可以带来更好的语言建模性能。我们设计了一种 Transformer 变体，使用分离的计算流来分离这两种功能，并在不同规模上进行了预训练实验。实验表明，状态-预测分离始终能提供更好的数据和计算效率，改善验证损失，并在下游任务上平均优于标准 Transformer 2-3 个百分点。我们还进行了大量实证分析，排除了潜在的混杂因素，并证明了我们的设计所带来的梯度上的根本差异。
| 评论： | 发表于 NeurIPS 2026 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2607.01218 [cs.CL] |
| （或 arXiv:2607.01218v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.01218 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Giovanni Monea [查看电子邮件]
[v1]
2026年7月1日星期三 17:55:09 UTC（1,510 KB）
[v2]
2026年11月5日星期四 16:43:45 UTC（2,416 KB）
来源：arXiv cs.CL · arxiv.org