arXiv cs.AI· Suvrat Raju, Praneeth Netrapalli·· 1 天前AI 评分58
研究提出 Transformer 错误率的两参数模型
A model of errors in transformers
AI 导读
Suvrat Raju 与 Praneeth Netrapalli 提出一个 Transformer 错误模型，认为注意力机制中的小误差累积越过阈值时会产生错误预测，并据此推导出任务准确率与复杂度之间的两参数定量关系。
正文 · AI 翻译
摘要：我们研究了 LLM 在诸如算术等需要确定性输出的任务上的错误率，以及从一小部分备选项中抽取 token 进行重复处理的情形。我们认为，当注意力机制中的小误差累积到越过某个阈值时，就会产生错误的预测，并利用这一洞见推导出准确率与任务复杂度之间的定量双参数关系。这两个参数随提示和模型而变化；它们可以解释为一个基本噪声率，以及可被预测的合理错误 token 的数量。我们的分析受到“有效场论”视角的启发：LLM 的众多原始参数可以被重新组织为仅两个支配错误率的参数。我们使用 Gemini 2.5 Flash、Gemini 2.5 Pro 和 DeepSeek R1 进行了大量实证测试，发现对于多种任务，预测准确率与观测准确率高度吻合，不过我们也发现了一些情况下的偏差。我们的模型为以下观点提供了一种替代解释：LLM 在长时间重复任务上出错表明“推理崩溃”，或无法表达“组合”函数。最后，我们展示了如何构造提示以降低错误率。
| 评论： | (v1) 8+17 页 (v2) 附录 A.4 扩充；与已发表版本一致 |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI)；计算与语言 (cs.CL)；高能物理 - 理论 (hep-th) |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2601.14175 [cs.LG] |
| （或 arXiv:2601.14175v2 [cs.LG] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2601.14175 arXiv 颁发的 DOI（通过 DataCite） |
|
| 期刊 参考： | 第 43 届国际机器学习大会论文集，韩国首尔。PMLR 306，2026 |
提交历史
来自：Suvrat Raju [查看电子邮件]
[v1]
2026 年 1 月 20 日星期二 17:27:03 UTC（146 KB）
[v2]
2026 年 11 月 12 日星期四 13:22:46 UTC（203 KB）
来源：arXiv cs.AI · arxiv.org