arXiv cs.AI· Jerry Yao-Chieh Hu, Yu-An Chen, Maojiang Su, Han Liu·· 3 天前AI 评分22
基于现代 Hopfield 模型重新审视 Transformer 注意力的统计力学
On the Statistical Mechanics of Attention
AI 导读
研究者通过现代 Hopfield 模型重新审视 Transformer 注意力的统计力学，提出自由能形式化框架来刻画稳健注意力推理的参数区间与临界阈值。该框架将注意力视为统计力学系统的运动方程，并识别出注意力在玻璃态与稳健推理相之间的第一相变，进一步扩展到具有随机 query 和 key 的注意力机制。
正文 · AI 翻译
摘要：我们通过现代 Hopfield 模型重新审视 Transformer 注意力的统计力学。我们提出一种自由能形式化方法，用以刻画稳健注意力推理的参数区间与临界阈值。由此得到的自由能景观纳入了查询状态与注意力权重中的随机性。随后，注意力通过标准自由能最小化原理，作为相应统计力学系统（即现代 Hopfield 模型）的运动方程而出现。这使我们能够识别注意力中玻璃相与稳健推理相之间的一阶相变。我们进一步扩展到具有随机查询与键的注意力。总之，我们的结果为刻画一族 Transformer 注意力机制的相结构与推理可靠性提供了严格的统计力学框架。
| 学科： | 机器学习（cs.LG）；无序系统与神经网络（cond-mat.dis-nn）；统计力学（cond-mat.stat-mech）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.17347 [cs.LG] |
| （或 arXiv:2610.17347v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17347 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jerry Yao-Chieh Hu [查看电子邮件]
[v1]
2026年10月12日星期一 19:55:12 UTC（355 KB）
来源：arXiv cs.AI · arxiv.org