arXiv cs.AI· Llu\'is Arola-Fern\'andez, Aissam Khadraoui, Alex Arenas·· 10 小时前AI 评分31
研究：注意力机制可视为接收器与上下文 token 的同步，等价于一个“radio head”
Everything in its right place: attention is a radio head
AI 导读
一项研究提出注意力可从接收器与上下文 token 的同步中涌现：每个历史 token 是一个振荡器，其状态携带内容、频率随年龄漂移，当前 token 按内容对齐天线、按位置调节接收器频率。
正文 · AI 翻译
摘要：注意力是语言模型的核心，是对 token 进行的一种数字计算：指数函数负责选择，除法负责归一化，位置编码负责设定顺序。我们表明，注意力也可以从接收器与其上下文 token 的同步中涌现。每个过去的 token 都是一个振荡器，其状态携带其内容，其频率随其年龄漂移。当前 token 通过内容选择它们，将天线与其查询对齐；并通过位置选择它们，用旋钮设定接收器的频率。求解该接收器的 Kuramoto 问题，可得到一种闭式注意力层，具有两个相位：在由上下文设定的临界耦合之上，接收器锁定，其权重归一化；在临界耦合之下，它保持静默，其权重之和小于一。训练后的网络利用这两个相位进行选择、弃权和计数，在理论预测之处失效，并能在远超训练长度的情况下继续读取。注意力的每个部分都在一个装置——无线电头——中各得其所：它调谐到该听什么、何时听，并在没有相关内容播出时保持静默。
| 评论： | 6 页，3 幅图。包含补充材料（10 页）。代码：此 https URL |
| 主题： | 物理学与社会（physics.soc-ph）；无序系统与神经网络（cond-mat.dis-nn）；人工智能（cs.AI）；机器学习（cs.LG）；适应与自组织系统（nlin.AO） |
| 引用为： | arXiv:2611.13146 [physics.soc-ph] |
| （或 arXiv:2611.13146v1 [physics.soc-ph] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.13146 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Lluís Arola-Fernández [查看电子邮件]
[v1]
2026 年 11 月 9 日星期一 19:26:40 UTC（249 KB）
来源：arXiv cs.AI · arxiv.org