arXiv cs.AI· Trinh T. Nguyen, Minh-Khoi Nguyen-Nhat, Duy-Tung Pham, Hoang-Son Do, Tan Minh Nguyen, Thieu N. Vo·· 11 小时前AI 评分38
Mamba 动力学中的首 token 吸引现象
First-Token Attraction in Mamba Dynamics
AI 导读
研究揭示深度 Mamba 模型中首个 token 具有特权动力学，其极限方向会吸引后续 token，引发 token 聚类与 attention-sink 现象。
正文 · AI 翻译
摘要：我们研究深度 Mamba 模型中的 token 动态，特别关注第一个 token 的吸引作用。与注意力机制中 token 交互由正标量系数支配不同，Mamba 动态涉及完整的矩阵值交互系数，且不保证正性或确定性。这种结构差异使 Mamba 动态的分析难度大幅增加，也阻碍了现有基于注意力模型的技术直接应用。为克服这一挑战，我们引入了一个新的分析框架，基于高维不变盒和尖锐的退出时间论证，二者共同恢复了一种有效形式的符号确定性。利用该框架，我们刻画了 token 轨迹可能的极限点，并证明了显式的指数收敛速率。我们的分析揭示，第一个 token 具有特权动态：其极限方向吸引后续 token，在深度 Mamba 模型中诱发 token 聚类和注意力汇现象。我们进一步表明，这种吸引机制可扩展到更广泛的序列动态，包括状态空间模型、因果注意力和经典时间序列模型。在 Falcon-Mamba-7B 上的实验验证了我们的预测，表明对第一个 token 的集中度随深度增加，并在后续层中占主导地位。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.08303 [cs.AI] |
| （或 arXiv:2611.08303v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08303 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Thieu Vo [查看邮箱]
[v1]
2026年11月5日 星期四 17:06:17 UTC（9,258 KB）
来源：arXiv cs.AI · arxiv.org