arXiv cs.CL· Nir Yarden, Amit Ben-Artzy, Roy Schwartz·· 3 天前AI 评分24
为何 Mamba 的检索会失效：超越状态容量假说
Beyond State Capacity: Why Retrieval Breaks in Mamba
AI 导读
针对 Mamba 在上下文检索上落后 Transformer 的问题，研究聚焦查询先于上下文的 query-first 检索场景，发现此时状态容量并非瓶颈，Mamba 仍显著落后。
正文 · AI 翻译
摘要：Mamba 模型在上下文检索方面表现不如 Transformer。这一差距通常被归因于 Mamba 固定大小的循环状态，随着上下文增长会丢失信息。我们通过聚焦于查询优先检索来挑战这一假设，在这种设置中查询先于上下文，状态容量不应成为约束瓶颈。我们表明，即使在这种设置下，Mamba 仍大幅落后于 Transformer，尽管其选择机制旨在区分相关内容与干扰项。随后我们证明，Mamba 的选择门对状态更新具有足够的控制力以影响模型输出：仅干预特定门就能使准确率在两个极端之间摆动。然而，由于门是输入相关的，它们需要传入 token 的表示来编码其与查询的相关性。因此我们探查了各层的 token 表示，发现相关性信号仅随模型深度逐渐出现，而门要再深几层才开始反映它。至关重要的是，我们发现检索关键层中的门尚未与相关性对齐。因此，选择机制的表达能力足以解决该任务，但它通常作用于尚未到达的相关性信号。因此，Mamba 的检索瓶颈超出了状态容量：即使容量充足，相关性信息随深度延迟出现也常常阻碍成功检索。
| 评论： | 15 页，6 幅图。审稿中 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19709 [cs.CL] |
| （或 arXiv:2610.19709v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19709 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Nir Yarden [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 07:37:53 UTC（395 KB）
来源：arXiv cs.CL · arxiv.org