arXiv cs.AI· Suhyeong Shin, Yeongwook Yang·· 13 小时前AI 评分34
SISA：把 Mamba-3 式状态转移直接嵌入注意力分数，无需 RoPE
Forget Attention: Importance-Aware Attention Is All You Need
AI 导读
研究者提出 SSM-Informed Softmax Attention（SISA），将 Mamba-3 风格的状态转移（含旋转）直接构建进注意力分数，与 FoX 的遗忘门并列，每个 logit 获得 SSM 对该 token 对的衰减匹配权重。
正文 · AI 翻译
摘要：注意力机制能够精确检索内容，但其分数仅依赖于查询—键的乘积，顺序和近期性则交由位置编码处理。相反，状态空间模型（SSM）如 Mamba-3 通过随输入变化、会衰减和旋转的状态转移来跟踪顺序和近期性，但将上下文压缩为固定大小的状态会妨碍精确检索。Samba 和 Hymba 等混合模型仅在层或头之间利用这种互补性，因此 SSM 的状态转移从未直接影响注意力分数。最接近的先前工作是遗忘 Transformer（FoX），它在分数中加入了一个随输入变化的遗忘门，但仅按近期性重新加权注意力。我们提出 SSM 信息软注意力（SISA），它将 Mamba-3 风格的状态转移（包括旋转）直接构建到分数中，并与 FoX 的门控相结合。每个 logit 获得这样的 SSM 会赋予该 token 对的权重：旋转后的 SSM 投影之间的衰减匹配。这种旋转已经编码了相对位置，因此 SISA 去掉了 RoPE；恢复它反而会提高损失。在语言建模和长度外推方面，SISA 优于参数匹配的 Transformer 和 FoX。在我们比较的注意力模型中（包括混合模型），只有 SISA 能从训练窗口之外的上下文中获益。将 SSM 状态转移构建到分数中能产生更强的注意力，而我们的内核使其在官方或标准内核上比基线更快、更精简。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2606.02332 [cs.AI] |
| （或 arXiv:2606.02332v3 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2606.02332 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Suhyeong Shin [查看电子邮件]
[v1]
2026年6月1日星期一 14:42:06 UTC（1,418 KB）
[v2]
2026年6月2日星期二 05:51:37 UTC（1,418 KB）
[v3]
2026年10月28日星期三 01:46:08 UTC（175 KB）
来源：arXiv cs.AI · arxiv.org