arXiv cs.CL· Yuxuan Liu·· 12 小时前AI 评分38
First Passage Attention：用路径极值替代路径求和的新型注意力机制
First Passage Attention
AI 导读
研究者提出 First Passage Attention（FPA），将遗忘门机制从沿 key-query 路径的单调累加改为路径极值，按学习到的标量场在区间内的最深下探幅度成比例降低 key 的 logit，从而选择性擦除中间上下文而保留更早的结构相关 token。
正文 · AI 翻译
摘要：用遗忘门增强 softmax 注意力通常依赖于沿键—查询路径对衰减贡献求和。由于这种累加是单调的，这些机制无法在保留更早的、结构相关的 token 的同时选择性地擦除中间上下文。我们提出首次通过注意力（First Passage Attention, FPA），它将路径求和转变为路径极值：根据一个学习到的标量场在中间跨度内低于该键水平的最深下探，按比例降低该键的 logit。FPA 将遗忘 Transformer（FoX）作为特例包含在内；当该场与水平遵循共享的学习游走时，logit 未被惩罚的存活键自然形成一个栈。我们证明，一个恒定维度的 FPA 头可以实现由后续下探留下的任意键子集，而带有位置偏置或 token 级遗忘门的 softmax 头则需要与键数量成线性的头维度。在合成实验中，单层 FPA 头收敛到这些目标集合，而可比的 softmax 和 FoX 基线在每个随机种子上都失败。扩展到 110M 参数的语言模型时，FPA 在困惑度上与 FoX 相当，并独特地在 $8\times$ 训练长度下实现了完美的 passkey 检索，即使其键—值缓存被压缩到约 $25\%$。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22714 [cs.CL] |
| （或 arXiv:2610.22714v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22714 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuxuan Liu [查看邮箱]
[v1]
2026年10月15日 星期四 22:31:45 UTC（1,045 KB）
来源：arXiv cs.CL · arxiv.org