Hacker News· westurner·· 7 小时前AI 评分26
无需注意力：基于 Grassmann 流的无注意力架构探索
Attention Is Not What You Need (2025)
AI 导读
研究者提出 Causal Grassmann 层，用 Grassmann 流替代显式自注意力：先将 token 状态线性降维，再用 Plucker 坐标把局部 token 对编码为 Grassmann 流形上的二维子空间，最后通过门控混合融合回隐藏状态。
正文 · AI 翻译
摘要：我们重新审视序列建模中的一个基本问题：显式自注意力对于强性能和推理是否真的必要？我们认为，标准多头注意力最好被视为一种张量提升形式：隐藏向量被映射到成对交互的高维空间，学习通过梯度下降约束这个提升后的张量来进行。这种机制表达力极强，但在数学上不透明，因为经过许多层之后，用一小族显式不变量来描述模型变得非常困难。
为了探索替代方案，我们提出了一种基于 Grassmann 流的无注意力架构。我们的因果 Grassmann 层不形成 L×L 注意力矩阵，而是 (i) 线性约简 token 状态，(ii) 通过 Plucker 坐标将局部 token 对编码为 Grassmann 流形上的二维子空间，(iii) 通过门控混合将这些几何特征融合回隐藏状态。因此，信息通过多尺度局部窗口上低秩子空间的受控形变进行传播，核心计算位于有限维流形上，而非无结构的张量空间中。
在 Wikitext-2 语言建模基准上，参数量为 1300 万至 1800 万的纯 Grassmann 模型达到了与同等规模 Transformer 相差约 10% 至 15% 以内的验证困惑度。在 SNLI 自然语言推理任务上，基于 DistilBERT 的 Grassmann-Plucker 头略微优于 Transformer 头，最佳验证和测试准确率分别为 0.8550 和 0.8538，而后者为 0.8545 和 0.8511。我们分析了 Grassmann 混合的复杂度，证明在固定秩下随序列长度线性扩展，并认为此类基于流形的设计为神经推理的几何与不变量解释提供了一条更具结构化的路径。
| 学科： | 机器学习 (cs.LG)；人工智能 (cs.AI)；代数几何 (math.AG) |
| 引用为： | arXiv:2512.19428 [cs.LG] |
| （或 arXiv:2512.19428v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2512.19428 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chong Zhang [查看电子邮件]
[v1]
2025年12月22日星期一 14:29:18 UTC（16 KB）
来源：Hacker News · arxiv.org