Orthros：面向高效 Transformer 的相位感知异构注意力机制

查看 PDF HTML（实验性）

摘要：高效注意力机制，如线性注意力和滑动窗口注意力，旨在将 Transformer 的计算复杂度从二次降低到线性。然而，其上下文召回能力的下降往往需要穿插全注意力层，使得长上下文处理中的二次瓶颈仍未解决。为解决这一问题，我们提出了 Orthros 注意力，它将效率范式从结构性分配转变为相位感知解耦。作为一个统一模块，它在序列处理的不同阶段动态切换其计算模式，从而实现线性复杂度的预填充和全注意力解码。我们的设计使 Orthros 注意力在以重预填充和轻解码为特征的常见长上下文场景中，相比原始 Transformer 具有更低的渐近复杂度。除理论公式和复杂度分析外，大量实证评估在多个维度上展示了 Orthros 的优越性。首先，我们验证了其基础语言建模能力，证明了在不同模型规模上的可扩展性以及在全面架构比较中的强大竞争力。其次，Orthros 通过数据高效的 Transformer 到 Orthros 转换展现出卓越的转换可行性，其性能甚至超越了原始 Transformer。最后，Orthros 相比 Transformer 实现了 $21.9\times$ 的预填充加速，并带来端到端推理收益，同时保持长上下文能力，近乎完美的 128K 大海捞针结果以及在真实世界上下文召回任务上达到 Transformer 级性能均证明了这一点。总体而言，这些在高性能、灵活性和效率方面的优势使 Orthros 成为工业应用中接替 Transformer 的有前景的候选者。

提交历史

来自：Yuhong Chou [查看电子邮件]
[v1] 2026年10月9日星期五 15:30:08 UTC（2,303 KB）