arXiv cs.CL· Hee Seung Hwang, Sanghyuk Chun, Xindi Wu, Olga Russakovsky, Zhiwei Deng·· 12 小时前AI 评分31
MERLIN：用二阶路由改进多状态线性注意力，提升长上下文建模
Multi-State Linear Attention with Generalized Second-Order Routing
AI 导读
MERLIN（MomEnt Routing for multi-state LINear attention）通过追踪每个上下文分段 key 的一阶与二阶矩，让查询同时恢复对齐的均值与方差，实现更内容感知的多状态聚合。
正文 · AI 翻译
摘要：自注意力在长序列建模中发挥着关键作用，但其二次时间复杂度从根本上限制了大语言模型的扩展。最近，研究者提出了多状态线性注意力（MSLA）机制，通过将上下文切分为多个片段并分别压缩到各自的内存状态中，使序列建模更加高效。MSLA 在聚合从各内存状态中提取的信息时，仅使用查询与每个片段键之间的均值对齐，忽略了该对齐在片段内部的分布情况。为了更全面地建模片段与查询的相关性，并在聚合中纳入对齐的方差，我们提出了 MERLIN（多状态线性注意力的矩路由），该方法跟踪每个片段键的一阶矩和二阶矩。利用键的矩，查询可以恢复其与每个片段对齐的均值和方差，从而对各状态的读出进行更具内容感知的聚合。在 Gated DeltaNet-1.3B 和 Mamba-2-780M 的多状态变体上进行的实验表明，MERLIN 在各种长上下文任务上始终优于现有的聚合方法。特别是，MERLIN 在 RULER 大海捞针和长上下文问答任务上优于基线（Gated DeltaNet-1.3B 提升 8.3%，Mamba-2-780M 提升 7.0%），在 LongBench 的多个子任务上也优于基线（分别提升 13.5% 和 12.0%）。它甚至优于消耗 4 倍内存的基线。MERLIN 提供了一种简单而通用的路由机制，用于提升 MSLA 模型的长上下文能力。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.37645 [cs.CL] |
| （或 arXiv:2610.37645v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37645 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hee Seung Hwang [查看邮箱]
[v1]
2026年10月27日星期二 17:55:49 UTC（335 KB）
来源：arXiv cs.CL · arxiv.org