arXiv cs.AI· Zhetong Zhang, Gayan K Kulatilleke·· 3 天前AI 评分22
SuPER-Mamba：面向 Mamba 长上下文路由的 Surprisal 优先化框架
SuPER-Mamba: Surprisal Prioritization for Extended-Context Routing in Mamba
AI 导读
SuPER-Mamba 是一个免训练框架，利用 Surprisal 作为模型内在信号，为预训练 Mamba 模型做长程状态路由，通过 Local Pooling 聚合邻近响应并优先更新 Global-Channel，无需查询相关打分或额外训练。
正文 · AI 翻译
摘要：状态空间模型为长序列提供了高效的线性复杂度处理，但其性能往往随着上下文长度的增长而下降。我们提出 SuPER-Mamba，这是一个免训练框架，使用 Surprisal 作为模型内在信号，用于预训练 Mamba 模型中的长程状态路由。SuPER-Mamba 从下一词元预测中计算逐位置的 Surprisal，通过局部池化聚合邻近响应，并使用所得分数来优先进行全局通道更新，而无需依赖查询的评分或额外训练。我们在 LongBench-E 基准上对三个状态空间模型评估了 SuPER-Mamba。结果表明，SuPER-Mamba 将平均分数从 8.06 提升至 15.69，相对于基础模型实现了 94.7% 的相对增益，并比最先进的先前基线提升了 13.1%。消融实验和长度维度分析进一步支持了所提出的路由框架的有效性。
| 评论： | 9 页，9 个表格，源代码 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16636 [cs.CL] |
| （或 arXiv:2610.16636v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16636 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Gayan Kulatilleke [查看电子邮件]
[v1]
2026年10月12日星期一 11:57:50 UTC（193 KB）
来源：arXiv cs.AI · arxiv.org