arXiv cs.AI· Zekun Shi, Alastair James Arthur Price·· 3 天前AI 评分28
FreeSolo：线性时间稀疏注意力实现零样本长度外推
FreeSolo: Linear-time Sparse Attention with Zero-Shot Length Extrapolation
AI 导读
FreeSolo 是一种原生稀疏注意力机制，通过短程滑动窗口分支与长程分支直接对关键点单元做 token 注意力，其线性时间变体 FS-L 经短 CPT 学习在查询相关选择前剪枝前缀，FS-B 以 O(N log² N) 算法成本搜索平衡树。无需长上下文微调，FreeSolo 的零样本长度外推表现优于基线。
正文 · AI 翻译
摘要：线性时间序列模型通常将长上下文信息存储在循环状态中。固定大小的状态限制了可存储的信息量，而为提升召回率加入完整注意力的混合架构则会带来二次方的序列开销。另一种方案是采用持续预训练（CPT）的稀疏注意力，可以扩展有效上下文长度。然而，超出训练长度的泛化仍然具有挑战性，而且 CPT 可能代价高昂。我们提出 FreeSolo，一种原生稀疏注意力机制，包含一个短程滑动窗口分支和一个长程分支，后者选择关键点单元以进行直接的 token 注意力。其线性时间变体 FS-L 通过短时 CPT 学习在查询相关选择之前对前缀进行剪枝。FS-B 搜索平衡树，其算法开销为 $O(N\log^2 N)$，包括基数排序构建。FreeSolo 在无需长上下文微调的情况下，展现出比基线更好的零样本长度外推能力。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用格式： | arXiv:2610.17191 [cs.LG] |
| （或 arXiv:2610.17191v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17191 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zekun Shi [查看邮箱]
[v1]
2026年10月12日星期一 17:55:45 UTC（233 KB）
来源：arXiv cs.AI · arxiv.org