arXiv cs.AI· Kai Liu, Peijie Dong, Xinchen Xie, Jianfei Gao, Qipeng Guo, Xiaowen Chu, Shaoting Zhang, Kai Chen·· 11 小时前AI 评分34
SWARR：架构感知强化学习让滑动窗口注意力在数学推理中具备竞争力
Architecture-Aware Reinforcement Learning Makes Sliding-Window Attention Competitive in Math Reasoning
AI 导读
SWARR 提出一套将预训练自注意力模型转为滑动窗口注意力（SWA）的两阶段方案：先用 SFT 高效转换、避免重新预训练基座模型，再用强化学习做策略适配。研究发现 SWA 在 SFT 后仍落后于 SA，部分原因是 SFT 数据与 SWA 架构不匹配，而 on-policy RL 能让自生成轨迹更好适配 SWA。
正文 · AI 翻译
摘要：推理与智能体大型语言模型（LLM）的快速进展增加了对长上下文推理的需求，但自注意力（SA）的计算量随上下文长度呈二次方增长。
为解决这一问题，我们研究了 SWARR（用于数学推理的带强化适应的滑动窗口注意力），这是一种将 SWA 模型适配到数学推理的实用方案。SWARR 分为两个阶段：（1）通过监督微调（SFT）将预训练的 SA 模型高效转换为 SWA，从而避免预训练新的基础模型；（2）通过强化学习（RL）进行策略适配。
我们发现，经过 SFT 后 SWA 仍不如 SA，我们推测这一差距部分源于数据与架构不匹配：大多数 SFT 数据是为 SA 模型准备的，可能包含 SWA 难以建模的长程依赖。由于同策略 RL 在 SWA 约束下优化自生成的轨迹，因此它能够调整轨迹以更好地匹配 SWA。
在数学推理基准上的实验表明，该方案大幅缩小了 SWA 与 SA 之间的差距，在保留线性复杂度注意力效率优势的同时，恢复了 SWA 转换过程中损失的大部分准确率。我们的核心贡献是一项实证发现：RL 会改变仅凭转换和 SFT 对 SWA 用于数学推理可行性所得出的结论。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2606.11634 [cs.AI] |
| （或 arXiv:2606.11634v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.11634 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kai Liu [查看邮箱]
[v1]
2026年6月10日 星期三 03:56:03 UTC（1,103 KB）
[v2]
2026年10月23日 星期五 15:47:04 UTC（1,055 KB）
来源：arXiv cs.AI · arxiv.org