arXiv cs.CL· Hongbo Ma, Sansheng Cao, Jiajun Fan, Bangji Yang, Ge Liu·· 11 小时前AI 评分38
$S^3$：谱零空间交换让推理模型更高效
$S^3$: Spectral Null-Space Swap Makes Reasoning Models Efficient
AI 导读
研究者提出免训练模型组合方法 Spectral Null-Space Swap（$S^3$），将 Non-thinking 模型保留在其主奇异子空间内、只取 Thinking checkpoint 位于该子空间之外的部分。
正文 · AI 翻译
摘要：使用思维链训练的 LLM 在推理能力上表现出色，但往往伴随过高的 token 成本。我们发现，推理能力的核心在于 Thinking 模型权重中位于对应 Non-thinking 模型主导奇异方向所定义投影的零空间内的分量，移除该子空间分量可以在不损害思考模式后训练所获准确率的前提下大幅提升推理效率。与现有大多在主导子空间内开展的工作不同，我们首次揭示了零空间的关键作用并将其用于模型优化。受此发现启发，我们提出 Spectral Null-Space Swap（$S^3$），一种对成对 Non-thinking 与 Thinking 检查点的免训练组合方法。我们的方法将 Non-thinking 模型保留在其自身的主导子空间内，并取用其外的 Thinking 检查点，从而在保持准确率的同时提升推理效率。我们在 2B-30B 的稠密与混合专家（MoE）架构上广泛评估了 $S^3$，覆盖数学、多模态和音频推理领域的 28 个评测环境。$S^3$ 在免训练模型组合策略中建立了新的经验帕累托前沿：在所有设置下，相比完整的 Thinking 模型，它将推理 token 开销平均降低 27.4%，同时将整体任务准确率提升 1.0 个百分点（例如在 HMMT25 上取得 +8.3% 的准确率提升，并伴随 33.0% 的 token 加速）。我们进一步用注意力熵进行解释，发现保留的分量会产生更集中的注意力，并使用一个关于优化的简化分析模型来论证零空间为何能有效降低注意力熵，从而提升推理效率。
| 评论： | 44 页，9 张图，29 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2609.37976 [cs.LG] |
| （或使用 arXiv:2609.37976v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.37976 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hongbo Ma [查看邮箱]
[v1]
2026 年 9 月 29 日星期二 16:44:32 UTC（1,234 KB）
[v2]
2026 年 10 月 20 日星期二 04:36:05 UTC（1,233 KB）
来源：arXiv cs.CL · arxiv.org