arXiv cs.AI· Zhenxing Dou, Kun He, Mingyang Yi, Yong Liu·· 12 小时前AI 评分29
SRA：面向 LLM 推理增强的选择性残差适配框架
SRA: Selective Residual Adaptation for LLM Reasoning Enhancement
AI 导读
研究者提出即插即用框架 SRA，通过 Discrepancy Gate 定位师生模型推理路径上的稀疏分歧位置，并用 Candidate Residual Adapter 对 top-K logit 做校准，无需更新学生主干或运行时调用教师模型。在 Qwen3 0.6B 至 4B 的数学基准上，SRA 将蒸馏学生模型的平均 Pass@16 最高提升 4.37 个百分点，同时保持通用能力。
正文 · AI 翻译
摘要：知识蒸馏将大型语言模型的推理能力迁移到轻量级学生模型。然而，蒸馏得到的小模型在多步推理上仍然表现不佳。我们观察到，教师模型与学生模型在推理路径上的分布差异高度稀疏，且目标 token 几乎总是落在学生模型的前 $K$ 候选集内。基于这一发现，与更新学生模型骨干网络或需要运行时教师计算的方法不同，我们提出了选择性残差适配（SRA），这是一个即插即用的框架，可将局部修正内化。具体而言，SRA 采用差异门控来识别差异位置，并配合候选残差适配器对前 $K$ 个 logit 进行校准，以纠正不匹配。在理论上，我们建立了误差界，确保在序列层面获得严格的性能提升。在 Qwen3 模型（0.6B 至 4B）的数学基准测试中，SRA 持续提升蒸馏学生模型，平均 Pass@16 最高提升 4.37 个百分点，同时保持通用能力。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.34199 [cs.LG] |
| （或 arXiv:2610.34199v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34199 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhenxing Dou [查看邮箱]
[v1]
2026年10月25日星期日 10:30:10 UTC（2,208 KB）
来源：arXiv cs.AI · arxiv.org