arXiv cs.CL· Jinjun Peng, Magnus Saebo, Tianjun Zhong, Junfeng Yang, Shi-Xiong Zhang, Baishakhi Ray, Simin Chen, Yangruibo Ding·· 3 天前AI 评分36
SWE-Spot：用仓库中心学习打造小型代码库专家模型
SWE-Spot: Building Small Repo-Experts with Repository-Centric Learning
AI 导读
针对小型开源权重模型缺乏对陌生代码库泛化能力的问题，研究者提出仓库中心学习（RCL），以单仓库纵向深度替代跨仓库的任务中心学习（TCL），并据此训练出 SWE-Spot-4B 系列仓库专家模型。
正文 · AI 翻译
摘要：在隐私敏感和资源受限的环境中部署编码智能体，推动了对能力强大的开放权重小语言模型（SLM）的需求。然而，它们存在一个根本性的能力差距：与前沿大模型不同，它们缺乏推理时的强泛化能力，无法处理复杂、陌生的代码库。我们发现，当前主流的任务中心学习（TCL）方法——通过在不同仓库间扩大暴露来扩展——无法解决这一局限。为此，我们提出仓库中心学习（RCL），这一转变在 SLM 训练中优先考虑纵向的单仓库深度，而非横向的单任务广度。为实现这种深度，我们设计了一个四单元的仓库中心经验，将静态代码库转化为交互式学习信号，以训练 SWE-Spot-4B，这是一个作为仓库专家构建的高度紧凑模型系列。在相同教师和数据预算的受控比较下，RCL 在任务、教师、模型规模和编程语言上均持续优于 TCL。在七个目标仓库上，SWE-Spot-4B 专家匹配或超越了现有开放权重模型（规模最高达其 $8\times$，例如 Meta 的 CWM、Qwen3-Coder-30B），并在多个 SWE 任务上超越或匹配以效率为重点的商业模型（例如 GPT-4.1-mini、GPT-5-nano）。进一步分析表明，RCL 带来更高的训练和推理效率、深度知识获取，并可扩展到仓库集群专家。我们的工作强调，对于构建高效智能，仓库精通是一个独特、必要且实用的维度，与通用编码能力相辅相成。
| 评论： | 大幅修订 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；软件工程（cs.SE） |
| 引用为： | arXiv:2601.21649 [cs.LG] |
| （或 arXiv:2601.21649v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.21649 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Jinjun Peng [查看电子邮件]
[v1]
2026年1月29日星期四 12:49:25 UTC（331 KB）
[v2]
2026年10月13日星期二 18:52:58 UTC（312 KB）
来源：arXiv cs.CL · arxiv.org