arXiv cs.CL· Jiaming Su, Suorong Yang, Xudong Li, Tengchao Yang, Peng Ye·· 6 天前AI 评分34
BoundaryEvo：面向长链推理蒸馏的能力边界数据-模型协同演化
BoundaryEvo: Data-Model Co-Evolution at the Capability Boundary for Long-Chain Reasoning Distillation
AI 导读
BoundaryEvo 是一个两阶段数据-模型协同演化框架，用于长链推理蒸馏：先通过 Capability Priming 直接蒸馏少量教师长推理轨迹建立基础推理能力，再在 Capability-Boundary Co-Evolution 中持续筛选学生尚未掌握但专家能可靠解答的问题。
正文 · AI 翻译
摘要：从大型教师模型中蒸馏长链推理轨迹是提升小语言模型推理能力的有效途径。然而，现有方法通常在蒸馏前选择固定的训练集，忽略了推理样本的有用性会随着学生模型的演进发生变化。当可用于训练的教师轨迹数量有限时，这种不匹配的代价尤为高昂。此外，学生模型已掌握的样本提供的新监督信息很少，而远超学生能力的样本又可能难以学习。因此，训练数据应随模型能力的演进动态调整，但当学生模型初始能力较弱时，可靠的数据选择十分困难。为应对这些挑战，我们的核心思路是先建立基本推理能力，再让训练数据适应学生模型不断演进的能力边界。我们提出 BoundaryEvo，一个两阶段的数据—模型协同演进框架。在能力启动阶段，我们直接蒸馏一小组由教师生成的长推理轨迹，不使用单独的模型进行判断和过滤，使学生模型在具备能力感知的数据选择之前先获得初始推理能力。在能力边界协同演进阶段，我们反复选择当前学生模型尚未掌握但专家能够可靠解决的问题，并随着学生模型的演进更新训练数据。仅使用 1,000 个训练样本，BoundaryEvo 在 11 个推理基准上持续优于静态和动态数据选择基线，将原始 Qwen3.5-4B 在 IMO-AnswerBench 上的准确率从 62.9 提升至 75.3，在 AMO-Bench 上从 26.8 提升至 46.0。代码和数据将公开发布。
| 评论： | 29 页，7 张图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13285 [cs.AI] |
| （或 arXiv:2610.13285v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13285 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiaming Su [查看邮箱]
[v1]
2026年10月9日星期五 09:37:33 UTC（3,035 KB）
来源：arXiv cs.CL · arxiv.org