arXiv cs.CL· Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou·· 3 天前AI 评分29
从 DeepSeek-R1 到 Qwen2.5-7B：John O'Bryan 数学竞赛上的推理模型知识蒸馏案例研究
Knowledge Distillation from Large Reasoning Models to Compact Student Models: A Case Study on the John O Bryan Mathematics Competition
AI 导读
一项案例研究将 DeepSeek-R1 的 CoT 推理能力蒸馏到 Qwen2.5-7B，在 John O'Bryan 数学竞赛题上把准确率从 64.67% 提升到 69.43%（5 次独立训练均值，标准差 0.17%），并在 MATH-500 上达到 73.1%。
正文 · AI 翻译
摘要：本文研究了从大型推理模型（DeepSeek-R1）到紧凑型学生模型（Qwen2.5-7B）的知识蒸馏。利用北肯塔基大学 John O'Bryan 数学竞赛的历史题目（2011-2025），我们通过双智能体框架构建了一个思维链（CoT）训练语料库。该数据集用于在 Apple Silicon 硬件上使用 MLX 框架，通过低秩适配（LoRA）对学生模型进行微调。基础 Qwen2.5-7B 模型在竞赛题目上达到 64.67% 的准确率，而 DeepSeek-R1 教师模型达到 91.40%。一次初始的 1,000 次迭代训练运行暴露出严重的过拟合，验证损失在第 200 次迭代达到最小值，随后稳步上升。基于这一发现，我们进行了五次独立的训练运行，每次限制为 200 次迭代，并使用不同的随机种子以评估结果的稳定性。在这五次运行中，微调后的学生模型在竞赛数据集上达到 69.43% 的平均准确率（标准差 0.17%），比基础模型提高了 4.76 个百分点，并在 MATH-500 基准上泛化到 73.1%（标准差 0.18%）。我们进一步研究了响应长度如何在六个推理级别（R1-R6）上影响答案质量：准确率从 R1 的 69.43%（平均 220 词）持续下降到 R6 的 41.9%（平均 31.2 词），其中两人速度部分对 token 减少最为敏感。这些结果表明，CoT 蒸馏改进了紧凑型学生模型，并且响应长度是数学推理质量的关键因素。
| 评论： | 15 页，3 幅图，7 张表。代码和数据可在 此 https URL 获取 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2606.31048 [cs.LG] |
| （或 arXiv:2606.31048v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.31048 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Gaurab Baral [查看电子邮件]
[v1]
2026年6月30日星期二 02:34:45 UTC（489 KB）
来源：arXiv cs.CL · arxiv.org