arXiv cs.AI· Yafeng Tang, Hao Li, Hongsheng Yu, Qiang Fu·· 9 天前AI 评分24
ReTeach：通过多轮反思与重试构建自教师模型
ReTeach: Building a Self-Teacher through Multi-Round Reflection and Retry
AI 导读
ReTeach 是一个反思式自蒸馏框架，仅用自生成尝试和结果级验证，通过多轮反思与重试构建自教师，无需参考答案、外部诊断反馈或跨样本记忆。在数学推理、科学问答和工具使用等六个基准上，ReTeach 平均准确率较 GRPO 提升 1.39 个百分点，学生模型经 on-policy 蒸馏后仍保持单次推理。
正文 · AI 翻译
摘要：自蒸馏无需单独训练一个能力更强的教师模型即可提升推理能力，但其效果取决于自教师模型如何相对于学生模型获得优势。让教师模型以参考答案或解答为条件可以提供这种优势，但这类信息可能无法获得。反思提供了一种从自生成尝试中推导出显式错误诊断和修订指导的方法，然而现有的基于反思的方法往往将其与参考信息、丰富的任务反馈或持久记忆相结合。我们提出 ReTeach，一个反思式自蒸馏框架，它仅通过自生成尝试和结果级验证，经由多轮反思与重试来构建其自教师模型。从一个不成功的学生 rollout 出发，教师模型交替进行显式反思与重新尝试，直到成功或重试预算耗尽，且不使用参考答案或解答、外部诊断反馈或跨样本记忆。每次失败的重试都为后续反思提供信息，而成功的纠正则为所得教师上下文潜在的有效性提供结果级证据。一种结果感知的选择与加权策略区分初始正确、经反思纠正和未解决的样本，并为其类别归一化蒸馏损失分配单独的权重。通过同策略蒸馏，学生模型在其自身 rollout 的前缀上匹配教师模型的上下文条件化 token 级预测分布，从而迁移迭代纠正的收益，同时保留单次推理。在涵盖数学推理、科学问答和工具使用的六个基准上，ReTeach 相比 GRPO 将平均准确率提升了 1.39 个百分点。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11529 [cs.AI] |
| （或 arXiv:2610.11529v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11529 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yafeng Tang 先生 [查看邮箱]
[v1]
2026年10月8日星期四 08:58:01 UTC（380 KB）
来源：arXiv cs.AI · arxiv.org