arXiv cs.CL· Shaoang Li, Yanhang Shi, Yufei Li, Mingfu Liang, Frank Shyu, Sandeep Pandey, Luke Simon, Xi Liu, Jian Li·· 11 小时前AI 评分26
ReDiST：面向推理蒸馏的学生条件化轨迹构建框架
Beyond the Answer: Student-Conditioned Trace Construction for Reasoning Distillation
AI 导读
ReDiST 提出一种学生条件化的推理轨迹构建与蒸馏框架，从学生自身的解题草稿出发，依据给定证据修正答案正确的草稿，并借助已验证答案修复失败草稿。冻结的学生匹配阅读器按答案恢复率和验证答案概率对候选轨迹筛选排序，蒸馏时用辅助答案损失平衡轨迹监督与最终答案监督。在问答基准上，ReDiST 在源任务和跨基准测试中均优于仅答案监督、原始轨迹及所评估的轨迹选择与重写基线。
正文 · AI 翻译
摘要：推理轨迹可以伴随正确答案出现，却未必能为特定学生提供有效的监督。我们研究如何构建轨迹，使其在仅答案监督之外提升学习效果，同时考虑其中间内容与目标学习者的可接受性。我们提出 ReDiST，一个面向学生的、用于构建证据丰富推理的轨迹构建与蒸馏框架。ReDiST 从学生自身的尝试出发，依据所提供的证据修改答案正确的草稿，并借助已验证答案的额外指导修复未成功的草稿。一个冻结的、与学生匹配的阅读器在给定问题、证据和候选轨迹的情况下，利用答案恢复率和已验证答案概率对原始候选与编辑后候选进行筛选和排序。我们对选定的目标进行蒸馏，并通过辅助答案损失来平衡轨迹监督与最终答案监督。构建与选择在离线阶段完成，推理时仅使用蒸馏后的学生模型。在问答基准上的实验表明，相较于仅答案、原始轨迹以及所评估的轨迹选择与重写基线，ReDiST 能够同时提升源任务与跨基准的性能。在不同的监督方案中，源基准与迁移基准之间的性能排名可能不同，这凸显了在跨分布上评估轨迹教学效用的重要性。
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.23831 [cs.CL] |
| （或 arXiv:2610.23831v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.23831 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jian Li [查看邮箱]
[v1]
2026年10月16日星期五 17:52:58 UTC（1,450 KB）
来源：arXiv cs.CL · arxiv.org