arXiv cs.CL· Dicong Yu, Wenhua Wang, Tian Wang·· 10 小时前AI 评分31
Stepwise Querying：无需访问教师 CoT 的推理蒸馏方法
Stepwise-Querying: Distilling Reasoning without Access to Teacher Chain-of-Thought
AI 导读
Stepwise Querying 通过向黑盒教师模型分步独立提问，获取中间推导、有效性检查与修正，再组装成解答用于标准监督微调，无需访问教师内部 CoT。在两个教师、两个学生和四个数学与代码基准的 16 组对比中，该方法在 14 组取得最高分。作者还提出诊断指标 SEIG，GSM8K 分析显示错误答案轨迹若保留有效中间推理仍可有用。
正文 · AI 翻译
摘要：推理蒸馏被广泛用于通过教师生成的监督，将大语言模型的推理能力迁移给较小的学生模型。然而在黑盒设置下，教师可能只暴露最终答案和简要解答，中间计算与有效性条件不可获取，从而限制了可用于蒸馏的推理监督。我们提出逐步查询（Stepwise Querying），它无需访问教师内部的思维链（CoT）轨迹即可引出针对具体步骤的解释。对同一教师的独立查询会请求中间推导、有效性检查以及对各个步骤的修正，随后将组装好的解答用于标准的监督微调。在两个教师、两个学生以及四个数学与代码基准上，我们的方法在 16 次比较中有 14 次取得最高分（对比三个基线）。我们进一步引入逐步解释信息增益（SEIG），这是一种基于冻结学生在逐步解释与全局解释下正确完成步骤概率的对数比值的诊断指标。在 GSM8K 上的分析表明，错误答案轨迹在保留有效中间推理时仍可能有用，而进一步分解带来的额外收益有限。
| 评论： | 15 页，7 幅图，含附录 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41769 [cs.CL] |
| （或 arXiv:2610.41769v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41769 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dicong Yu [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 14:10:09 UTC（1,167 KB）
来源：arXiv cs.CL · arxiv.org