arXiv cs.CL· Zinan Tang, Zhuoshi Pan, Kairui Chen, Ze Yan, Shaomian Zheng, Yukun Zhang, Gang Wang, Biqing Huang·· 2 天前AI 评分25
CoTranslator：将反向 CoT 翻译为正向 CoT 的推理蒸馏方法
CoTranslator: Reverse to Forward Chain-of-Thought Translator for Reasoning Distillation
AI 导读
CoTranslator 通过将反向 CoT 响应翻译为经过验证的正向响应分布，实现高效推理蒸馏。在六个数学基准上，它比语义抑制方法平均准确率最高提升 5.82 个百分点；对两个 4B 学生模型，以 35.9% 的估算算力保留了拒绝采样 95.0% 的平均准确率。
正文 · AI 翻译
摘要：推理蒸馏需要带有正确答案的思维链（CoT）数据，但高效获取此类数据仍具挑战性。先进行前向 CoT 生成（FCG）再进行拒绝采样（RS）可产生经过验证的、仅含问题的回答，但对于困难问题可能需要大量教师调用。反向 CoT 生成（RCG）成本更低，因为它以已知答案为条件，但获取该答案可能导致事后合理化，并与学生无答案的推理设置不匹配。我们提出 CoTranslator，它学习将反向 CoT 回答转换为经过验证的前向回答的分布。它在一小部分配对的反向回答与拒绝采样得到的前向回答上训练，支持大规模生成和验证学生训练数据。在六个数学基准上评估六个学生模型，CoTranslator 相比语义抑制将平均准确率提升最多 $5.82$ 个百分点。对于两个 4B 学生模型，它保留了拒绝采样平均准确率的 $95.0\%$，同时仅使用其估计计算量的 $35.9\%$。无需重新训练，同一转换器即可迁移到新的数学数据集、不同的教师以及 STEM 问题，对 4B 和 8B 学生模型分别将 STEM 平均准确率提升 $4.88$ 和 $4.31$ 个百分点。这些结果表明，CoTranslator 为推理蒸馏提供了一种高效且可迁移的方法。
| 评论： | 18 页，12 幅图，审稿中 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20828 [cs.CL] |
| （或 arXiv:2610.20828v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20828 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zinan Tang [查看邮箱]
[v1]
2026 年 10 月 14 日星期三 19:15:36 UTC（419 KB）
来源：arXiv cs.CL · arxiv.org