arXiv cs.AI· Yashuo Luo, Qianren Mao, Ziqi Qin, Junnan Liu, Haitao Li, Qili Zhang, Yuan Gao, Zhijun Chen, Xu Wang·· 11 小时前AI 评分31
CARD：将求解轨迹转化为教学轨迹的认知对齐推理蒸馏框架
From Solver Trajectories to Teaching Trajectories: Cognition-Aligned Reasoning Distillation
AI 导读
研究者提出基于 RL 的认知对齐推理蒸馏框架 CARD，将大推理模型的求解轨迹直接转化为与学生认知对齐的教学轨迹，无需昂贵重采样。CARD 用分布对齐奖励和逻辑连贯性奖励两个信号优化，在多个学生模型和设置上优于原始教师轨迹蒸馏，域外性能提升显著。代码已开源。
正文 · AI 翻译
摘要：从大型推理模型（LRM）中进行知识蒸馏，通常使用原始的教师轨迹作为监督。然而，这种做法会造成蒸馏目标与教师轨迹性质之间的不匹配。先进的 LRM 通常通过奖励驱动的后训练（如 RLHF）来提升其推理能力。这种训练将它们优化为强大的解题者，而不是能够产出小模型易于学习的推理过程的教师。由于小模型与更大的教师模型相比具有不同的“认知容量”，直接模仿原始教师轨迹有时效果不佳，且往往需要大量高质量样本。为弥合这一不匹配，我们提出认知对齐推理蒸馏（CARD），这是一个基于 RL 的框架，可将解题者轨迹转化为与学生认知对齐的教学轨迹。为避免昂贵的重采样，我们的框架直接转换现有轨迹。我们用两种奖励信号优化 CARD：（1）分布对齐奖励，用于匹配学生的预测分布；（2）逻辑连贯性奖励，用于减少误导性的失败推理步骤。在多个学生模型和设置上的全面评估表明，CARD 在域内设置中优于从原始教师轨迹进行蒸馏，同时在分布外性能上取得显著提升。代码可在 此 https URL 获取。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.36445 [cs.AI] |
| （或 arXiv:2610.36445v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36445 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yashuo Luo [查看电子邮件]
[v1]
2026年10月27日星期二 00:46:23 UTC（1,613 KB）
来源：arXiv cs.AI · arxiv.org