arXiv cs.CL· Jialin Yang, Jiankun Wang, Jiajun Wu, Henry Leung, Jiayu Zhou, Steve Drew·· 11 小时前AI 评分31
D-RPC：通过推理空间压缩实现结构化理由蒸馏
Structural Rationale Distillation via Reasoning Space Compression
AI 导读
研究者提出 D-RPC（Distillation through Reasoning Path Compression），通过让教师模型遵循一个动态维护的可复用高层推理路径库来生成更一致的推理理由，从而降低蒸馏中的监督噪声。
正文 · AI 翻译
摘要：在将大语言模型（LLM）的推理能力蒸馏到较小模型时，教师模型针对相似问题给出的推理过程在结构和策略上往往差异极大。就像一位厨师每次做同一道菜都采用不同做法，这种不一致性给学生模型带来了难以内化的噪声监督。我们提出通过推理路径压缩进行蒸馏（D-RPC），该方法约束教师模型遵循一个紧凑、动态维护的可复用高层推理路径库。对于每个训练问题，D-RPC 检索最相关的路径，并引导教师模型遵循该路径，从而生成在相似问题上保持一致、同时又足够多样以覆盖不同问题类型的推理过程。一项 PAC-Bayes 分析形式化了路径库规模与覆盖范围之间的权衡：较小的路径库会限制路径多样性，从而带来覆盖缺口的风险。我们的消融实验支持采用中等规模的路径库，这与上述权衡一致。在五个数学与常识推理基准、两个学生模型上，D-RPC 在所评估的蒸馏方法中取得了最高的平均准确率，同时使用的 token 数少于依赖大量模板的替代方法。
| 评论： | NeurIPS 2026 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.07139 [cs.CL] |
| （或 arXiv:2605.07139v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.07139 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jialin Yang [查看邮箱]
[v1]
2026年5月8日星期五 02:15:52 UTC（549 KB）
[v2]
2026年11月4日星期三 02:18:35 UTC（546 KB）
来源：arXiv cs.CL · arxiv.org