arXiv cs.CL· Yijun Zhu, Jianxin Wang, Chengchao Shen·· 10 小时前AI 评分31
FPRT：面向推理蒸馏的失败画像与可达轨迹选择方法
Failure Profiling and Reachable Trajectory Selection for Reasoning Distillation
AI 导读
研究者提出 FPRT（Failure Profiling and Reachable Trajectory Selection）方法，通过重复采样刻画学生模型的错误率与错误一致性以区分失败模式，再按模式定制提示策略生成教师候选，并优先选择分歧点后初始推理步骤最易被学生复现的轨迹。
正文 · AI 翻译
摘要：利用更大教师模型生成的推理解答来训练较小的语言模型，是迁移数学推理能力的通行做法。然而，学生模型容易过拟合教师模型的输出分布，当其在推理时的自身行为偏离训练数据时，泛化能力较差。近期方法试图通过引入错误数据来弥合这一差距，但纠错轨迹仍反映教师模型的推理模式，学生模型无法可靠地复现这些模式，分布不匹配问题基本未得到解决。我们提出一种方法——失败画像与可达轨迹选择（FPRT），其核心洞见是：有效的训练数据应由学生模型在哪些问题上失败以及它实际能学会什么共同决定。我们的方法首先通过重复采样刻画学生模型在每个问题上的失败行为，以错误率和错误一致性来表征，从而揭示性质上不同的失败模式。每种模式需要根本不同的训练信号。诊断出的模式随后通过针对每种失败类型定制的不同提示策略，指导从教师模型生成候选。在正确的候选中，我们的方法选择其分歧点之后初始推理步骤最易被学生模型复现的那一个。这些最初的纠错步骤构成主要瓶颈，而其余步骤则遵循已经纠正的上下文，因此更容易继续。这与标准重排序方法形成对比，后者对整个轨迹打分，从而稀释了关键推理转折处的信号。实验表明，我们的方法在两个学生骨干模型上的五个基准测试中均达到 SOTA 性能。
| 评论： | 被 NeurIPS 2026 接收。源代码和训练权重可在 \url{此 https URL} 获取 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.09042 [cs.CL] |
| （或 arXiv:2611.09042v1 [cs.CL] 获取此版本） | |
| https://doi.org/10.48550/arXiv.2611.09042 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chengchao Shen [查看邮箱]
[v1]
2026年11月6日星期五 06:14:20 UTC（864 KB）
来源：arXiv cs.CL · arxiv.org