arXiv cs.CL· Adarsh Singh, Aman Singh, Kushal Raj Bhandari, Soham Dan, Anoop Kumar, Vivek Gupta·· 11 小时前AI 评分31
EKLAV：仅用答案监督、将教师思维链作为特权上下文的推理蒸馏方法
EKLAV: Elicited Key CoT Learning via Answer only superVision
AI 导读
EKLAV 提出一种推理蒸馏方法：把教师的思维链保留在输入中作为特权上下文，但只用最终答案做监督。在 BRIGHT 段落重排上，它在两个模型族的四个测试检查点均提升平均 nDCG@10，48 组模型-领域对比中胜出 41 组，训练算力最多降低 31.6%、推理时间最多降低 32.7%。在四个留出表格重排基准中三个取得最优，平均超过全轨迹蒸馏 3.0 分、超过无推理的纯答案训练 5.5 分。
正文 · AI 翻译
摘要：推理蒸馏训练学生复现教师的思维链轨迹及其最终答案。我们探讨：将轨迹用作特权训练上下文是否比用作模仿目标更有效。EKLAV 将教师的推理保留在输入序列中，但仅监督最终任务答案，并采用依赖任务的放置方式，将部分或全部轨迹移入提示中。在 BRIGHT 段落重排序任务上，EKLAV 在两个模型系列的四个测试检查点上均提升了平均 nDCG@10，在 48 项模型-领域比较中赢得 41 项，同时将训练计算量最多降低 31.6%，推理时间最多降低 32.7%。在四个留出的表格重排序基准上，它在三个基准上为四种条件中最佳，平均超过全轨迹蒸馏 3.0 分，超过无推理的仅答案训练 5.5 分。对生成轨迹的分析表明，EKLAV 学生将首次口头裁决推迟得更晚（相对位置 0.76 对 0.44），反转决策更少（5% 对 16%），且其推理对自身排名的预测性优于 STD-COT，但弱于基础模型。该方案复用固定的教师语料，无需学生 rollout 或迭代式教师反馈，且适用于逐点和列表式两种形式。代码和数据见 此 https URL
| 评论： | 8 页，3 幅图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；信息检索（cs.IR） |
| 引用为： | arXiv:2607.25182 [cs.CL] |
| （或 arXiv:2607.25182v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2607.25182 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Adarsh Singh [查看邮箱]
[v1]
2026年7月28日星期二 01:23:04 UTC（881 KB）
[v2]
2026年10月16日星期五 09:04:49 UTC（2,244 KB）
来源：arXiv cs.CL · arxiv.org