arXiv cs.CL· Kavinda Kehelella, Sanghamitra Dutta·· 6 天前AI 评分21
COFFEQA：面向 LLM 问答的反事实引导少样本蒸馏
COFFEQA: Counterfactual-Guided Few-Shot Distillation for LLM Question Answering
AI 导读
研究提出 COFFEQA，一种用反事实样本引导 LLM 少样本蒸馏的策略，通过让教师模型改变答案的最小修改上下文，为困难事实样本提供额外监督。作者还提出 Context Following Difficulty（CFD）指标，在蒸馏前验证反事实样本。
正文 · AI 翻译
摘要：知识蒸馏旨在训练一个较小的学生模型来模仿较大的教师模型，以适用于资源受限的环境。然而，蒸馏过程通常数据密集且计算成本高昂，尤其是在生成任务中。少样本蒸馏通过使用有限的训练样本迁移教师知识，提供了一种替代方案。然而，我们观察到少样本蒸馏的性能在很大程度上取决于这些训练样本的选择。事实上，我们证明，使用靠近教师决策边界的更多不确定样本会显著降低蒸馏性能。受此观察启发，我们提出了开放书问答中的反事实引导少样本蒸馏（COFFEQA），这是一种新颖的策略，恰当地利用反事实来围绕具有挑战性的事实样本提供额外监督。在生成式问答设置中，我们将反事实定义为一种最小修改的上下文，它诱导教师将其回答改变为另一个答案。我们提供了关于事实-反事实对如何约束教师与学生决策边界之间偏差的几何见解。我们进一步引入了一个新指标——上下文遵循难度（CFD），它基于与预期替代答案的一致性和对修改后上下文的依赖性，在蒸馏前进一步验证反事实。COFFEQA 使用经 CFD 验证的事实-反事实对进行少样本蒸馏。使用 T5 和 Qwen2.5 系列在五个域内和三个域外问答基准上进行的实验表明，在相同的少样本预算下，COFFEQA 优于仅事实蒸馏基线。例如，在 TriviaQA 上，在 T5 设置下使用 32 个少样本对时，COFFEQA 相比仅事实基线平均提升 8.77 个 EM 点和 9.98 个 F1 点。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.12837 [cs.CL] |
| （或 arXiv:2610.12837v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.12837 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kavinda Kehelella [查看电子邮件]
[v1]
2026年10月9日星期五 00:41:00 UTC（571 KB）
来源：arXiv cs.CL · arxiv.org