arXiv cs.CL· Jiabin Fan, Guoqing Luo, Michael Bowling, Lili Mou·· 11 小时前AI 评分24
KETCHUP：面向序列知识蒸馏的 K 步回报估计方法
KETCHUP: K-Step Return Estimation for Sequential Knowledge Distillation
AI 导读
KETCHUP 提出一种用于文本生成任务中基于强化学习（RL）的知识蒸馏（KD）的 k 步回报估计方法，通过 Bellman 最优方程推导多步回报。理论分析表明该形式可降低梯度估计方差，在学生模型规模较大时改善 RL 优化。在三个文本生成任务上，该方法在标准任务指标和基于 LLM 的评测中均取得更优表现，论文已被 EACL 2026 接收。
正文 · AI 翻译
摘要：我们提出了一种新颖的 k 步回报估计方法（称为 KETCHUP），用于文本生成任务中基于强化学习（RL）的知识蒸馏（KD）。我们的思路是利用贝尔曼最优方程对多步进行推导，从而得到 K 步回报。理论分析表明，这种 K 步形式降低了梯度估计的方差，因此在学生模型规模较大时能够改善 RL 优化。在三个文本生成任务上的实证评估表明，我们的方法在标准任务指标和基于大语言模型（LLM）的评估中均取得了更优的性能。这些结果表明，我们的 K 步回报推导为增强 LLM 研究中基于 RL 的 KD 提供了一个有前景的方向。
| 评论： | 被 EACL 2026 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2504.19024 [cs.CL] |
| （或 arXiv:2504.19024v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2504.19024 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Findings of the Association for Computational Linguistics: EACL 2026 |
| 相关 DOI： | https://doi.org/10.18653/v1/2026.findings-eacl.39
链接到相关资源的 DOI |
提交历史
来自：Jiabin Fan [查看邮箱]
[v1]
2025 年 4 月 26 日星期六 21:21:04 UTC（307 KB）
[v2]
2026 年 10 月 19 日星期一 21:36:25 UTC（273 KB）
来源：arXiv cs.CL · arxiv.org