arXiv cs.CL· Hojun Cho, Kang Eun Jeon, Jaegul Choo·· 10 小时前AI 评分31
Adaptive-Policy Distillation：信息不对称下的知识注入方法
Adaptive-Policy Distillation: Knowledge Injection under Information Asymmetry
AI 导读
研究者提出 Adaptive-Policy Distillation（APD），在无标签、无验证器条件下将知识注入效果较 on-policy distillation（OPD）最高提升 54.6%，在 QASPER 上取得 0.558 F1、BioASQ 上取得 0.486 MRR 的最佳成绩。
正文 · AI 翻译
摘要：同策略蒸馏（OPD）通过对学生 rollout 施加反向 KL 监督，将上下文条件模型的行为迁移到学生模型参数中，以实现闭卷推理，已展现出强劲效果。然而，我们发现这一成功并不能迁移到知识注入上：在两个文档问答基准上，OPD 注入文档知识的效率远低于简单的异策略蒸馏。我们将这一反转归因于两种结构性失败，但它们在 token 位置上分布稀疏。反向 KL 的梯度由学生分布加权，因此几乎无法提升学生认为不太可能的文档特定 token；在前向 KL 恢复该信号后，学生 rollout 只有在正确生成前面的 token 之后才会暴露目标轨迹上的后续位置，因此覆盖率会随目标长度增加而恶化。受教师-学生散度集中于这些困难位置的启发，我们提出自适应策略蒸馏（APD），其逐 token 门控在需要时联合将 rollout 推向教师、将目标推向前向 KL，并随着学生学习而撤回这两种干预。在无标签或验证器的情况下，APD 相比 OPD 最高提升 54.6%，在 QASPER 上取得 0.558 F1、在 BioASQ 上取得 0.486 MRR 的最佳成绩。
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.00852 [cs.CL] |
| （或 arXiv:2611.00852v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00852 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hojun Cho [查看邮箱]
[v1]
2026年10月31日星期六 11:59:35 UTC（100 KB）
来源：arXiv cs.CL · arxiv.org