arXiv cs.AI· Haichen Hu, Yuheng Zhang, David Simchi-Levi·· 13 小时前AI 评分29
IterCaL：在无目标域奖励反馈下缓解 LLM 蒸馏中的教师偏差
Iterative Calibration and Learning: Mitigating Teacher Bias in LLM Distillation without Target-Domain Reward Feedback
AI 导读
研究者提出 IterCaL（Iterative Calibration and Learning），通过 token 级分支交替进行源奖励教师校准与学生在目标提示词上的学习，在缺少目标域奖励反馈时缓解 LLM 蒸馏中的教师偏差传播。
正文 · AI 翻译
摘要：当目标奖励反馈不可用时，大语言模型（LLM）蒸馏在协变量偏移下会传播教师偏差。我们提出迭代校准与学习（IterCaL），它通过 token 级分支交替进行源奖励教师校准，并在目标提示上让学生学习。我们证明了期望平均 KL 到 oracle 学生的多项式收敛，oracle 学生是可能被错误指定的学生类别内参考正则化的目标奖励最大化器；量化的源到目标校准差异给出了一个显式的加性真实回报项。我们的分离结果表明，对于每个共享参考惩罚，正则化直接教师匹配在其总体最优处仍保留正的 oracle-KL 误差，即使教师比每个学生都更强。在同一实例上，IterCaL 仅使用源奖励就收敛到 oracle。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；统计理论（math.ST）；机器学习（stat.ML） |
| 引用为： | arXiv:2609.17474 [cs.LG] |
| （或此版本的 arXiv:2609.17474v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2609.17474 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Haichen Hu [查看电子邮件]
[v1]
2026年9月15日星期二 17:15:40 UTC（102 KB）
[v2]
2026年10月29日星期四 03:09:44 UTC（122 KB）
来源：arXiv cs.AI · arxiv.org