arXiv cs.AI· Yanxing Huang, Bingzhang Yan, Zihan Tang, Wenzhe Li, Peng Li, Yang Liu·· 14 小时前AI 评分31
从分布匹配视角统一理解 LLM 训练算法
A Distribution-Matching Perspective on LLM Training Algorithms
AI 导读
研究者提出一个基于分布匹配的统一框架，将 LLM 各阶段训练算法解释为最小化当前模型与目标分布间的某种散度。分析表明，当前模型分布接近目标分布时 On-Policy Distillation（OPD）优于经典 Knowledge Distillation（KD），两者相距较远时则相反；目标分布依赖被优化模型时，估计方差累积会导致目标分布确定性退化。
正文 · AI 翻译
摘要：在本工作中，我们从分布匹配的视角出发，提出了一个用于训练现代大语言模型开发不同阶段算法的统一框架。我们表明，一大类语言模型训练算法可以被解释为最小化当前模型与目标分布之间的某种散度，并且刻画该目标分布的性质能够为相应训练算法的行为提供深刻洞见。通过分析目标分布的具体形式，我们确立了：当当前模型分布接近目标分布时，On-Policy Distillation（OPD）相较于经典 Knowledge Distillation（KD）具有优势，而当两个分布相距较远时则表现出劣势。此外，当目标分布本身依赖于正在被优化的模型时，我们表明估计方差的累积会导致目标分布发生确定性退化。这些结果至少部分地为现有强化学习（RL）算法的长期行为提供了理论解释。基于这一直觉，我们进一步设计了 Conditional KL（CKL）正则化，以缓解目标分布的退化。CKL 能够在放宽经典 KL 正则化对奖励提升所施加的约束的同时，有效保持模态多样性。我们相信这一理论视角能够为语言模型训练算法带来一些新的理解，并为未来研究提供有益的指导。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.33740 [cs.LG] |
| （或 arXiv:2610.33740v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33740 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yanxing Huang [查看邮箱]
[v1]
2026年10月24日星期六 15:30:39 UTC（1,029 KB）
来源：arXiv cs.AI · arxiv.org