arXiv cs.CL· Ke Wang, Shuangqi Li, Mathieu Salzmann, Pascal Frossard·· 12 小时前AI 评分29
PriFT：用预训练先验引导监督微调
PriFT: Guiding Supervised Fine-Tuning with Pretrained Priors
AI 导读
PriFT 提出用冻结的预训练参考模型计算 token 权重，以“先验支持度”重加权监督微调目标，避免现有方法从当前微调模型取权重导致的自强化循环。该方法有两个实例：PriFT-prob 用预训练目标 token 概率，PriFT-mass 按预训练分布下的累积概率质量选 token。
正文 · AI 翻译
摘要：监督微调（SFT）是一种高效的下游任务适配方法，通常作为强化学习（RL）的初始化阶段，但其泛化能力可能弱于 RL。一个关键局限在于其离策略目标：SFT 逐 token 拟合固定的示范数据，包括与模型预训练分布对齐不佳的目标，这可能导致过拟合。近期一系列工作通过为与当前模型预测分布对齐更好的 token 分配更大的训练权重来解决这一问题，其直觉是拟合这些 token 对模型的知识和表征的扭曲更小。然而，从当前正在微调的模型计算 token 权重会使 token 权重与优化轨迹纠缠在一起，形成自我强化的循环，将监督信号集中到一组狭窄的初始偏好 token 上。为解决这一问题，我们提出 PriFT（先验支持引导的微调），它从冻结的预训练参考模型中导出 token 权重，以获得不受微调影响的稳定重加权信号。该信号估计先验支持：即每个目标 token 受预训练分布支持的程度。通过根据先验支持对 token 重新加权，PriFT 限制了对需要大幅偏离预训练分布的目标的过度适配，并提升了 SFT 的泛化能力。我们引入了两种实例化：PriFT-prob 使用预训练的目标 token 概率，而 PriFT-mass 根据预训练分布下的累积概率质量选择 token。在数学推理、代码生成和医学问答任务上，PriFT 在 SFT 基线中取得了最先进的结果，同时为后续 RL 提供了更强的初始化。
| 评论： | 前两位作者对本工作贡献相同；源代码见：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.09396 [cs.CL] |
| （或 arXiv:2606.09396v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.09396 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ke Wang [查看邮箱]
[v1]
2026年6月8日星期一 12:14:06 UTC（827 KB）
[v2]
2026年10月26日星期一 12:47:06 UTC（1,081 KB）
来源：arXiv cs.CL · arxiv.org