arXiv cs.AI· Huihao Jing, Wenbin Hu, Shaojin Chen, Haochen Shi, Zhongwei Xie, Guijia Zhang, Yuxuan Liu, Haoyu Huang, Haoran Li, Yangqiu Song·· 3 天前AI 评分22
SoFT：面向可泛化 LLM 微调的软目标方法
SoFT: Soft Targets for Generalizable LLM Fine-Tuning
AI 导读
研究者提出软目标微调（SoFT），通过为每个示范 token 设定最低目标概率、并对 Base 分布做最小 KL 改动，在从教师示范学习与保留 Base 模型原有能力之间取得平衡。该方法用领域特定梯度预算控制这一平衡，并为每条轨迹确定概率阈值。在混合域推理与智能体任务上，SoFT 在分布内能力获取和分布外泛化上均取得对比方法中的最佳整体表现。
正文 · AI 翻译
摘要：蒸馏使学生语言模型能够从专家教师处获得新能力。然而，将来自多教师、多领域示范的知识整合到单个学生模型中仍然具有挑战性。我们研究了该设定下的监督微调（SFT），其中学生必须获得多样化的能力，同时在训练任务之外保持泛化能力。我们的实验揭示了不同 SFT 方法在分布内学习与分布外泛化之间存在不同的权衡，促使我们更明确地控制这一平衡。为此，我们提出软目标微调（SoFT），以平衡从教师示范中学习与保留基础模型已有能力。SoFT 为每个被示范的 token 设定最低目标概率，同时对基础分布做出最小的 KL 改变。由此得到的目标函数将从示范中学习与对基础模型的自适应加权正则化耦合起来。我们进一步使用特定领域的梯度预算来控制这一平衡，并为每条轨迹确定一个概率阈值。在混合领域推理和智能体任务上的实验表明，SoFT 在对比方法中取得了最佳整体性能，在分布内能力获取和分布外泛化方面均有提升。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.32493 [cs.LG] |
| （或使用 arXiv:2609.32493v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.32493 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Huihao Jing [查看邮箱]
[v1]
2026年9月26日星期六 11:36:04 UTC（687 KB）
[v2]
2026年10月13日星期二 10:01:49 UTC（687 KB）
来源：arXiv cs.AI · arxiv.org