arXiv cs.CL· Giannis Daras, Marios Papachristou, Adam Klivans, Antonio Torralba, Constantinos Daskalakis·· 23 小时前AI 评分34
Ambient LLMs:通过温度匹配实现数据高效监督微调
Ambient LLMs: Data-Efficient Supervised Fine-tuning via Temperature Matching
AI 导读
研究者提出 Ambient SFT,用预训练模型的“冻结”版本作为噪声教师,要求微调模型的高温条件分布与预训练模型的高温版本在粗粒度上匹配,温度超参数控制对预训练模型的信任程度,T→∞ 退回常规 SFT,T=1 则为知识蒸馏。该方法在领域适应、指令微调和推理任务上均优于标准 SFT,平均相对提升最高达 21%。
正文 · AI 翻译
摘要:为自回归语言模型收集大规模、多样化且高质量的后训练数据集具有挑战性。因此,监督微调(SFT)通常应用于比预训练所用数据集小得多的数据集,这会导致过拟合以及对数据分布尾部的灾难性遗忘。为防止这种崩溃,我们引入了 Ambient SFT,这是一个利用不完美预测来扩充微调集的原则性框架。在我们的方法中,预训练模型的“冻结”版本充当一个带噪声的教师,微调后的模型必须在粗粒度层面上与之匹配。具体而言,我们要求后训练模型产生的条件分布的高温版本应与预训练模型的高温版本相匹配。温度超参数控制对预训练模型的信任程度,极限 $T\to \infty$ 时退化为常规 SFT,$T=1$ 时为知识蒸馏。我们证明,我们的方法在领域适应、指令微调和推理方面均优于标准 SFT,相对标准 SFT 平均提升最高达 $21\%$。
| 评论: | 进行中的工作 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.23229 [cs.LG] |
| (或 arXiv:2611.23229v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23229 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Giannis Daras [查看邮箱]
[v1]
2026年11月17日星期二 18:59:37 UTC(171 KB)
来源:arXiv cs.CL · arxiv.org