SFT-as-Context：用上下文缓解监督微调中的遗忘

查看 PDF HTML（实验性）

摘要：有监督微调（SFT）赋予大语言模型（LLM）专门能力，但往往以遗忘其父模型（即微调前的预训练模型）的通用能力为代价。这种权衡在同时需要专门能力和通用能力的查询上尤其受限。我们提出 SFT-as-context，一种无需训练的方法，其中父模型使用 SFT 模型的回答作为上下文来回答查询。这使父模型能够通过上下文学习从 SFT 回答中获取微调能力，同时保留自身的通用能力。在 19 对父模型-SFT 模型组合和 11 个基准测试上，SFT-as-context 在微调能力上接近 SFT 模型，在 AIME 2024 和 LiveCodeBench 上差距仅为 2.2 和 2.1 个百分点，在 NutriBench-English 上宏观 MAE 为 2.0，同时在通用能力上平均与父模型保持在 2.2 个百分点以内。值得注意的是，它能够解决同时需要微调能力和通用能力的查询，即使父模型和 SFT 模型单独都无法成功。该方法还扩展到父模型-SFT 模型组合之外：来自一个小型开源 SFT 模型的回答可以提升一个强大的闭源 LLM，表现优于任一模型单独使用。此外，我们使用贝叶斯框架推导出理论保证，界定了 SFT-as-context 在微调能力上相对于 SFT 模型、在通用能力上相对于父模型的误差。另外，我们将注意力权重可视化，发现父模型对有用的 SFT 回答关注更多，对无关回答关注更少，这表明选择性注意力有助于父模型通过上下文学习利用 SFT 回答。

提交历史

来自：Kenan Tang [查看电子邮件]
[v1] 2026年10月8日星期四 02:57:28 UTC（244 KB）