arXiv cs.CL· Yuxuan Wang, Guangxiang Zhao, Xinyu Tan, Yahui Han, Xinxiang Yin, Zhonghai Wu, Xiangzheng Zhang, Lin Sun, Tong Yang·· 3 天前AI 评分22
超越分布匹配：选择性边界保持的监督微调方法 SRP-SFT
Beyond Distribution Matching: Selective Margin Preservation for Supervised Fine-Tuning
AI 导读
研究者提出选择性排名保持 SFT（SRP-SFT），一种软边界目标：对参考模型 top-K 非目标 token 对的参考缩放下界施加 hinge 约束，在固定 teacher-forced 前缀处应用，达到所需下界即停止。
正文 · AI 翻译
摘要：监督微调（SFT）在教师强制前缀下改变了非目标 token 之间的 logit 差距。匹配局部参考分布可以保持这些概率，同时也会惩罚差距扩大。我们探究一种软辅助目标能否在不冻结该分布的情况下，保留选定的局部非目标差距关系。我们提出 \textbf{选择性秩保持 SFT（SRP-SFT）}，一种软差距目标：对来自参考 top-$K$ 非目标 token 的 token 对，在固定教师强制前缀处，对其参考缩放下界施加 hinge 损失。一旦满足所要求的下界，hinge 即停止。我们推导了违反差距的 KL 代价，刻画了可行域及其条件效用，并给出了减少总违反次数的有限步条件。在 Qwen3-4B-Base 和 UltraFeedback 上的单轮实验中，该目标在全部三个训练随机种子下，相较 CE 和 LP-SFT 提升了 MATH-500 和代码生成分数。在种子 1234 下，相较 LP-SFT，MATH-500 pass@1 从 49.56\% 提升至 54.56\%，四项指标代码均值从 65.91\% 提升至 69.50\%。排序控制、留出缓存诊断、敏感性扫描以及六个额外骨干模型展示了这些分数变化出现的位置。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19685 [cs.LG] |
| （或使用 arXiv:2610.19685v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.19685 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuxuan Wang [查看邮箱]
[v1]
2026年10月14日星期三 07:09:26 UTC（440 KB）
来源：arXiv cs.CL · arxiv.org