研究：response ratio 更能预测指令微调效用

Vladimir Necula、David Gvadzabia 和 Sofia Serrano 提交的一项实证研究在固定微调预算下比较了多种样本级数据质量指标对指令微调训练效用的预测能力，结论是：由 response ratio 刻画的“答案密集监督”比常用替代代理指标更强、更可迁移。 研究按各指标分数将指令-回复样本分为低、中、高三个 token 质量大致相等的分箱，分别微调后，以验证困惑度和 LLM-as-judge 评分随累计训练 token 的变化进行比较。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。