跳到正文
RadarAI· 山景城小路·· 4 小时前AI 评分30

SFT 训练数据配比与技巧解析:低数据实现接近 RL 表现

AI 导读

SFT 做得好可在 2.5-5 千万 token 内达到接近 RL 的性能且不降级,关键在于数据配比与训练技巧。应避免 100% 教师轨迹和低 batch size 训练,推荐混入 25% 高质量学生轨迹并扩大 batch size、调整学习率。

来源:RadarAI · bestblogs.dev