跳到正文
热点事件持续更新

SFT 数据配比技巧:低数据接近 RL 表现

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

有分析称,SFT 若数据配比和训练技巧得当,可在 2.5–5 千万 token 内达到接近 RL 的性能且不降级。 该分析建议避免使用 100% 教师轨迹和低 batch size 训练,推荐混入 25% 高质量学生轨迹,并扩大 batch size、调整学习率。上述效果为分析者说法,尚未见独立验证。

AI 根据报道生成 · 54 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. RadarAI
    SFT 训练数据配比与技巧解析:低数据实现接近 RL 表现

    SFT 做得好可在 2.5-5 千万 token 内达到接近 RL 的性能且不降级,关键在于数据配比与训练技巧。应避免 100% 教师轨迹和低 batch size 训练,推荐混入 25% 高质量学生轨迹并扩大 batch size、调整学习率。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。