Baseten 实测梯度对齐奖励用于同策略训练
热点事件持续更新
Baseten 实测梯度对齐奖励用于同策略训练
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Baseten Base Labs 发布研究，用 Qwen3-8B 在四数字 Countdown 任务上测试“梯度对齐奖励”：以学生 rollout 与专家示范（由 Opus 5.5 生成）的 log-likelihood 梯度余弦相似度作为奖励，称仅需两次标准反向传播即可算出完整奖励。 实验显示，该奖励仍会像 SFT 一样偏向专家示范的具体措辞，未能完全摆脱对示范表述的依赖。
AI 根据报道生成 · 49 分钟前更新
最新进展11月14日 08:24
梯度对齐奖励能否让监督变成同策略？Baseten 用 Qwen3-8B 实测报道时间线
沿着报道，了解事件的不同侧面。
11月14日
- RadarAI梯度对齐奖励能否让监督变成同策略？Baseten 用 Qwen3-8B 实测
Baseten Base Labs 用 Qwen3-8B 在四数字 Countdown 任务上实测梯度对齐奖励，专家 rollout 由 Opus 5.5 生成。该方法用学生 rollout 与专家示范的 log-likelihood 梯度余弦相似度打分，仅需两次标准反向传播即可高效计算完整奖励。实验显示该奖励仍会像 SFT 一样偏向专家示范的具体措辞。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。