研究者提出 vOPD 稳定在线策略蒸馏
热点事件持续更新
研究者提出 vOPD 稳定在线策略蒸馏
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Minjae Oh 等作者提出 vOPD 方法，将在线策略蒸馏（OPD）视为策略梯度强化学习，并引入控制变量基线来降低梯度方差。该基线可闭式表示为学生与教师之间的逐 token 负反向 KL 散度，直接取自现有前向传播，无需额外 critic 或推理。 在数学、科学和指令遵循基准上，作者报告 vOPD 稳定优于基础 OPD，并达到最昂贵的全词表方法水平。
AI 根据报道生成 · 2 小时前更新
最新进展11月5日 13:00
vOPD：用控制变量基线稳定 On-Policy Distillation报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv cs.CLvOPD：用控制变量基线稳定 On-Policy Distillation
研究者提出 vOPD，将 On-Policy Distillation 视为策略梯度 RL，引入控制变量基线来降低梯度方差。该基线可闭式表示为学生与教师之间的逐 token 负反向 KL 散度，直接取自现有前向传播，无需额外 critic 或推理。在数学、科学和指令遵循基准上，vOPD 稳定优于基础 OPD，并达到最昂贵的全词表方法水平。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。