跳到正文
热点事件持续更新

O²PD:仅对齐学生前缀20% token的在线蒸馏

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Shuaishuai Zu 等作者提出重叠门控在线策略蒸馏方法 O²PD,只对学生 rollout 的前 20% 前缀 token 做对齐,而非在完整上下文上施加教师监督。 作者称,定量分析显示学生轨迹前缀上的教师监督比完整上下文更可靠,因此以“重叠门控”限定蒸馏范围。目前该工作以 arXiv cs.CL 论文形式发布,尚未见独立复现或效果验证。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. arXiv cs.CL
    O²PD:基于可靠前缀的重叠门控在线策略蒸馏

    研究提出 O²PD(Overlap-gated On-Policy Distillation),仅在学生 rollout 的 20% 前缀 token 上做对齐,因为定量分析显示学生轨迹前缀上的教师监督比完整上下文更可靠。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。