O²PD:仅对齐学生前缀20% token的在线蒸馏
热点事件持续更新
O²PD:仅对齐学生前缀20% token的在线蒸馏
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Shuaishuai Zu 等作者提出重叠门控在线策略蒸馏方法 O²PD,只对学生 rollout 的前 20% 前缀 token 做对齐,而非在完整上下文上施加教师监督。 作者称,定量分析显示学生轨迹前缀上的教师监督比完整上下文更可靠,因此以“重叠门控”限定蒸馏范围。目前该工作以 arXiv cs.CL 论文形式发布,尚未见独立复现或效果验证。
AI 根据报道生成 · 2 小时前更新
最新进展11月6日 13:00
O²PD:基于可靠前缀的重叠门控在线策略蒸馏报道时间线
沿着报道,了解事件的不同侧面。
11月6日
- arXiv cs.CLO²PD:基于可靠前缀的重叠门控在线策略蒸馏
研究提出 O²PD(Overlap-gated On-Policy Distillation),仅在学生 rollout 的 20% 前缀 token 上做对齐,因为定量分析显示学生轨迹前缀上的教师监督比完整上下文更可靠。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。