流式在线策略蒸馏解耦三时钟
热点事件持续更新
流式在线策略蒸馏解耦三时钟
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
研究提出流式在线策略蒸馏(streaming OPD),把响应生成、监督信号投递与参数更新三个时钟解耦:响应在生成过程中持续投递新片段,每次投递保留完整因果前缀,且只对新位置计算损失。 在 GSM8K 上,研究者用 VERL 将 Qwen3-4B 蒸馏至 Qwen3-0.6B;据其报告,在监督预算匹配的条件下,七个候选模型最佳测试准确率的早期差距从 4.55 分缩小到 2.42 分。
AI 根据报道生成 · 1 小时前更新
最新进展11月18日 13:00
Streaming On-Policy Distillation:解耦三个时钟以分阶段消费监督信号报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- arXiv cs.AIStreaming On-Policy Distillation:解耦三个时钟以分阶段消费监督信号
研究提出流式在线策略蒸馏(streaming OPD),将响应生成、监督信号投递与参数更新三个时钟解耦,使响应在生成过程中持续投递新片段并仅对新位置计算损失。在 GSM8K 上以 VERL 将 Qwen3-4B 蒸馏至 Qwen3-0.6B,监督预算匹配把七个候选模型最佳测试准确率的早期差距从 4.55 分缩小到 2.42 分。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。