跳到正文
arXiv cs.AI· Yun Zhu Da Wang·· 4 小时前AI 评分31

Streaming On-Policy Distillation:解耦三个时钟以分阶段消费监督信号

Streaming On-Policy Distillation: Decoupling Three Clocks for Stage-Wise Supervision Consumption

AI 导读

研究提出流式在线策略蒸馏(streaming OPD),将响应生成、监督信号投递与参数更新三个时钟解耦,使响应在生成过程中持续投递新片段并仅对新位置计算损失。在 GSM8K 上以 VERL 将 Qwen3-4B 蒸馏至 Qwen3-0.6B,监督预算匹配把七个候选模型最佳测试准确率的早期差距从 4.55 分缩小到 2.42 分。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:在在线策略蒸馏(OPD)中,响应补全、监督信号传递和参数更新无需共享相同的粒度。我们通过解耦这三个时钟来开发流式 OPD:响应在生成持续进行的同时反复传递新生成的片段,在每次传递时保留完整的因果前缀,并仅在新位置上计算损失。随后,一种消费协议组织监督预算、位置选择、陈旧度处理和更新调度,从而允许在训练各阶段控制数量、覆盖范围和版本滞后。在 GSM8K 实验中,使用 VERL 将 Qwen3-4B 蒸馏到 Qwen3-0.6B 时,监督预算匹配将七个常见候选的最佳测试准确率之间的早期差距从 4.55 分缩小到 2.42 分。从同一检查点进行同步续训,在 u=384,...,576 时,七个常见候选的最佳测试准确率达到 73.39%,而同步方法为 74.30%,预算匹配方法为 71.95%(差异分别为 -0.91 和 -2.35 分);一项非配对的扩展记录达到 76.12%。新鲜度过滤和不一致重叠选择改善了局部峰值,但未建立持续优势。系统原型显示出更低的数据供给等待时间,但未建立等更新加速。质量恢复和供给端收益分别评估;端到端收益必须考虑续训成本。
评论: 37 页,8 张图
主题: 人工智能(cs.AI)
引用为: arXiv:2611.22298 [cs.AI]
  (或 arXiv:2611.22298v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22298

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Da Wang [查看电子邮件]
[v1] 2026 年 11 月 17 日星期二 06:55:10 UTC(152 KB)

来源:arXiv cs.AI · arxiv.org