arXiv cs.CL· Shuaishuai Zu, Jihao Zhao, Pengfei Li, Guanghuan Fang, Ben Feng, Yuhan Liu, Biao Qin, Baochuan Yang·· 11 小时前AI 评分22
O²PD：基于可靠前缀的重叠门控在线策略蒸馏
O$^2$PD: Overlap-Gated On-Policy Distillation on Reliable Prefix
AI 导读
研究提出 O²PD（Overlap-gated On-Policy Distillation），仅在学生 rollout 的 20% 前缀 token 上做对齐，因为定量分析显示学生轨迹前缀上的教师监督比完整上下文更可靠。
正文 · AI 翻译
摘要：同策略蒸馏（OPD）通过将学生模型对齐到教师模型在其自身生成的 rollout 上的下一 token 分布，提供密集的 token 级监督。现有工作大多实现 top-$k$ OPD，在教师 top-$k$ 支撑集上对教师与学生的重归一化分布施加反向 Kullback-Leibler（$\RKL$）散度。然而，教师模型对学生生成的 rollout 打分时，这些 rollout 对教师自身而言本质上是离策略的，因此其下一 token 指导的可靠性尚不明确。将散度限制在教师 top-$k$ 支撑集上也会丢弃该支撑集之外的剩余概率质量。这些缺口留下两个隐含问题：1）对齐哪些 token，2）如何对齐这些 token。为回答这些问题，我们提出重叠门控同策略蒸馏（O$^{2}$PD）。针对 1），我们定量分析了教师监督的可靠性，发现对学生轨迹前缀进行对齐比在完整上下文上对齐更可靠。因此，我们的 O$^{2}$PD 仅应用于每个学生 rollout 的 20\% 前缀 token。针对 2），我们从理论上刻画了 top-$k$ OPD 的两个问题：\emph{教师支撑集未覆盖}与\emph{主导模式失配}。基于这些分析，我们提出两种支撑策略：\emph{重置支撑}策略为每个 token 附加一个重置原子，将教师 top-$k$ 之外的概率质量汇聚起来；\emph{支撑收敛}策略将支撑集收敛到已对齐的交集。我们的 O$^{2}$PD 采用所设计的重叠门控 $\alpha$-散度，在逐 token 对齐时于模式覆盖与模式寻求之间插值，其中重叠度用作门控来切换支撑集并自适应调节 $\alpha$。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07731 [cs.CL] |
| （或 arXiv:2611.07731v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07731 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zu Shuaishuai [查看邮箱]
[v1]
2026年11月5日星期四 09:43:03 UTC（511 KB）
来源：arXiv cs.CL · arxiv.org