arXiv cs.CL· Fei Wu, Zhenrong Zhang, Jianshu Zhang, Jun Du·· 3 天前AI 评分24
VASPO：用特权价值估计实现自蒸馏的策略优化方法
VASPO: Self-Distillation with Privileged Value Estimation
AI 导读
VASPO 将特权自蒸馏信号与 PPO 结合，由 critic 基于预测的续写回报计算 token 级优势，自教师则通过有界概率比对选定的正优势进行调制。在六个数学推理基准上，VASPO 在 Qwen3-4B 和 OLMo3-7B 上平均准确率分别较 PPO 提升 2.59 和 1.81 个百分点，并在 Knights and Knaves 上取得所评估方法中的最高平均准确率。代码已开源。
正文 · AI 翻译
摘要：在线策略自蒸馏通过特权自教师为推理模型提供密集监督。然而，这种监督反映的是局部 token 偏好，而非无引导学生续写的期望回报。近期方法将该信号与 GRPO 结合，使用 GRPO 确定更新方向，用教师进行信号缩放。但我们证明，在 PPO 中整合更为有效。具体而言，我们识别出互补的位置动态：特权信息在响应末尾增强评论家的价值预测准确性，而自教师指导在初始阶段较强，在生成中期下降，最后回升。这些发现促成了价值增强自蒸馏策略优化（VASPO），其中自教师和评论家在学生生成的前缀上评估相同的特权信息。评论家根据预测的续写回报计算 token 级 PPO 优势，而自教师通过有界概率比调制选定的正优势。在六个数学推理基准上，VASPO 在 Qwen3-4B 和 OLMo3-7B 变体上分别将平均准确率较 PPO 提升 2.59 和 1.81 个百分点，并在 Knights and Knaves 上取得所评估方法中最高的平均准确率。我们的代码见 此 https URL。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20516 [cs.CL] |
| （或 arXiv:2610.20516v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20516 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Fei Wu [查看电子邮件]
[v1]
2026年10月14日星期三 17:17:18 UTC（6,247 KB）
来源：arXiv cs.CL · arxiv.org