arXiv cs.AI· Shizhe Xiang, Ke An, Wenlong Yu, Yue Liu, Tingting Wu, Jian Luan, Pei Fu, Qilong Wang·· 11 小时前AI 评分24
PTD-PO：面向多模态策略优化的特权辅导蒸馏框架
Teaching the Way, Not the Answer: Privileged Tutoring Distillation for Multimodal Policy Optimization
AI 导读
研究者提出 PTD-PO，一种面向 RLVR 的特权辅导蒸馏策略优化框架，通过空间注意力引导和中间文本推理步骤构建结构化提示，在不向学生策略暴露答案的前提下提供稠密 token 级监督。该方法引入 Top-K Jensen-Shannon 散度目标以稳定引导与无引导上下文间的分布偏移，在 2B 至 8B 参数的 LVLM 上持续优于 RLVR 与蒸馏基线，并缓解熵坍缩、提升复杂多模态推理表现。
正文 · AI 翻译
摘要：近期的后训练方法，尤其是可验证奖励强化学习（RLVR），显著提升了大视觉语言模型（LVLM）的推理能力。然而，可验证奖励的稀疏性对失败的 rollout 几乎不提供 token 级监督，往往导致复杂多模态推理任务中的探索效率低下。尽管策略蒸馏可以提供稠密指导，但基于外部教师的方法会带来大量计算开销，而答案条件调优方法可能暴露答案级信息并诱发类似捷径的生成行为。为解决这些局限，我们提出 PTD-PO，一种面向 RLVR 的特权辅导蒸馏策略优化框架，可在不向学生策略暴露答案的情况下提供稠密指导。具体而言，PTD-PO 从空间注意力引导和中间文本推理步骤中构建结构化特权提示，并通过上下文学习利用这些提示来产生逐步的 token 分布监督。学生模型仍在原始无答案上下文中进行优化，其失败的 rollout 在 token 分布层面与提示增强的参考模型对齐。为进一步稳定引导与无引导上下文之间分布偏移下的蒸馏，我们引入 Top-K Jensen-Shannon 散度目标，将对齐集中在信息量大的 token 概率上，同时降低内存开销。在 2B 至 8B 参数的 LVLM 上的实验表明，PTD-PO 持续优于 RLVR 和蒸馏基线，缓解熵坍缩，并提升复杂多模态推理性能。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2606.07000 [cs.AI] |
| （或本版本使用 arXiv:2606.07000v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2606.07000 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shizhe Xiang [查看邮箱]
[v1]
2026年6月5日星期五 07:43:22 UTC（9,234 KB）
[v2]
2026年10月20日星期二 11:18:42 UTC（6,137 KB）
来源：arXiv cs.AI · arxiv.org