跳到正文
arXiv cs.CL· Duy Nguyen, Hanqi Xiao, Archiki Prasad, Zaid Khan, Anirban Das, Shi-Xiong Zhang, Sambit Sahu, Hyunji Lee, Elias Stengel-Eskin, Mohit Bansal·· 10 小时前AI 评分27

AVSD:通过平衡共识与教师专属特权信号实现自适应视角自蒸馏

AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals

AI 导读

AVSD 提出一种多特权信息视角的自蒸馏方法,将跨视角稳定的共识信号与视角专属残差信号分离,仅在残差与共识方向一致且比例适当时才用于调整更新幅度。在 AIME24、AIME25、HMMT25 上,AVSD 在 Qwen3-8B 和 Qwen3-4B 上分别比最强基线平均提升 Avg@8 3.1% 和 2.2%,并优于 GRPO。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:自蒸馏使语言模型能够利用自身轨迹进行在线策略学习,即让同一模型同时充当学生和教师,而教师以学生无法获取的特权信息为条件。此类信息可以以不同类型或视图的形式出现,例如解答、演示、反馈或最终答案。该设置无需依赖单独的外部模型即可提供密集的 token 级反馈,但会造成一种根本性的不对称:教师可能依赖学生在推理时无法访问的视图特定信息。此外,最佳的特权信息类型往往取决于任务,因此难以选择单一的教师视图。在本工作中,我们通过引入 AVSD(自适应视图自蒸馏)同时应对这两项挑战,这是一种具有多个特权信息视图的新型自蒸馏方法,它通过将稳定的跨视图共识与视图特定残差信号分离来重建 token 级监督。AVSD 识别各视图共享的共识信号,该信号提供可靠的更新方向,然后有选择地加入视图特定残差信号,以在更新幅度既与共识方向一致又与共识信号成比例时调整该幅度。在数学竞赛基准(AIME24、AIME25 和 HMMT25)上的实验表明,AVSD 始终优于单视图自蒸馏基线和 GRPO,在 Qwen3-8B 和 Qwen3-4B 上分别比最强基线平均提升 Avg@8 达 3.1% 和 2.2%。此外,在使用 Qwen3-8B 的代码生成基准(Codeforces、LiveCodeBench v6)上,AVSD 平均比单视图自蒸馏基线高出 2.4%。
评论: 已被 NeurIPS 2026 接收
主题: 机器学习 (cs.LG);人工智能 (cs.AI);计算与语言 (cs.CL)
引用为: arXiv:2605.20643 [cs.LG]
  (或 arXiv:2605.20643v2 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2605.20643

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Duy Nguyen [查看邮箱]
[v1] 2026年5月20日 星期三 03:06:36 UTC (1,988 KB)
[v2] 2026年11月19日 星期四 01:34:42 UTC (1,990 KB)

来源:arXiv cs.CL · arxiv.org