arXiv cs.CL· Leon Sick, Lukas Hoyer, Yannick Str\"umpler, Christian Reisswig, Timo Ropinski, Federico Tombari·· 11 小时前AI 评分40
无需外部教师：LLM 通过在线策略自训练实现无数据自我提升
On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models
AI 导读
研究提出将在线策略自蒸馏重构为自训练框架，模型仅凭粗粒度的高层主题描述即可自行合成问题与特权推理演示，无需人工标注的问答对或提示词。该方法在文本与多模态领域均实现持续自我提升，在标准语言基准和视觉问答（VQA）上表现一致，且在未自训练领域保留原有能力。
正文 · AI 翻译
摘要：在线策略自蒸馏使基础模型无需依赖更强的外部教师即可进行后训练。然而，现有方法依赖真实问答对、人工整理的问题集或其他监督信号。在本工作中，我们将在线策略自蒸馏重新表述为一种自训练框架，由自生成的问答对和特权推理演示驱动。我们将监督推向极限：仅由粗略的高层主题描述引导，模型在无法访问任何人工整理的提示或答案的情况下，自行合成查询课程和特权推理轨迹。我们发现，基于完全合成的特权信息进行自蒸馏，能使模型在多个领域上提升，同时保留其在未进行自训练的领域上的能力。我们展示了该框架在文本和多模态领域上的通用性，在标准语言基准和视觉问答上实现了一致的自我提升。我们的发现表明，基础模型拥有丰富的潜在能力，无需外部任务监督或整理的问题分布即可被放大。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.32770 [cs.CL] |
| （或 arXiv:2610.32770v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32770 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Leon Sick [查看电子邮件]
[v1]
2026年10月23日星期五 15:12:03 UTC（152 KB）
来源：arXiv cs.CL · arxiv.org