arXiv cs.CL· Zijian Zhang, Rizhen Hu, Jiangweizhi Peng, Shiyang Li, Sujay Bhatt, Sihan Zeng, Mingyi Hong·· 10 小时前AI 评分38
AutoScaffold：AI 引导的脚手架用于语言模型强化学习
AutoScaffold: AI-Guided Scaffolding for Reinforcement Learning of Language Models
AI 导读
AutoScaffold 是一个 AI-for-AI 框架，由冻结的教师模型周期性诊断学生训练经验中的瓶颈，自动设计跨任务策略与单任务提示两类脚手架，并在评估时移除。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR）能产生丰富的训练经验，但结果奖励将每次尝试压缩为一个数字，使其中大部分信息未被利用。训练时脚手架（例如在训练期间向提示中加入的策略或提示）提供了一种自然的方式，可将这些信息转化为指导，但其设计与调整在很大程度上仍由人工完成，并针对特定领域量身定制。我们提出 AutoScaffold，一个统一的 AI-for-AI 框架，可将学生的训练经验转化为自适应脚手架，所需领域特定信息极少，且训练期间无需人工干预。一个冻结的教师模型定期检查这些经验，诊断瓶颈，并以两种形式设计脚手架：(i) 在一类任务间共享的策略，以及 (ii) 针对单个困难任务的提示，并随着学生的学习进度调整支持的内容与数量。评估时移除脚手架。我们将同一框架应用于 ALFWorld、基于搜索的问答、数学推理和 GPU 内核生成。在不使用脚手架进行评估时，经 AutoScaffold 训练的学生在全部四个领域均优于使用相应 RL 基线训练的学生，在 ALFWorld 成功率上提升 7.2 分，在问答平均精确匹配上提升 4.0 分。在 GPU 内核生成上，AutoScaffold 将拥有正确内核且运行速度快于 PyTorch 参考实现的任务比例最多提升 5.0 分。在数学上，我们的学生以约三分之一的学生训练步数超越了 QuestA 报告的准确率。分析表明，教师模型在每类任务中识别出不同的失败，并随着学生的提升将其脚手架从分步工作流转向针对性修复，且其修订后的脚手架比保留先前脚手架或不使用脚手架更能帮助学生提升。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.14515 [cs.LG] |
| （或 arXiv:2611.14515v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14515 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zijian Zhang [查看邮箱]
[v1]
2026年11月10日星期二 18:58:46 UTC（251 KB）
来源：arXiv cs.CL · arxiv.org