arXiv cs.AI· Guanlan Yue, Hang Yu, Xiaoyong Huang, Ruipeng Li, Wei Zhang, Bingchang Liu, Rui Wang·· 6 天前AI 评分24
MENTOR：用同策略教学干预从失败中学习
MENTOR: Learning from Failure with On-Policy Pedagogical Intervention
AI 导读
针对 RLVR 训练中的"零奖励坍缩"，研究者提出多智能体框架 MENTOR，实时诊断失败根因并动态生成教学提示，引导学习智能体下一次尝试。MENTOR 可作为即插即用模块接入 GRPO 等策略优化流程，无需改动训练基础设施。在数学与代码生成任务上，它优于现有基线，在 Llama-3.2-3B-Instruct 上相对基座模型平均提升最高达 78.3%。
正文 · AI 翻译
摘要：可验证奖励强化学习（RLVR）是大型推理模型的关键驱动力，但它容易受到“零奖励崩溃”的影响，这是一种训练失败，即任务难度的突然增加导致学习信号消失。我们认为，丢弃这些失败轨迹的传统做法是浪费的，因为它们包含有关模型认知差距的宝贵诊断信息，这是可用于恢复的积极一面。然而，现有解决方案往往退回到静态的、“离策略式”的干预措施，如预定义的提示库，或执行事后细化，未能提供摆脱崩溃所需的自适应、前瞻性指导。为了解决这个问题，我们提出向在策略教学干预的范式转变，并引入 MENTOR，一个充当实时导师的多智能体框架。MENTOR 实时诊断失败的根因，并动态生成有针对性的教学提示，以指导学习智能体的下一次尝试。作为一个即插即用模块，MENTOR 可以无缝集成到现有的策略优化流程（如 GRPO）中，而无需修改训练基础设施。在数学和代码生成上的大量实验表明，MENTOR 有效缓解了零奖励崩溃，优于最先进的基线。值得注意的是，在 Llama-3.2-3B-Instruct 上，它相较于其基础模型实现了高达 78.3% 的大幅平均相对增益。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.13594 [cs.AI] |
| （或 arXiv:2610.13594v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13594 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Xiaoyong Huang [查看电子邮件]
[v1]
2026年10月9日星期五 13:43:49 UTC（1,366 KB）
来源：arXiv cs.AI · arxiv.org