arXiv cs.CL· Jinyuan Li, Chengsong Huang, Langlin Huang, Donghong Cai, Shiping Gao, Yuyi Yang, Jiaxin Huang·· 10 天前AI 评分28
推理模型自我进化为何崩溃？R-Quest 用问题有效性与新颖性反馈维持十轮稳定提升
Questioning the Questions: Sustaining Self-Evolution in Reasoning Models
AI 导读
针对自我进化推理模型多轮自训练后性能崩溃的问题，研究者提出 R-Quest，用问题有效性与新颖性反馈引导进化：先训练求解器识别并拒绝无效问题，再以其判断引导出题方奖励并过滤训练数据，同时用冻结基座模型比较问题对以提供新颖性反馈。该方法在数学推理、通用推理和代码生成共 12 个基准上取得最高平均性能，十轮自我进化中性能持续上升并在末轮达到峰值，超过 R-Zero 17.32 分。
正文 · AI 翻译
摘要：自进化推理模型从自身生成的问题中学习，但反复自训练可能导致性能崩溃。本文研究性能为何在连续轮次中逐渐恶化，以及如何维持自进化。我们的分析识别出自生成问题中反复出现的两类质量问题：无效问题和同一数学问题的重复变体。首先，无效问题在各轮次中愈发普遍，而答案一致性过滤进一步提高了其在训练数据中的比例。其次，现有基于词汇相似度的问题多样性控制可能遗漏以不同方式表达的数学等价问题，这导致后续训练轮次中问题多样性崩溃。基于这些发现，我们提出 R-Quest，利用问题有效性和新颖性反馈来引导自进化。我们首先训练求解器识别并拒绝无效问题，然后利用其判断来引导提问者奖励并过滤求解器训练数据。为避免问题重复，我们使用冻结的基础模型比较采样的问题对并提供新颖性反馈。在实证上，我们的方法在两个模型系列的数学推理、通用领域推理和代码生成共 12 个基准上始终取得最高平均性能。此外，R-Quest 在十轮自进化中保持稳定的性能提升，在最后一轮达到峰值，并比 R-Zero 高出 17.32 分。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.04299 [cs.LG] |
| （或使用 arXiv:2610.04299v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.04299 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Jinyuan Li [查看邮箱]
[v1]
2026年10月3日星期六 05:24:47 UTC（16,059 KB）
[v2]
2026年10月6日星期二 21:32:46 UTC（16,059 KB）
来源：arXiv cs.CL · arxiv.org