arXiv cs.AI· Hoang Phan, Xianjun Yang, Yuanshun Yao, Jingyu Zhang, Shengjie Bi, Xiaocheng Tang, Madian Khabsa, Lijuan Liu, Deren Lei·· 14 小时前AI 评分38
RECAP：用动态目标重加权缓解大推理模型在 RLVR 中的通用能力遗忘
Beyond Reasoning Gains: Mitigating General-Capability Forgetting in Large Reasoning Models
AI 导读
针对 RLVR 训练导致开源推理模型在感知、忠实性等核心能力上退化的问题，研究者提出 RECAP——一种带动态目标重加权的经验回放策略，利用收敛与不稳定的短时信号在线调整各目标的训练权重，把训练重心从已饱和目标转向表现不足或波动较大的目标。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR）在数学与多模态推理方面取得了显著提升，已成为当代语言模型与视觉语言模型的标准后训练范式。然而，RLVR 方案引入了能力回退的显著风险，即模型在未采用正则化策略的长时间训练后会遗忘基础技能。我们通过实验证实了这一担忧，观察到开源推理模型在感知与忠实性等核心能力上出现性能下降。虽然施加 KL 散度等正则项有助于防止偏离基础模型，但这些项是在当前任务上计算的，因此无法保证保留更广泛的知识。同时，跨异构领域常用的经验回放使得难以确定每个目标应获得多少训练侧重。为此，我们提出 RECAP——一种用于通用知识保留的动态目标重加权回放策略。我们的重加权机制利用收敛性与不稳定性的短时信号进行在线自适应，将后训练重点从已饱和的目标转向表现不佳或不稳定的目标。我们的方法是端到端的，可直接应用于现有 RLVR 流程，无需训练额外模型或大量调参。在 Qwen2.5-VL-3B 和 Qwen2.5-VL-7B 上的基准实验广泛验证了本方法的有效性，它不仅保留了通用能力，还通过在任务内奖励之间实现更灵活的权衡来提升推理能力。
| 评论： | 实现代码发布于此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2510.21978 [cs.LG] |
| （或本版本的 arXiv:2510.21978v3 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2510.21978 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hoang Phan [查看邮箱]
[v1]
2025年10月24日 星期五 19:08:48 UTC（2,351 KB）
[v2]
2026年6月18日 星期四 16:29:38 UTC（3,298 KB）
[v3]
2026年10月26日 星期一 14:42:04 UTC（3,369 KB）
来源：arXiv cs.AI · arxiv.org