arXiv cs.AI· Xiaoou Liu, Tiejin Chen, Hanyang Chen, Yuan Ling, Hua Wei·· 11 小时前AI 评分22
EquivAug：用符号等价增强提升 RLVR 的推理路径多样性
Diverse Reasoning Paths Matter: Symbolic Equivalence Augmentation for Enhancing RL Exploration
AI 导读
研究者提出 EquivAug 数据增强框架，通过符号等价变换把 CoT 解答转成形式化符号表示再重构为自然语言，生成推理步骤不同但可证明正确的训练数据。在 GSM8K 和 FOLIO 上跨模型规模实验显示，EquivAug 在 SFT 后取得最高推理路径多样性，并在 GRPO 后取得最强准确率，表明 SFT 阶段的 CoT 多样性与下游 RLVR 性能正相关。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR）已成为提升 LLM 推理能力的有力范式。然而，监督微调（SFT）数据在实现有效下游 RL 中的作用仍未被充分探索。本文研究一个关键假设：SFT 期间思维链（CoT）中推理步骤的多样性是 RLVR 性能的关键促成因素。为验证该假设，我们提出 EquivAug，一种数据增强框架，利用符号等价变换生成多样且可证明正确的推理路径。通过将 CoT 解转换为形式化符号表示、应用等价变换并重建自然语言解释，EquivAug 生成的是推理步骤不同而非表层词汇变化的训练数据。在 GSM8K 和 FOLIO 上跨模型规模的实验表明，EquivAug 在 SFT 后始终实现最高的推理路径多样性，并在 GRPO 后取得最强的准确率。我们的结果确立了 SFT 期间的 CoT 多样性与下游 RLVR 性能呈正相关。
| 评论： | 已被 2026 AACL 接收 |
| 主题： | 符号计算（cs.SC）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.22665 [cs.SC] |
| （或 arXiv:2610.22665v1 [cs.SC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22665 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Xiaoou Liu [查看邮箱]
[v1]
2026 年 10 月 15 日星期四 21:31:42 UTC（424 KB）
来源：arXiv cs.AI · arxiv.org