arXiv cs.CL· Xiao Yu, Justin Chih-Yao Chen, Zaid Khan, Hyunji Lee, Mohit Bansal·· 10 小时前AI 评分31
CRoS：在打乱顺序的 CoT 上施加因果奖励，提升准确率与推理忠实度
CRoS: Causality Reward on Scrambled CoTs Improves Accuracy and Reasoning Faithfulness
AI 导读
研究者提出 CoT 因果性度量 CRoS，通过打乱推理步骤顺序而非删改内容来扰动 CoT，避免信息变化带来的混杂效应。在 Reasoning Gym 上用 Gemma-3-4B 训练，CRoS 在五个未见过的逻辑与游戏数据集上达到 46.8% 准确率，超过最强基线 43.8%。
正文 · AI 翻译
摘要：基于可验证奖励的强化学习（RLVR）已成为训练语言模型进行推理的标准方法。然而，RLVR 通常仅依赖结果正确性，这并不能保证 CoT 对最终答案有因果贡献。缺少这种联系，结果奖励可能无法强化高质量的推理。现有的因果性指标通过扰动 CoT（例如删除推理步骤或注入错误）并测量最终答案的变化来评估 CoT 因果性。然而，这些扰动不可避免地会改变每一步中的信息。因此，高因果性得分可能反映的是对扰动所引入信息变化的敏感性，而非真正的因果性。当这些指标被用作训练奖励时，这种混杂效应还会进一步诱发不良的推理行为，包括生成信息量更少的 CoT，以及减少探索和自我纠正。为解决这一问题，我们提出了 CRoS（Causality Reward on Scrambled CoTs），一种新颖的 CoT 因果性指标，它扰动推理步骤的顺序而不改变内容，从而保留每一步内的信息。在 Reasoning Gym 上使用 Gemma-3-4B 时，CRoS 在域外准确率、CoT 质量和 CoT 忠实度方面均优于现有的因果性和结果奖励。具体而言，CRoS 在五个未见过的逻辑与游戏数据集上达到 46.8% 的准确率，优于最强基线（43.8%）。它还具有更好的 CoT 质量，在 K=1 到 128 的 CoT-Pass@K 上始终优于基线，平均为 43.4% 对 41.4%。在 CoT 忠实度方面，CRoS 的提示确认得分为 34.0% 对 20.2%。
| 评论： | 17 页，3 幅图，14 张表。项目页面：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.42054 [cs.CL] |
| （或 arXiv:2610.42054v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.42054 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiao Yu [查看电子邮件]
[v1]
2026 年 10 月 30 日星期五 17:18:35 UTC（444 KB）
来源：arXiv cs.CL · arxiv.org