arXiv cs.CL· Max Henning H\"oth, Kristian Kersting, Bj\"orn Deiseroth, Letitia Parcalabescu·· 12 小时前AI 评分26
AtManRL：用可微注意力显著性训练更忠实的链式推理
AtManRL: Towards Faithful Reasoning via Differentiable Attention Saliency
AI 导读
AtManRL 通过优化可微注意力掩码识别恢复答案所需的 CoT token，据此生成显著性奖励，并与结果奖励在 GRPO 中结合训练更忠实的推理。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越依赖思维链（CoT）推理来解决复杂任务，然而推理轨迹可能只是伴随最终答案出现，而非对最终答案有因果贡献，也未必忠实反映模型是如何得出该答案的。我们引入可微注意力操纵，用强化学习训练显著推理——我们将该方法称为 AtManRL。通过优化一个加性注意力掩码来识别恢复模型答案所需的 CoT token，我们推导出显著性奖励，并将其与结果奖励在采用解耦优势的 GRPO 中结合。由于显著性和忠实性都强烈依赖于轨迹长度，我们与一组长度惩罚基线进行对比评估，这些基线描绘了纯长度惩罚所能达到的权衡，而不是与单一基线对比。在三个模型（Qwen2.5-3B、Granite-3.3-2B 和 Phi-4-mini）和四个基准（GSM8K、MMLU、ProofWriter 和 QuestBench）上，AtManRL 在该权衡曲线上方：显著性高出 3.9-4.0pp（以错误注入下答案变化衡量），忠实性高出 5.7-7.7pp（以提示注入下提示言语化衡量），同时与长度相近的基线准确率相当。这些结果表明，显式地针对显著性进行训练是通向更忠实于模型实际决策过程的思维链推理的一条有前景的路径。
| 评论： | 19 页，23 张图，3 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2604.16158 [cs.CL] |
| （或 arXiv:2604.16158v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.16158 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Max Henning Höth [查看邮箱]
[v1]
2026 年 4 月 17 日星期五 15:27:35 UTC（1,360 KB）
[v2]
2026 年 10 月 22 日星期四 10:48:44 UTC（333 KB）
来源：arXiv cs.CL · arxiv.org