arXiv cs.CL· Kanghyeon Kim, Johannes F. Lutzeyer, Yanzhu Guo·· 2 天前AI 评分31
注意力图曲率用于数学推理验证
Attention-Graph Curvature for the Verification of Mathematical Reasoning
AI 导读
研究提出将语言模型注意力图的有向 Forman 曲率作为逐步验证数学推理正确性的信号，在 ProcessBench 上为四个逐步验证器追加曲率输入后，全部验证器的平均性能均有提升，其中以全部 token 为输入的 ReProbe 提升最大。代价是模型前向传播时间平均增加 18%。代码已公开。
正文 · AI 翻译
摘要：语言模型最近解决了开放的 Erdős 问题，并在国际数学奥林匹克竞赛题目上取得了金牌级别的表现。但其用自然语言写成的解答尚无法被证明助手验证。一个错误的推理步骤会使之后的每一步都失效，因此尽早发现错误是有益的。已有若干方法被提出，基于执行推理的语言模型前向传播的特征来快速检测错误推理。在本工作中，我们研究该模型注意力图的有向 Forman 曲率——一种在边上根据其周围注意力权重计算的局部量——是否携带关于某一步正确性的信息。为此，我们在 ProcessBench 上评估了四个逐步验证器，分别在输入中附加和不附加曲率的情况下进行。附加曲率值提升了全部四个验证器的总体平均性能。ReProbe——以一步中的每个 token 作为输入的验证器——提升最大。加入曲率使语言模型前向传播的时间平均增加 18%。我们的代码可在 此 https URL 获取。
| 评论： | 已被第 6 届数学推理与 AI 研讨会（MATH-AI），NeurIPS 2026 接收。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.16709 [cs.LG] |
| （或 arXiv:2610.16709v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16709 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kanghyeon Kim [查看邮箱]
[v1]
2026 年 10 月 12 日星期一 12:43:47 UTC（30 KB）
[v2]
2026 年 10 月 26 日星期一 23:27:18 UTC（30 KB）
来源：arXiv cs.CL · arxiv.org