arXiv cs.AI· Yuren Hao, Xiang Wan, ChengXiang Zhai·· 9 天前AI 评分32
LLM 数学推理鲁棒性研究：用数学等价变换对高等数学题做基准测试
An Investigation of Robustness of LLMs in Mathematical Reasoning: Benchmarking with Mathematically-Equivalent Transformation of Advanced Mathematical Problems
AI 导读
研究者提出 GAP（Generalisation-and-Perturbation）方法，通过表面重命名与内核重写两类可解释变换，自动生成数学等价变体，并在 1938 至 2024 年全部 1,051 道 Putnam 竞赛题上构建出 6,306 题的 PutnamGAP 语料库。对 18 个商业与开源模型的评测显示，所有模型准确率均下降，内核重写下最为严重，且该差距不随模型能力增强而缩小。
正文 · AI 翻译
摘要：前沿大语言模型（LLM）目前在标准数学推理基准上已达到接近上限的准确率，并在国际数学奥林匹克竞赛中取得金牌级表现。随着这些基准趋于饱和、其题目泄漏进训练数据，高分已不再能说明模型是否具备稳健的推理能力，或推理的哪个环节出现了失败。为了在评估推理的同时保持结果有信息量、失败可诊断，我们提出 GAP（Generalisation-and-Perturbation，泛化与扰动），一种利用两种互不相交、可解释的变换，大规模自动生成现有数学问题等价变体的方法：（1）表层重命名，探查标识符与潜在变量角色之间的绑定关系；（2）内核重写，探查高层证明方案能否在数学背景改变后依然成立。与现有基准相比，GAP 有两个关键优势：（1）新颖且很可能未出现过的变体可缓解数据泄漏；（2）跨变换族的性能表现支持失败诊断，每种变换都检验一个关于失败原因的假设。我们在 1938 至 2024 年全部 1,051 道 William Lowell Putnam 竞赛题上实例化 GAP，新增 5,255 个未见变体，构成 PutnamGAP——一个包含 6,306 道竞赛级数学题目的语料库，也是首个来自完整 Putnam 档案的公开机器可读数据集。使用 PutnamGAP，我们评估了 18 个商业与开源模型，覆盖不同规模和提供商。所有模型和变体族的准确率均下降，在内核重写下下降最为严重。这一差距并不随模型能力增强而缩小，表明即便最强的模型，其主要弱点也是将证明方案迁移到改变后的数学背景，而非处理表层变化。进一步分析提供了更细致的失败诊断，以及可能有助于改进 LLM 推理的洞见。
| Comments: | 34 页，9 幅图，已被 ICLR 2026 workshop 接收 |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| MSC classes: | 68T50 |
| ACM classes: | I.2.7 |
| Cite as: | arXiv:2508.08833 [cs.CL] |
| （或 arXiv:2508.08833v4 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2508.08833 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Yuren Hao [查看邮箱]
[v1]
2025 年 8 月 12 日星期二 10:40:33 UTC（2,097 KB）
[v2]
2025 年 10 月 8 日星期三 01:46:12 UTC（3,354 KB）
[v3]
2025 年 12 月 4 日星期四 08:10:06 UTC（3,368 KB）
[v4]
2026 年 10 月 7 日星期三 22:06:35 UTC（4,846 KB）
来源：arXiv cs.AI · arxiv.org