arXiv cs.AI· Nishal Thomas, Noel Thomas·· 11 小时前AI 评分34
FormInv：数学推理基准语义不变性测量协议，Claude Haiku 4.5 答案翻转率高达 41.9%
FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks
AI 导读
FormInv 提出 CIR（条件不一致率）与 SCR 两项语义不变性指标，在 9 个模型、366-811 道 Lean4 验证题目上评测。在全部模型均答对的 43 道定理上，Claude Haiku 4.5 的答案翻转率为 41.9%，DeepSeek V3 仅 4.7%。
正文 · AI 翻译
摘要：对 MathCheck（ICLR 2025）的改写质量审计在 129 组中检测到 4 个语义不正确的改写（3.1%）；移除这些改写后，GPT-4o 从第 2 名降至第 4 名，Claude Haiku 和 DeepSeek V3 则升至其之上。跨模型一致性以不到 10 美元的成本自动发现了这些错误；在我们自己的数据集中，同一协议发现 47% 的自动生成的连接词变化改写存在语义错误。这一缺陷加剧了更深层的测量差距。对于所有模型以规范形式都能正确回答的定理，语义等价的重新表述仍会使其中 5-42% 的答案发生翻转：Claude Haiku 4.5 翻转已知正确答案的频率约为 DeepSeek V3 的 9 倍（在所有模型共有的 43 个定理上为 41.9% 对 4.7%），我们将这一难度受控的差距称为条件不一致率（CIR）。CIR 排名在一个独立的 103 定理集上得到复现。原始语义一致率（SCR）在 9 个模型上跨度为 50-82%，但这种差异主要是 k ~ 6 个改写上准确率复合的机械性结果；CIR 所分离出的是定理内失败的聚集性。由于没有模型在所有改写族上占优，基准所包含的改写族会隐含地决定其模型排名（无免费基准推论）。FormInv 提供了审计协议、作为不变性度量的 CIR 和 SCR，在 9 个模型、366-811 个项目上评估，其规范陈述经 Lean4 验证，并提供用于状态感知模型选择的 FormInvSelector。
| 评论： | 19 页，1 幅图。被第 3 届 AI for Math Workshop（AI4Math），ICML 2026 接收为海报 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.29001 [cs.LG] |
| （或 arXiv:2605.29001v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.29001 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Noel Thomas [查看电子邮件]
[v1]
2026 年 5 月 27 日星期三 18:59:18 UTC（84 KB）
[v2]
2026 年 10 月 16 日星期五 12:02:50 UTC（69 KB）
来源：arXiv cs.AI · arxiv.org