arXiv cs.AI· Michal \v{S}tef\'anik, Philipp Mondorf, Andreas Waldis, Michal Spiegel, Robert Belanec, Chuan Yang, Maria Matveev, Jan Mazak, Qianying Liu, Markus Schepers, Josef Kucha\v{r}, Marek Kadl\v{c}\'ik, Adam Vawda-Oomerjee, Chaoran Liu, Simon Frieder, Barbara Plank, Fazl Barez, Pontus Stenetorp·· 11 小时前AI 评分38
AIMO Interpretability Challenge:区分前沿数学模型的稳健推理与虚假推理
AIMO Interpretability Challenge
AI 导读
AIMO Interpretability Challenge 是一项基于模型内部机制区分稳健推理与虚假推理的竞赛,已被 NeurIPS 2026 接收。该挑战基于 AI Mathematical Olympiad(AIMO)题目与提交,以及 Fields Model Initiative 的资源,提供新发布的奥赛级数学题及符号表示、前沿推理模型访问权限和对抗鲁棒性评估。
正文 · AI 翻译
作者:Michal Štefánik、Philipp Mondorf、Andreas Waldis、Michal Spiegel、Robert Belanec、Chuan Yang、Maria Matveev、Jan Mazak、Qianying Liu、Markus Schepers、Josef Kuchař、Marek Kadlčík、Adam Vawda-Oomerjee、Chaoran Liu、Simon Frieder、Barbara Plank、Fazl Barez、Pontus Stenetorp
摘要:我们提出 AIMO 可解释性挑战赛,这是一项基于模型内部机制来区分前沿数学语言模型中稳健推理与虚假推理的竞赛。该挑战赛的动机源于标准推理基准的一个核心局限:较高的最终答案准确率并不能揭示模型是依赖稳定的推理机制,还是利用了脆弱的推理捷径。基于 AI 数学奥林匹克(AIMO)的题目与提交内容,以及 Fields 模型倡议提供的资源,本次竞赛将提供:(1) 新发布的奥林匹克级数学推理题目及其符号表示,从而能够生成新的功能性变体;(2) 对前沿推理模型的访问权限;(3) 模型在这些题目上的对抗鲁棒性评估。参与者将利用这些资源以及我们提供的计算基础设施支持,开发识别哪些模型能够稳健解题的方法。我们的竞赛还将创建一个新的开放鲁棒性基准和基线系统,旨在为数学推理与可解释性领域的标准化基准测试提供持久的基础。在科学层面,本次竞赛围绕 AI 研究中的一个核心问题,将可解释性与泛化研究联系起来:我们能否确定前沿 AI 模型的决策是否以及在多大程度上具有可泛化性,从而具备可靠性?
| 注释: | 已被 NeurIPS 2026 接收为竞赛;v2 包含完整的贡献者名单 |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2607.13899 [cs.AI] |
| (或使用 arXiv:2607.13899v2 [cs.AI] 获取此版本) | |
| https://doi.org/10.48550/arXiv.2607.13899 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Michal Štefánik [查看邮箱]
[v1]
2026年7月15日 星期三 14:41:28 UTC(30 KB)
[v2]
2026年10月20日 星期二 10:59:30 UTC(31 KB)
来源:arXiv cs.AI · arxiv.org