arXiv cs.AI· Helen Jenne, Davis Brown, Jesse He, Henry Kvinge·· 13 小时前AI 评分40
超越精选突破：在随机采样的数学猜想上评估语言模型
Beyond Selected Breakthroughs: Evaluating Language Models on Randomly Sampled Mathematical Conjectures
AI 导读
研究者构建 OpenConjecture 数据集，收录 arXiv 自 2026 年 2 月起论文中的猜想，并用前沿 GPT 模型对随机抽取的 200 条猜想各跑三遍。模型对约 60% 的猜想给出候选解，其中反例数量约为证明的 1.3 倍。分析发现部分解答偏离作者原意（如用平凡群作反例），部分证明紧贴已有结果，但仍有解答具备至少中等新颖性。
正文 · AI 翻译
摘要：过去一年，AI 辅助数学领域出现了一种转变：前沿语言模型给出了对长期悬而未决的公开猜想的证明与反例。然而，仅研究当前这批重大突破，无法完整呈现 LLM 的能力以及取得所报告结果所需的计算资源。为此，我们引入了一个新数据集 OpenConjecture，它收集了自 2026 年 2 月起发布在 arXiv 上的数学论文中的猜想。我们将这些猜想作为公开数学问题的来源，并使用前沿 GPT 模型，在可复现的协议下、不提供针对具体问题的数学指导，对其中随机抽取的 200 个猜想进行三轮测试。我们没有尝试对这些候选解进行专家验证，而是分析 LLM 能给出解的问题类型以及这些解的特征。我们测试的模型为约 60% 的猜想给出了候选解，其中反例的出现频率约为证明的 1.3 倍。我们估计了解的新颖性，评估了解如何引用并与现有文献关联，并分析了所提出的解决方式是否依赖于猜想中的错误或表述不充分。我们发现，模型有时会提出超出作者意图的解决方式（例如提出平凡群作为反例），并且不少证明与现有结果高度接近，但也有一些解决方式至少具有中等程度的新颖性。我们的发现凸显了评估的必要性：评估不应只关注正确性，还应考察对原命题意图的忠实度、归因以及数学贡献的性质。
| 学科： | 人工智能（cs.AI）；历史与综述（math.HO） |
| 引用为： | arXiv:2610.40382 [cs.AI] |
| （或本版本的 arXiv:2610.40382v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.40382 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Helen Jenne [查看邮箱]
[v1]
2026 年 10 月 29 日星期四 16:24:55 UTC（2,528 KB）
来源：arXiv cs.AI · arxiv.org