arXiv cs.AI· Tidor-Vlad Pricope·· 13 小时前AI 评分38
RetroChessBench：评估大模型重建并证明国际象棋历史的基准
RetroChessBench: A Benchmark for Reconstructing and Proving Chess Histories
AI 导读
研究团队推出 RetroChessBench，一个包含 12 项任务的基准，用于检验模型在回溯国际象棋中重建合法棋史、区分可能事件与必然事件的能力。GPT 6 Astra High 在无工具时 24 次尝试中有 22 次未能给出要求的最终答案，配合代码执行时仍有 18 次失败，平均终端 RL 奖励分别为 14.75% 和 27.19%。
正文 · AI 翻译
摘要：GPT 6 Astra 等前沿语言模型已对数学研究有所贡献，展现出可观的推理能力。然而，即使在由明确规则支配的任务中，严重的推理失败依然存在。我们在逆向国际象棋中展示了这一点，该领域是纯粹推理的试验场，求解者需要重建合法历史，并区分可能事件与必然事件。我们推出 RetroChessBench，这是一个包含 12 项任务的基准，涵盖精确长度构造、唯一终局和穷举答案集，并配有参考答案、评分标准和终端奖励环境。在每项任务和每种条件下各进行两次试验，GPT 6 Astra High 在无工具时 24 次尝试中有 22 次未能给出所要求的最终答案，在有代码执行时 24 次中有 18 次未能给出；平均终端强化学习奖励分别为 14.75% 和 27.19%。这些示例识别出了错误的推理：失败的回复会否定合法历史，并将暂时性障碍视为永久性障碍。在线逆向棋谱档案通常只提供谜题和最终着法序列，而没有详细推导过程。我们假设，网络来源训练数据中这些缺失解释的有限暴露，是导致所观察到的推理失败的原因之一。这使人质疑前沿数学推理在多大程度上能真正泛化到熟悉的解题模式之外。通用智能的主张需要证据表明模型能够将学到的原理迁移到少有示例可循的领域。
| 评论： | 22 页，2 幅图。基准和强化学习环境：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.39341 [cs.LG] |
| （或 arXiv:2610.39341v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39341 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tidor-Vlad Pricope [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 04:32:11 UTC（51 KB）
来源：arXiv cs.AI · arxiv.org