arXiv cs.AI· Jingjing Wei, Hao Zhao, Xinke Li, Linxi Yu, Xiaosong Gao, Shanshan Xiao·· 6 天前AI 评分30
MathVis：AI 能否通过画图推理？数学图形生成基准发布
MathVis: Can AI Reason through Drawing? A Benchmark for Mathematical Figure Generation
AI 导读
研究者发布 MathVis 基准，用 512 个任务评估 LLM 可视化前沿数学问题并进行图示辅助推理的能力，每个任务包含数学陈述、参考图、可执行 TikZ 或 SVG 代码、Gold IR、原子评分细则和错误码。
正文 · AI 翻译
摘要：本文介绍了 MathVis，一个用于评估 LLM 可视化前沿数学问题并进行图示辅助推理能力的基准。该基准包含 512 个任务，每个任务由数学陈述、参考图、可执行的 TikZ 或 SVG 代码、Gold 中间表示（IR）、原子评分标准和错误代码组成。经过严格评估，GPT-6-Astra、Claude Fable 5 和 Gemini 3.1 Pro Preview 的 pass@1 得分分别为 31.25%、26.56% 和 22.85%。我们发现，尽管这些任务需要可视化，LLM 生成的输出仍以形式语言、符号和图形程序为主，而非显式的图示中介推理。此外，虽然 LLM 生成的解答可能包含所有必要元素，但它们在视觉上往往令人困惑。最终，该基准旨在可视化数学问题，并推动使 LLM 能够通过视觉图示简化其推理的研究。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.12954 [cs.AI] |
| （或 arXiv:2610.12954v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12954 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Jingjing Wei [查看电子邮件]
[v1]
2026年10月9日星期五 03:52:59 UTC（6,277 KB）
来源：arXiv cs.AI · arxiv.org