跳到正文
arXiv cs.CL· Samuel Xiao, Judy Song, Rory Hu, Ziliang Zong·· 10 小时前AI 评分31

NL2AGBench:评估 LLM 将几何题自动形式化为 AlphaGeometry 输入的基准

NL2AGBench: Benchmarking LLM Auto-Formalization for AlphaGeometry

AI 导读

研究者提出 NL2AGBench,用 AlphaGeometry 内部执行验证来评估 LLM 把英文几何题转成其专用 DSL 的能力,而非仅比对文本相似度。在十个开源与闭源 LLM 上,领先闭源模型可执行翻译率超过 80%,最大的开源模型仍难以稳定保留几何约束并生成合法形式化。研究还给出区分语法与逻辑错误的错误分类体系,并测试 few-shot 提示、微调与人工提示等改进策略。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大语言模型(LLM)的最新进展已在自然语言理解和数学推理方面展现出强大能力。然而,其将非形式化数学问题转换为形式化表示的能力仍未被充分探索。这一局限对 AlphaGeometry 等神经符号几何系统尤为重要,因为其定理证明引擎需要以专门的领域特定语言(DSL)作为输入。尽管 AlphaGeometry 已达到接近 IMO 金牌得主的水平,但将自然语言问题手动转换为它的形式化语法仍是显著的可用性瓶颈。为应对这一挑战,我们提出了自然语言到 AlphaGeometry 基准(NL2AGBench),用于评估 LLM 将英文几何问题转换为 AlphaGeometry 兼容形式化表示的能力。NL2AGBench 在 AlphaGeometry 内使用基于执行的验证来评估翻译质量,而非仅依赖文本相似度。我们评估了十个最先进的开源与闭源 LLM,涵盖多个参数规模,并分析了可执行翻译准确率、语法正确性和错误特征。实验揭示了闭源与开源模型之间的显著性能差距:领先的闭源模型可执行翻译率超过 80%,而即便是最大的开源模型也难以持续保持几何约束并生成有效形式化。我们提出了一种区分语法错误与逻辑错误的错误分类法,并研究了缓解策略,包括少样本提示、微调和人工引导提示,这些策略在多个模型系列上均带来可测量的提升。
评论: 发表于 2026 IEEE 基础模型与大语言模型国际会议(FLLM 2026)
主题: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2608.28481 [cs.CL]
  (或本版本的 arXiv:2608.28481v2 [cs.CL])
  https://doi.org/10.48550/arXiv.2608.28481

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Ziliang Zong [查看邮箱]
[v1] 2026 年 8 月 28 日星期五 16:07:16 UTC(1,180 KB)
[v2] 2026 年 11 月 18 日星期三 21:47:25 UTC(1,846 KB)

来源:arXiv cs.CL · arxiv.org