跳到正文
热点事件持续更新

NL2AGBench:评估LLM将几何题转为AlphaGeometry形式化表示

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

研究者 Samuel Xiao、Judy Song、Rory Hu、Ziliang Zong 提出 NL2AGBench,用 AlphaGeometry 内部执行验证来评估 LLM 把英文几何题转成其专用 DSL 的能力,而非仅比对文本相似度。 在十个开源与闭源 LLM 上,领先闭源模型可执行翻译率超过 80%,最大的开源模型仍难以稳定保留几何约束并生成合法形式化。研究还给出区分语法与逻辑错误的错误分类体系,并测试 few-shot 提示、微调与人工提示等改进策略。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.CL
    NL2AGBench:评估 LLM 将几何题自动形式化为 AlphaGeometry 输入的基准

    研究者提出 NL2AGBench,用 AlphaGeometry 内部执行验证来评估 LLM 把英文几何题转成其专用 DSL 的能力,而非仅比对文本相似度。在十个开源与闭源 LLM 上,领先闭源模型可执行翻译率超过 80%,最大的开源模型仍难以稳定保留几何约束并生成合法形式化。研究还给出区分语法与逻辑错误的错误分类体系,并测试 few-shot 提示、微调与人工提示等改进策略。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。