NL2AGBench:评估LLM将几何题转为AlphaGeometry形式化表示
热点事件持续更新
NL2AGBench:评估LLM将几何题转为AlphaGeometry形式化表示
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
研究者 Samuel Xiao、Judy Song、Rory Hu、Ziliang Zong 提出 NL2AGBench,用 AlphaGeometry 内部执行验证来评估 LLM 把英文几何题转成其专用 DSL 的能力,而非仅比对文本相似度。 在十个开源与闭源 LLM 上,领先闭源模型可执行翻译率超过 80%,最大的开源模型仍难以稳定保留几何约束并生成合法形式化。研究还给出区分语法与逻辑错误的错误分类体系,并测试 few-shot 提示、微调与人工提示等改进策略。
AI 根据报道生成 · 1 小时前更新
最新进展11月20日 13:00
NL2AGBench:评估 LLM 将几何题自动形式化为 AlphaGeometry 输入的基准报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.CLNL2AGBench:评估 LLM 将几何题自动形式化为 AlphaGeometry 输入的基准
研究者提出 NL2AGBench,用 AlphaGeometry 内部执行验证来评估 LLM 把英文几何题转成其专用 DSL 的能力,而非仅比对文本相似度。在十个开源与闭源 LLM 上,领先闭源模型可执行翻译率超过 80%,最大的开源模型仍难以稳定保留几何约束并生成合法形式化。研究还给出区分语法与逻辑错误的错误分类体系,并测试 few-shot 提示、微调与人工提示等改进策略。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。