跳到正文
arXiv cs.CL· Lan Zhang, Marco Valentino, Jordan Meadows, Andr\'e Freitas·· 2 天前AI 评分24

超越黄金标准:面向形式数学推理的 LLM 评审员认知集成框架

Beyond Gold Standards: Epistemic Ensemble of LLM Judges for Formal Mathematical Reasoning

AI 导读

研究提出 EFG(认知与形式化基础集成)LLM 评审员集成方法,用于自动评估自然语言陈述到形式语言的自动形式化任务,评判标准涵盖逻辑保持(LP)、数学一致性(MC)、形式质量(FQ)与形式有效性(FV)。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:语句自动形式化在形式数学推理中起着至关重要的作用,它能够将自然语言语句自动翻译为形式语言。尽管近期利用大语言模型(LLM)的进展在自动形式化方面展现出令人期待的能力,但用于自动评估自动形式化的方法仍研究不足。LLM 作为评判者(LLM-as-a-judge)为这类评估的自动化提供了一种有前景的途径,然而现有方法通常采用粗粒度且通用的评估标准,这限制了它们对高级形式数学推理的有效性——在这类推理中,质量取决于细微的、多粒度的维度。在本工作中,我们朝着弥补这一空白迈出一步,提出一种系统化、自动化的方法来评估自动形式化任务。所提出的方法基于一个由 LLM 评判者组成的、以认识论和形式化为基础的集成(EFG),其评判标准涵盖逻辑保持(LP)、数学一致性(MC)、形式质量(FQ)和形式有效性(FV),从而形成一种透明的评估,能够考量不同的贡献因素。我们验证了所提出的框架可作为形式数学领域内自动形式化评估的代理指标。总体而言,我们的实验表明,EFG 的 LLM 评判者集成是一种比粗粒度模型更合适的、新兴的评估代理。这些发现表明,LLM 评判者,尤其是在由一组定义明确的原子属性引导时,可为评估形式数学推理提供可扩展、可解释且可靠的支持。
Comments: 已被 EACL 2027 接收
Subjects: 计算与语言(cs.CL)
引用为: arXiv:2506.10903 [cs.CL]
  (或 arXiv:2506.10903v3 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2506.10903

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Lan Zhang [查看邮箱]
[v1] 2025年6月12日 星期四 17:09:51 UTC(328 KB)
[v2] 2026年8月21日 星期五 11:36:28 UTC(165 KB)
[v3] 2026年11月13日 星期五 07:48:18 UTC(162 KB)

来源:arXiv cs.CL · arxiv.org