arXiv cs.AI· Markus D\"ucker, Vaibhav Kumar, Yi Liu, Ronak Chaudhary, Andreas Plesner, Francisco Guzm\'an, Anish Athalye·· 23 小时前AI 评分52
论文研究评分标准式智能体环境中的验证器,开源 BVB 基准与 Gandalf
Verifying Agents in Rubric-Graded Environments
AI 导读
论文对评分标准式(rubric-graded)智能体环境中的验证器做了系统研究,构建了覆盖 24 个投资银行任务、2,464 条人工判定评分标准的元评测数据集 BankerVerifierBench(BVB)。
正文 · AI 翻译
摘要:随着 AI 智能体承担越来越开放且复杂的任务,验证其输出已被证明十分困难。评分标准评分的智能体环境——即由验证器依据多条自然语言标准,对智能体产出的交付物和环境状态变化进行评判——已成为一种流行的范式。我们对评分标准评分的智能体环境中的验证器进行了首次系统性研究。首先,我们创建了 BankerVerifierBench(BVB),这是一个元评估数据集,包含 24 项投资银行任务中的 2,464 条经人工评判的评分标准。接下来,我们开发了一种方法,可从任意评分标准语料库中推导出验证器应具备的能力,得出一个包含九项能力的分类体系,并将其提炼为三条通用设计原则——反应式验证、环境对齐和领域引导——我们在开源验证器 Gandalf 中实现了这些原则。最后,我们在 BVB 上评估了 Gandalf 与三个现有验证器的表现。Gandalf 以更低的成本达到或超过每个基线的 F1:使用 Gemini 3 Flash 时,它以五分之一的成本达到最强基线的 F1(0.864 对 0.852);使用 GPT-5.4 模型时,它以更低的成本将 F1 提升超过 0.12。Gandalf 还能泛化到 OpenClaw——一个结构不同的个人生产力环境——在那里它同样取得了最高的 F1(0.955 对最佳基线的 0.934)。我们发布了 BVB、Gandalf 以及用于复现我们实验的代码和数据。
| 评论: | 发表于 NeurIPS E&D 2026 |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.22841 [cs.AI] |
| (或 arXiv:2611.22841v1 [cs.AI] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.22841 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Andreas Plesner [查看电子邮件]
[v1]
2026年11月17日星期二 14:21:38 UTC(59 KB)
来源:arXiv cs.AI · arxiv.org