arXiv cs.AI· Jianing Yin, Ziyi Chen, Hao Wang, Yiyou Sun, Zijian Jin, Dawn Song, Daoan Zhang·· 12 小时前AI 评分38
VerifierBench：评测 LLM 智能体生成可执行验证器的基准
VerifierBench: Benchmarking the Generation of Executable Verifiers for LLM Agents
AI 导读
VerifierBench 是一个包含 222 个任务、4,993 个隐藏测试用例的基准，用于评测 LLM 智能体根据任务指令和环境生成可执行验证器的能力，覆盖工具调用、状态和代码验证三类场景。
正文 · AI 翻译
摘要：智能体需要可靠的方式来验证其输出，无论是在完成任务时还是在过滤合成训练数据时。我们研究验证器生成：从可用于解决任务的指令和环境出发，智能体编写一个可执行的验证器，该验证器必须接受每个有效解并拒绝无效解。我们推出 VerifierBench，这是一个包含来自六个智能体基准的 222 个任务的基准，涵盖工具调用、基于状态的验证和代码验证，并包含 4,993 个隐藏测试用例，其中包括其他有效解和攻击；Verifier4Verifier（V4V）是一种六项检查审计，用于筛查其源验证器和测试套件。在通用智能体框架中的 19 个模型上，归一化平衡准确率范围为 10.6 到 62.1，生成的验证器在拒绝无效解方面始终比接受有效解更可靠。这种表面上的优势可能掩盖了过于严格的验证：分析记录中的大多数错误拒绝来自对任务中任何测试解都不接受的验证器。案例研究揭示了关于解格式、工具使用和代码更改的未经支持的假设，这些假设排除了有效解。这些错误在自测中未被发现，因为智能体测试的解与验证器共享错误的假设，或者提交验证器时未确认任何正确解能通过。这些发现表明，既要测试验证器是否接受正确解，也要测试它是否接受任务允许的其他解。项目页面和数据集已公开。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28679 [cs.SE] |
| （或 arXiv:2610.28679v1 [cs.SE] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.28679 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Daoan Zhang [查看电子邮件]
[v1]
2026年10月19日星期一 17:22:36 UTC（2,846 KB）
来源：arXiv cs.AI · arxiv.org