arXiv cs.AI· Daoan Zhang, Qinbo Bai, Dehai Min, Xingyu Mu, Ziyi Chen, Jianing Yin·· 10 小时前AI 评分42
Veritas：面向智能体任务的验证器生成框架
Veritas: A Verifier Generation Harness for Agent Tasks
AI 导读
Veritas 是一个自动生成验证器的框架，通过证据头、领域规则库和编写原则三种机制生成验证器，其中编写原则部分由自我改进循环优化。在四个按执行评分的基准上，固定模型时 Veritas 生成的验证器与官方判定的一致度优于其他七个框架；在两个成对比较基准上达到或接近最佳。在另外三个模型家族中，有两个家族的表现优于厂商自带框架，其机制还在三个框架的 12 个执行评分组合中改善了 9 个。
正文 · AI 翻译
摘要：自我改进系统的有效性在很大程度上取决于其验证器的质量，验证器负责评判每一轮改进的结果。然而，大多数任务的验证器都是手工编写的，成本高昂，且无法扩展到那些没有现成验证器的任务。我们提出 Veritas，一个可自动生成验证器的框架。与通用智能体框架不同，Veritas 为验证器生成增加了三种机制：声明验证器将观察到什么的证据头、任务未明确说明的领域规则库，以及部分通过自我改进循环提炼的编写原则。我们在六个基准上进行了评估：其中四个按执行结果评分，我们首先对其官方验证器进行了认证；另外两个则比较成对的回答。在模型固定的情况下，Veritas 生成的验证器在所有四个按执行评分的基准上，与官方判定的一致性均优于其他七个框架的验证器。在两个成对比较基准上，它们处于或接近最佳水平。在另外三个模型系列中，有两个系列上它们与厂商自有框架的验证器相比一致性更好。其机制还在三个框架下按执行评分的 12 个框架-基准组合中的 9 个上带来了提升。
| 评论： | 31 页，1 张图 |
| 主题： | 人工智能（cs.AI）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2611.13336 [cs.AI] |
| （或 arXiv:2611.13336v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2611.13336 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Qinbo Bai [查看邮箱]
[v1]
2026 年 11 月 9 日星期一 23:01:40 UTC（270 KB）
来源：arXiv cs.AI · arxiv.org