arXiv cs.AI· Reza Sanayei, Razvan-Gabriel Dumitru, Sunjie Hou, MohammadHossein Rezaei, Haris Riaz, Robert Vacareanu, Minglai Yang, Ying Liu, Mihai Surdeanu, Daniel Yue Zhang·· 3 天前AI 评分41
Sauron：证据优先的智能体验证器
Evidence-First Agentic Verification
AI 导读
针对长周期智能体任务中基于评分标准的评估易忽略环境状态与执行轨迹证据的问题，研究者提出证据优先的验证器 Sauron，它独立核验每项声明后才采信，并为每个判定附带可审计的证据凭证。
正文 · AI 翻译
摘要：长时程、半可验证的智能体任务通常依赖基于评分标准的评估，但评估这些任务所需的证据可能分散在环境状态和执行轨迹中。评判者可能会忽略这些证据，或接受缺乏支持的声明，包括智能体自身关于成功的报告。当评分标准的判定被用作强化学习奖励时，此类错误可能会强化不良行为。我们提出 Sauron，一种证据优先的智能体验证器，它同时调查状态和轨迹，只有在针对来源独立验证某项声明后才采信该声明。有界查询和对相关标准的联合调查减少了上下文使用和冗余工作，每个判定都附带可审计的支持证据凭据。在来自 100 个个人助理回合的 2,586 条人工标注标准上，Sauron 在测试的全部八个骨干模型上均取得了五种验证器中最高的 F1，同时成本低于最强基线 Gandalf。使用 GPT-5.6 Sol 时，它以低 23% 的成本达到 0.96 F1，而 Gandalf 为 0.92，在过程标准上优势更明显。在覆盖 13 个故障族（其中若干族模拟奖励黑客行为）的配对故障注入测试套件上，Sauron 检测出 97% 的注入故障，同时仅将 2% 的干净对照标记为异常，即使基线被给予完整轨迹也仍优于基线。在用于检测和定位真实智能体错误的基准 TRAIL 上，Sauron 在全部三项质量指标上均领先于 Gandalf 和 TRAIL 自带的评判者。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.17724 [cs.AI] |
| （或本版本使用 arXiv:2610.17724v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.17724 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Reza Sanayei [查看电子邮件]
[v1]
2026年10月13日星期二 04:58:04 UTC（1,560 KB）
来源：arXiv cs.AI · arxiv.org