智能体的自验证器何时可信？在搜索压力与 Oracle 访问下压力测试反事实理由验证

查看 PDF HTML（实验性）

摘要：自动化智能体设计越来越依赖单一分数来决定某项改动是否为改进——但一个被过度激进优化的分数已不再衡量它原本要衡量的东西。当智能体还解释其设计时，该解释便是我们无需人工标注即可核验的第二信号：否定每条陈述的主张，重新运行，观察性能是否下降。我们追问：一旦智能体针对该验证器进行优化，这样的验证器是否仍然可靠。我们的贡献不是新的验证器，而是一种对其进行压力测试的方法：一个压力比 $\rho$，衡量验证器在多大程度上引导智能体的搜索；以及四个可证伪的探针，覆盖四种失效模式——不提供信号、弱到无关紧要、通过陈述更少主张来钻空子、以及在智能体提交之前被查询。我们将该测试应用于我们自己的验证器——理由一致性分数（RCS），置于一个设计机器学习流水线的 LLM 智能体中，使用一个生成器模型、六个任务和三个随机种子。第一，在我们先前的配置中，验证器几乎不影响搜索目标（$\rho \ll 1$），部分原因是存在准确率门槛，因此其鲁棒性未曾得到检验；它仍通过一个最终选择的平局决胜机制塑造所报告的产物，而 $\rho$ 并未记录这一点。第二，一项能力对照显示，智能体在被指示时会缩短其主张列表，但搜索行为不会，即使在 $\rho$ 超过先前水平 100 倍时也是如此；由于反馈省略了主张数量且视野较短，这一零结果在很大程度上是结构性的，而非鲁棒性的证据。第三，当智能体能在提交前探查验证器时，它会保留通过的主张，而留出集上的忠实度却下降——这一下降在循环内指标中不可见，尽管部分被 RCS 对小规模流水线的评分方式所混淆。我们将这些作为初步证据提出，并提出一项报告标准：在信任一个验证器之前，用 $\rho$ 和这些探针审计它。

提交历史

来自：JongHyun Lee [查看电子邮件]
[v1] 2026 年 10 月 16 日星期五 00:41:30 UTC（626 KB）