arXiv cs.AI· Xing Zhang, Guanghui Wang, Yanwei Cui, Ziyuan Li, Wei Qiu, Bing Zhu, Peiyang He·· 9 天前AI 评分38
谁验证验证器？可检查评分器与自改进智能体的共同演化
Who Verifies the Verifier? Co-Evolving Inspectable Graders with Self-Improving Agents
AI 导读
研究把验证器本身作为演化对象，用小型确定性缺陷检测器合成可检查表达式，在 MBPP+ 上比手写种子评分器提升 +0.21 留出集一致率。关键发现是移除锚点保护会让验证器退化为恒通过的评分器，但它训练出的技能同样好，说明下游任务分数无法证明自演化验证器的有效性。
正文 · AI 翻译
摘要：我们更换了智能体：它真的变得更好了吗？每个自我改进的智能体循环都会回答这个问题数百次，而每个答案都来自一个验证器。在开放式任务上不存在这样的验证器，因此循环只能依赖手写的评分标准，或一个仅凭裸 LLM 评判者来给与自身同类模型的输出打分，这容易招致奖励黑客和共同的盲点。我们让验证器本身成为被演化的对象：一个可检查的表达式，作用于小型、大多确定性的缺陷检测器之上，从聚类后的失败中合成，在诞生时设门，并依据与一个十项锚定参考集的一致性以及未标注输出上的共识进行选择，而绝不依据智能体的得分。在 MBPP+ 上，它相比手工编写的种子组合获得了 +0.21 的留出集一致性提升，且在每一个种子上都如此，最终也领先于它所包含的裸 LLM 评判者。有一个发现应当改变协同演化验证器的验证方式：移除锚定防护会使验证器坍缩为一个空洞的、总是通过的评分器，然而这个坍缩后的验证器训练技能的效果却同样好。下游任务得分无法证明一个自我演化的验证器。得分确实能回答充分性问题，而在这一点上，演化出的验证器可以替代：Double Ratchet 将验证器与一个生命周期管理的技能循环配对，在代码生成、企业级文本到 SQL 以及无参考报告生成中，保留了真实答案或评分标准为同一循环带来的提升的 88-110%。当演化出的技能钻了报告评分标准的空子时，一个外部评判者抓住了它，并添加一个检测器修复了它；而该评判者本身在获得任务契约之前是错误的。
| 评论： | 被 NeurIPS 2026 研讨会接收：谁验证智能体？迈向可靠的智能体开发 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.11464 [cs.AI] |
| （或本版本使用 arXiv:2610.11464v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.11464 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Xing Zhang [查看电子邮件]
[v1]
2026年10月8日星期四 08:13:53 UTC（176 KB）
来源：arXiv cs.AI · arxiv.org