arXiv cs.AI· Sion Israel Sion, Alain April·· 12 小时前AI 评分42
谁来验证构建者？为智能体生成的软件建立独立保障机制
Who Verifies the Builder? Toward Independent Assurance for Agent-Produced Software
AI 导读
针对编码智能体同时产出软件与正确性证据的问题，论文提出将构建与验证分离的“保障平面”框架，引入验证契约并分两阶段验证：先在不接触实现的情况下按规格验证，再基于变异分析、属性测试和模糊测试做实现感知验证。
正文 · AI 翻译
摘要：编码智能体现在能够实现规格说明、编写并运行测试、修复失败，并宣布结果已可发布。当同一个智能体系统既产出软件、又产出其正确性的证据时，通过的测试套件便不再是独立的证据：可见测试成为优化目标，代码与测试可能对规格说明共享同一种误解，而构建者自身的测试也可能根本不完整。本文主张，智能体产出的软件需要一个在结构上独立于构建平面的保障平面。我们刻画了利益相关者意图与产出之间的四类差距（需求差距、一致性差距、评估差距与模型差距），并指出验证能够弥合其中哪些差距。我们提出一个将构建与验证分离的框架，引入一份验证契约，说明发布前必须证明什么，并将验证组织为两个阶段：一个是不接触实现的规格优先阶段，另一个是基于变异分析、基于属性的测试与模糊测试的实现感知阶段，同时提供一份保障报告，将发布决策留给人类。我们在一项预注册研究中，对三个有状态服务（其中两个由第三方模型编写）以及一项 EvalPlus 试点评估了该框架。构建者的程序是正确的，但其自身的测试遗漏了微妙的交互：在全新上下文中运行的验证器比构建者的测试检出了更多植入故障（46 个中检出更多，Holm 校正后 p = 0.006），并揭示了规格说明中的歧义，代价是偶发的错误判定。来自另一提供方的验证器并未提升检出率。
| 评论： | 10 页，2 幅图，4 张表。制品：此 https URL |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| ACM 分类： | D.2.5 |
| 引用为： | arXiv:2610.28667 [cs.SE] |
| （或 arXiv:2610.28667v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28667 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sion Israel Sion [查看邮箱]
[v1]
2026 年 10 月 16 日星期五 18:00:10 UTC（23 KB）
来源：arXiv cs.AI · arxiv.org