arXiv cs.AI· Bowen Xu, Boyu Chen·· 9 天前AI 评分22
跨提供商审查作为编码智能体的运行时契约:一项受控试点与故障注入研究
Cross-Provider Review as a Runtime Contract for Coding Agents: A Controlled Pilot and Fault-Injection Study
AI 导读
研究提出一种跨提供商审查契约,让不同资源池的第二个智能体审查编码智能体的完成答案,并限定执行范围与审查者能力。在20组配对开发回合的受控试点中,8组出现实质性审查发现(95%精确区间19.1%-63.9%)。边界条件扫描复现了部分输入下的假成功:四个截断级别此前通过、修复后失败;CLI探测中Claude无写入工具,Codex在5次只读试验中均尝试写入但全部失败。
正文 · AI 翻译
摘要:编码智能体越来越多地共享同一台工作站,同时使用不同的提供商和订阅配额。第二个智能体可以检查已完成的答案,但该调用会消耗另一个资源池,且可能无法提供实质性发现。我们描述了一种跨提供商咨询式审查契约:不同的资源池、有界执行、受限的审查者能力、完整的输入交付、可用的语义输出、明确的失败状态以及每次尝试的持久证据。在一项由智能体撰写的受控试点中,20 个配对的开发轮次里有 8 个出现了实质性的审查者发现(95% 精确区间 19.1-63.9%)。对两个审查者后端进行的边界条件扫描复现了此前发现的在部分输入上的虚假成功:四个截断级别在历史上通过,修复后失败。该扫描还发现并修复了进程回收期间的取消问题。在真实 CLI 探测中,Claude 没有写入工具;Codex 在五次只读试验中的五次都尝试写入,每个写入工具都失败了,且没有任何一次性仓库发生更改。这些测试覆盖的是指定路径和版本,而非现场可靠性。一项仅针对元数据审查分配的预注册影子研究在精确运行时回归发现第三个缺陷之前累积了 25 条正式观察记录:一个以非零状态退出但给出格式良好裁决的审查者被计为完成。退出状态未按每次尝试记录,因此暴露情况无法追溯解决。这 25 条正式记录和两条待定记录仍构成审计队列;测量有效队列从零重新开始,数据收集已经开始。未报告任何门控结果。
| 评论: | 11 页,1 幅图,3 张表。项目页面:此 https URL |
| 学科: | 软件工程(cs.SE);人工智能(cs.AI) |
| 引用为: | arXiv:2610.10961 [cs.SE] |
| (或 arXiv:2610.10961v1 [cs.SE] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.10961 arXiv 颁发的 DOI,通过 DataCite(待注册) |
提交历史
来自:Bowen Xu [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 22:28:22 UTC(52 KB)
来源:arXiv cs.AI · arxiv.org